기술 요약: 구조적 관점에서의 대규모 언어 모델의 다국어 능력

문제 정의

대규모 언어 모델(LLM)은 다국어 코퍼스에 대한 사전 학습과 지속적인 사후 학습을 통해 다국어 능력을 입증해 왔으나, 이러한 다국어 능력에 대한 기존의 분석은 주로 토큰(또는 서브워드) 수준에 국한되어 있습니다. 선행 연구들은 Logit Lens와 같은 도구를 사용하여 은닉 상태를 기호로 해석하거나 토큰 표현의 기하학적 구조를 분석해 왔습니다. 그러나 이러한 토큰 중심적 접근 방식은 다양한 형태통사적 특성과 같은 언어의 내재적 구조적 속성을 포착하지 못합니다. 또한, 토큰나이저가 언어마다 크게 다르기 때문에 LLM이 처리하는 최소 단위의 의미론적 입도(granularity)가 일관되지 않으며, 이는 토큰 수준의 분석이 여러 언어를 어떻게 표현하고 처리하는지 총체적으로 이해하는 데 한계로 작용합니다.

방법론

이러한 한계를 해결하기 위해, 본 연구는 토큰 수준의 분석을 넘어 전체 입력 시퀀스의 조직을 조사하는 구조적 관점의 다국어 표현 방식을 제안합니다.

1. STRUCTLENS를 통한 구조적 분석
저자들은 트랜스포머 모델의 잔차 스트림(residual streams) 내 토큰 표현 간의 쌍별 L2 거리를 통해 트리 구조를 도출하는 방법인 STRUCTLENS(Sakajo et al., 2026)를 활용합니다.

• 스패닝 트리 구축 (Spanning Tree Construction): 각 레이어 $\ell$와 언어에 대해, 이 방법은 토큰 간 유사성을 기반으로 최대 스패닝 트리를 구축합니다. 인접 행렬 $A$는 은닉 상태 $h^{(\ell)}_i$와 $h^{(\ell)}_j$ 사이의 L2 거리의 역수로 정의됩니다.
• 구조적 거리 측정: 서로 다른 언어의 내부 구조를 비교하기 위해, 본 연구는 두 언어의 스패닝 트리 간 **트리 편집 거리(Tree Edit Distance, TED)**를 계산합니다. 이 거리는 서로 다른 토큰 시퀀스 길이를 가진 언어 간의 공정한 비교를 위해 더 큰 입력 길이에 의해 정규화됩니다. 어휘적 불일치보다는 순수하게 구조적 차이에 집중하기 위해 재라벨링 비용(relabeling cost)은 0으로 설정되었습니다.

2. 실험 설정

• 모델: 본 연구는 다국어 사전 학습 모델(Gemma3 4B PT, Qwen3 8B Base)과 단일 언어 영어 중심 모델(Olmo3 7B Base)을 모두 평가합니다. 또한, 지속적 사전 학습의 효과를 분석하기 위해 언어 특화 사후 학습 모델(일본어에 대한 Qwen3 Swallow 8B CPT)을 포함합니다.
• 언어: 고/중자원 언어(영어, 독일어, 일본어, 중국어, 인도네시아어)와 저자원 언어(아라네스어, 과라니어, 징파어)를 포함한 다양한 언어 세트를 선택했습니다.
• 데이터셋: FLORES+의 병렬 번역 문장 쌍과 그에 상응하는 징파어 데이터를 사용합니다.
• 비교 지표: 구조적 발견을 맥락화하기 위해 본 연구는 비구조적 지표인 퍼플렉시티(Perplexity), 기계 번역 성능(BLEU, chrF, TER), 평균 표현의 코사인 유사도(Cosine Similarity), 그리고 L2 거리를 함께 측정합니다.

주요 기여 및 결과

1. 구조적 거리는 자원 기반의 클러스터링을 드러냄
본 연구는 구조적 거리(TED)가 코사인 유사도가 포착하지 못하는 방식으로 자원 가용성에 따른 언어 구분을 수행함을 발견했습니다.

• 다국어 모델: 다국어 모델(Gemma3, Qwen3)에서 고자원 및 중자원 언어는 상대적으로 균일한 내부 구조와 영어와의 낮은 구조적 거리를 가진 하나의 클러스터를 형성합니다. 반면, 저자원 언어는 영어로부터 유의미하게 높은 구조적 거리를 보입니다.
• 단일 언어 모델: 단일 언어 모델인 Olmo3 7B Base는 영어와 나머지 모든 언어 사이에 뚜렷한 분리를 보이며, 전반적으로 높은 구조적 거리를 나타내는데, 이는 영어 중심의 학습을 반영합니다.
• 코사인 유사도와의 대조: 다국어 모델에서 영어와 타 언어 간의 코사인 유사도는 모든 레이어에서 높고 균일하게 유지되지만(이는 정렬된 추상적 의미 중심점을 시사함), 구조적 거리는 유의미한 내부 관계적 차이를 드러냅니다. 이는 표현 공간의 "중심"은 정렬되어 있을지라도, 언어 친숙도에 따라 토큰 관계의 내부 위상(topology)은 다를 수 있음을 나타냅니다.

2. 언어 특화 사후 학습의 영향
본 연구는 언어 특화 사후 학습(대상 언어 데이터에 대한 지속적 사전 학습)이 모델 구조를 어떻게 변화시키는지 조사합니다.

• 대상 언어의 차별화: 일본어에 대한 사후 학습(Qwen3 Swallow 8B CPT)은 일본어의 내부 구조적 거리를 유의미하게 변화시켜, 사전 학습 상태와 구별되게 만듭니다.
• 언어 간 관계의 보존: 결정적으로, 대상 언어의 내부 구조는 변하지만, 언어 간의 구조적 거리(예: 영어와 일본어, 또는 영어와 중국어 사이)는 대체로 불변합니다. 이는 사후 학습이 사전 학습 중에 확립된 광범위한 구조적 관계를 깨뜨리지 않으면서 특정 언어의 내부 조직을 정교화한다는 것을 시사합니다.

3. 언어적 특징의 영향
저자원 언어들 사이에서 구조적 거리는 영어와의 언어적 유사성과 상관관계가 있습니다. 영어와 유형론적으로 더 가까운 아라네스어는 영어와 더 먼 징파어보다 낮은 구조적 거리를 보입니다. 이는 언어적 유사성이 저자원 언어라 할지라도 표현 공간에서의 구조적 정렬을 용이하게 함을 시사합니다.

의의 및 주장

본 논문은 구조적 관점이 기존의 토큰 수준 또는 중심점 기반 지표가 포착하지 못하는 독특한 언어 유사성 척도를 제공한다고 주장합니다.

• 총체적 관점: 연구 결과는 LLM이 트랜스포머 레이어를 거치며 진화하는 언어 특유의 구조적 패턴에 따라 입력 시퀀스를 조직함을 보여줍니다.
• 친숙도 vs 생소함: 구조적 거리는 모델의 "친숙도"를 나타내는 지표 역할을 합니다. 다국어 모델은 친숙한(고자원) 언어들 사이에서는 높은 구조적 유사성을 보이지만, 생소한(저자원) 언어들에 대해서는 크게 괴리됩니다.
• 적응 메커니즘: 본 연구는 언어 특화 사후 학습이 사전 학습 중에 학습된 다국어 관계를 지우지 않으면서, 대상 언어의 내부 구조적 조직을 수정함으로써 작동함을 밝혀냈습니다.

저자들은 이 구조적 관점이 LLM이 여러 언어를 어떻게 처리하는지 이해하는 데 필수적이라고 결론지으며, 모델이 내부 구조적 조직을 통해 친숙한 언어와 생소한 언어를 구분하고, 사후 학습이 사전 학습 중에 배운 다국어 관계를 유지하면서 특정 언어의 성능을 향상시킬 수 있음을 강조합니다.