Multilingual Language Models Encode Script Over Linguistic Structure

이 논문은 다국어 언어 모델 (Multilingual LMs) 이 내부적으로 언어를 어떻게 조직화하는지, 특히 **추상적인 언어 정체성 (abstract language identity)**과 표면적 형태 (surface-form, 예: 문자 체계) 중 무엇이 표현을 지배하는지 규명하는 것을 목표로 합니다.

연구팀은 Llama-3.2-1B 와 Gemma-2-2B 와 같은 소형 증류 (distilled) 모델을 대상으로, 언어 관련 뉴런과 희소 특징 (sparse features) 을 분석하여 다음과 같은 핵심 발견을 도출했습니다.

1. 연구 배경 및 문제 제기 (Problem)

다국어 언어 모델은 서로 다른 언어를 공유된 매개변수 공간에 매핑합니다. 그러나 이 내부 조직이 언어의 추상적 구조 (문법, 어휘, 유형론적 특성) 를 반영하는지, 아니면 단순히 입력된 텍스트의 표면적 형태 (문자 체계, 토큰 분포) 에 반응하는지는 명확하지 않았습니다.

• 핵심 질문: 모델이 언어를 처리할 때, 로마자 표기 (Romanization) 나 단어 순서 변경과 같은 표면적 변화에 대해 내부 표현이 어떻게 반응하는가?
• 가설: 다국어 모델이 진정한 '언어 중립적 (language-agnostic)'인 인터링구아 (interlingua) 를 형성하는지, 아니면 문자 체계에 따라 표현이 분리되는지 확인이 필요함.

2. 방법론 (Methodology)

연구팀은 LAPE (Language Activation Probability Entropy) 메트릭과 **희소 오토인코더 (Sparse Autoencoders, SAE)**를 결합하여 분석했습니다.

• 언어 관련 단위 식별: 각 레이어의 뉴런과 SAE 특징 중 특정 언어에 대해 선택적으로 활성화되는 단위 (LAPE 점수가 낮은 단위) 를 식별했습니다.
• 제어된 실험 설계:
  1. 문자 체계 교란 (Romanization): 비로마자 언어 (힌디어, 중국어 등) 를 로마자로 표기하여 입력했습니다. (원어 vs 로마자 vs 로마자 - 악센트 제거)
  2. 구조적 교란 (Word Shuffling): 문장 내 단어 순서를 무작위로 섞어 문법적 구조를 파괴하되, 토큰과 문자는 유지했습니다.
  3. 유형론적 프로빙 (Typological Probing): lang2vec 데이터를 사용하여 모델이 계보, 구문, 음운론적 특성을 얼마나 선형적으로 인코딩하는지 측정했습니다.
  4. 인과적 개입 (Causal Intervention): 식별된 뉴런 집합 (문자 불변, 순서 불변 등) 을 제거하거나 다른 언어의 평균 값으로 대체하여 생성 성능 (Perplexity) 에 미치는 영향을 측정했습니다.

3. 주요 결과 (Key Results)

A. 문자 체계가 표현의 주요 장벽임 (Orthography as a Barrier)

• 근접한 분리 (Near-Disjoint Representations): 원어 문자와 로마자 표기된 동일한 언어는 거의 겹치지 않는 (disjoint) 언어 관련 뉴런 집합을 활성화합니다.
• 영어로의 수렴 부재: 로마자화된 입력은 원어 표현과도, 영어 표현과도 정렬되지 않습니다. 즉, 로마자화는 모델을 영어 표현으로 유도하지 않으며, **문자 체계에 의존하는 별도의 잠재 공간 (latent subspace)**을 형성합니다.
• 의미: 모델은 추상적인 언어 정체성보다는 **문자 체계 (Orthography)**에 강력하게 조건부 (conditioned) 로 반응합니다.

B. 단어 순서 변화에 대한 강건성 (Robustness to Word Order)

• 선택적 안정성: 단어 순서를 섞는 실험에서는 대부분의 언어 관련 뉴런이 안정적으로 유지되었습니다.
• SAE 의 민감도: 희소 특징 (SAE) 중 일부는 지역적 분포 패턴에 민감하여 순서 변화에 따라 일부 불안정해졌으나, 원시 뉴런 (Raw Neurons) 은 전반적으로 강건했습니다.
• 의미: 언어 관련 단위는 구문 구조보다는 어휘 통계나 문자 체계 정보에 더 의존합니다.

C. 층별 조직화와 유형론적 접근성 (Layer-wise Organization)

• 깊이에 따른 추상화: 모델의 깊은 레이어로 갈수록 유형론적 특성 (계보, 음운론 등) 을 선형적으로 추출 (probing) 하는 성능이 향상됩니다.
• 불변성의 중요성: 로마자화에 **불변 (invariant)**인 뉴런 집합일수록 유형론적 특성과 더 강하게 정렬됩니다. 즉, 추상적 언어 정보는 문자 체계에 구애받지 않는 뉴런에 존재합니다.

D. 인과적 중요성 (Causal Importance)

• 생성에서의 핵심 역할: 생성 (Generation) 과정에서 가장 중요한 역할을 하는 뉴런은 표면적 교란 (문자나 순서 변화) 에 불변인 뉴런입니다.
• 문자 체계 관련 뉴런의 기능: 문자 체계에 민감한 뉴런 (Only-native) 을 제거하면 언어가 영어로 갑자기 전환되거나 (Language Switching) 문자 체계가 섞이는 오류가 발생합니다. 이는 문자 체계 관련 뉴런이 실제 생성의 안정성을 담당함을 의미합니다.
• 결론: 유형론적 정렬이 높은 뉴런이 반드시 생성에 필수적인 것은 아니며, 표면적 변화에 강건한 뉴런이 실제 생성을 지탱합니다.

4. 핵심 기여 및 시사점 (Contributions & Significance)

1. 표면 형태 우선주의 (Surface-Form Primacy): 다국어 LLM 은 완전히 통합된 추상적 인터링구아를 형성하지 않으며, 표현이 **문자 체계 (Script)**를 중심으로 조직화됨을 증명했습니다.
2. 표현 접근성 vs 기능적 필요성 분리:
   • 표현 접근성 (Representational Accessibility): 깊은 레이어에서 유형론적 정보가 선형적으로 접근 가능해집니다.
   • 기능적 필요성 (Functional Necessity): 실제 생성을 제어하는 것은 이러한 추상적 정보가 아니라, 표면적 교란에 불변인 뉴런입니다.
3. 로마자화의 한계: 로마자화 (Transliteration) 만으로는 원어 표현을 복원하거나 영어 표현과 정렬시킬 수 없으며, 이는 교차 언어 전이 (Cross-lingual Transfer) 가 문자 체계에 의해 제한받을 수 있음을 시사합니다.
4. 모델 해석성 (Interpretability): 희소 오토인코더 (SAE) 를 활용하여 밀집된 표현을 해석 가능한 특징으로 분해하고, 인과적 개입을 통해 기능적 역할을 규명하는 방법론을 제시했습니다.

5. 결론

이 연구는 다국어 언어 모델이 언어를 처리할 때 추상적인 언어 규칙보다는 표면적인 형태 (특히 문자 체계) 에 더 민감하게 반응한다는 것을 보여줍니다. 모델 내부에는 추상적 언어 정보가 존재하지만 (깊은 레이어에서 접근 가능), 실제 텍스트 생성을 안정적으로 수행하는 핵심 메커니즘은 문자 체계와 같은 표면적 변화에 불변인 뉴런에 의해 주도됩니다. 이는 다국어 모델의 안전성, 강건성, 그리고 교차 언어 전이 연구에 중요한 통찰을 제공합니다.