Brain-LLM Alignment Tracks Training Data, Not Typology

기술 요약: 뇌-LLM 정렬은 훈련 데이터를 추적할 뿐, 언어 유형론을 추적하지 않음

문제 제기
인간 뇌의 언어 네트워크는 45 개 언어에 걸쳐 신경해부학적으로 보편적이지만, 언어 유형론적으로 다양한 언어들 사이에서 대규모 언어 모델 (LLM) 이 이 네트워크와 얼마나 정렬되는지는 여전히 불분명합니다. 기존 연구는 거의 독점적으로 영어 데이터를 사용하여 강력한 뇌-LLM 정렬을 입증해 왔으며, 이는 이러한 표현의 보편성에 관한 잠재적인 맹점을 초래했습니다. 기존 문헌의 중요한 교란 요인은 정렬 패턴이 고유한 "영어 우위성", 언어 간의 유형론적 거리, 또는 모델 훈련 데이터 내 특정 언어의 지배력에 의해 주도되는지 구분할 수 없다는 점입니다. furthermore, 언어 간 정렬의 변이가 구문 처리 영역에 집중되어 있는지 의미 처리 영역에 집중되어 있는지는 알려지지 않았으며, 이는 구성 문법 (CxG) 과 언어 보편성 이론에 함의를 가집니다.

방법론
본 연구는 영어 ($n=49$), 중국어 ($n=35$), 프랑스어 ($n=28$) 세 가지 언어로 작은 왕자를 청취한 112 명의 참가자로부터 fMRI 데이터를 활용합니다. 저자들은 다음 7 개의 LLM 을 비교하는 통제된 실험 설계를 사용합니다:

1. 영어 우세: GPT-2 Medium 및 LLaMA-2-7B.
2. 중국어 우세: Baichuan2-7B.
3. 다국어: mBERT, XLM-R Large, BLOOM-7B, 및 Qwen2.5-7B.

중요하게도, 본 연구는 아키텍처와 파라미터 수 (7B, 32 레이어) 가 동일하지만 훈련 언어 구성 (~90% 영어 대 ~55% 중국어) 이 주로 다른 LLaMA-2-7B 와 Baichuan2-7B 를 짝지어 분석합니다.

분석 파이프라인은 다음과 같습니다:

• 인코딩 모델: LLM 은닉 상태로부터 신경 활동을 예측하기 위한 볼륨 단위 릿지 회귀를 적용하고, 피험자 간 노이즈 천장에 대해 정규화합니다.
• 유형론적 지표: Grambank(195 개의 이진 문법적 특징) 를 사용하여 계산한 정량적 유형론적 거리와, WALS 및 lang2vec 을 보충 자료로 활용합니다.
• 토큰화 분석: 레이어 역학에 대한 영향을 평가하기 위해 "토큰화 비옥도"(정서적 단어당 서브워드 토큰 수) 를 측정합니다.
• 통계적 프레임워크: 훈련 데이터 비율을 통제하는 선형 혼합 효과 모델 (LMM) 을 사용하며, 제한된 자유도 (3 개 언어) 를 해결하기 위해 언어 수준에서 클러스터 부트스트랩 리샘플링을 수행합니다.

주요 기여 및 결과

1. 훈련 언어 지배성이 정렬 경사를 주도함:
   핵심 발견은 뇌-LLM 정렬에서의 "영어 우위성"이 영어나 뇌의 고유한 속성이 아니라 훈련 데이터 구성의 산물이라는 것입니다.

   • 경사의 반전: 중국어 우세 모델인 Baichuan2-7B 는 LLaMA-2-7B 에서 관찰된 정렬 경사를 반전시킵니다. Baichuan2 는 중국어 뇌와 가장 잘 정렬되며 ($\tilde{r} = .85$), 영어와는 가장 낮게 정렬됩니다 ($\tilde{r} = .59$). 반면 LLaMA-2 는 반대 패턴을 보입니다.
   • 다국어 균일성: 다국어 모델 (예: XLM-R) 은 언어 간 높은 균일성 ($\tilde{r} \approx .81-.83$) 을 보여주며, 이는 다국어 훈련이 특정 언어 지배성을 초월하는 표현을 생성함을 시사합니다.

2. 공식적 유형론적 거리가 정렬과 공변함:
   훈련 지배성 외에도 공식적 유형론적 거리는 정렬 저하를 독립적으로 예측합니다.

   • 훈련 비율을 통제하는 혼합 효과 모델에서 Grambank 거리는 정렬 성능 감소와 연관됩니다 ($\beta = -0.41$).
   • 저자들은 제한된 자유도로 인해 이 결과를 $\ge10$ 개 언어에 걸쳐 확인이 필요한 잘 지지된 기술적 패턴으로 간주합니다.

3. 토큰화 비옥도가 레이어 이동을 설명함:
   본 연구는 중국어의 최적 인코딩 레이어가 오른쪽으로 이동하여 (영어/프랑스어의 15 레이어 대비 18 레이어에서 정점) 발견됨을 확인합니다.

   • 토큰화 비옥도 분석은 중국어가 영어 (단어당 1.4 토큰) 에 비해 단어당 훨씬 더 많은 서브워드 토큰 (XLM-R 의 경우 2.4 토큰) 을 필요로 함을 보여줍니다.
   • 비옥도를 통제하면 이러한 레이어 이동의 약 60% 가 설명되며, 이는 언어 간 처리 차이로 보이는 것이 실제로는 토큰화 산물에 상당 부분 기인함을 나타냅니다.

4. 영역별 신경 경사 (구문 대 의미):
   유형론적 경사는 언어 네트워크 전체에 균일하지 않습니다.

   • 구문 처리와 관련된 하부 전두이랑 (IFG) 은 어휘 - 의미 처리와 관련된 후측 측두엽 (PTL) 보다 2.3 배 더 가파른 유형론적 경사를 보입니다.
   • 이는 언어 간 분기가 구조/구문 처리에 집중되는 반면, 의미 표현은 더 보편적으로 유지됨을 시사합니다.

의의 및 주장
본 논문은 정렬 패턴이 훈련 언어 지배성에 의해 주도됨을 입증함으로써 "영어 우위성" 논쟁을 해결했다고 주장합니다. 기존 연구에서 관찰된 영어의 apparent 우월성은 영어 우세 모델과 영어 fMRI 데이터의 우세성을 반영한 것이지, 영어와 뇌 사이의 특수한 신경인지 관계를 반영하는 것이 아닙니다.

결과는 보편성에 대한 세밀한 관점을 지지합니다: 생물학적 및 인공 언어 처리기는 공유된 의미 표현 (언어 및 모델 간 보편적) 에는 수렴하지만, 구조/구문 표현에서는 분기합니다. 여기서 유형론적 거리와 훈련 분포가 중요합니다. 또한, 토큰화 산물이 언어 간 처리 차이로 위장할 수 있음을 강조하며, 인코딩 결과와 함께 토큰화 비옥도를 보고해야 함을 촉구합니다.

저자들은 명시적으로 IFG/PTL 경사가 구성 문법 (형식 - 기능 짝짓기의 변이를 가정) 과 일치하지만, 이는 일반적인 구문 - 의미 분리 이론이나 인지 통제 설명에서도 유도 가능하다고 지적합니다. 따라서 본 논문은 결과가 CxG 와 일치한다고 주장하지만, 구성 수준 분석 없이는 이를 유일하게 증명하지는 않는다고 명시합니다. 마찬가지로, 유형론적 거리 효과는 확정적인 인과적 증명보다는 대규모 검증이 필요한 기술적 패턴으로 제시됩니다.