Cross-lingual robustness of LLM-brain alignment and its computational roots

문제 제기
대형 언어 모델 (LLM) 이 언어 이해 중의 신경 활동을 예측하는 데 강력한 능력을 보여왔음에도 불구하고, 이러한 정렬의 본질을 이해하는 데에는 몇 가지 중요한 격차가 남아 있습니다. 첫째, LLM-뇌 정렬이 고전적인 좌측 편향성 주실베언 (perisylvian) 언어 네트워크를 넘어 피하 구조와 분산된 피질 기능 네트워크까지 확장되는지 여부는 불분명합니다. 둘째, 서로 다른 언어 유형 (예: 중국어, 영어, 프랑스어) 에서 이러한 정렬 패턴의 공간적 중첩이 체계적으로 특징지어지지 않았습니다. 셋째, 이 정렬의 계산적 근원은 논쟁의 대상입니다. 구체적으로, 트랜스포머의 깊이가 뇌의 계층적 조직을 실제로 반영하는지, 그리고 예측 처리 (놀라움) 또는 정보 압축 (내재적 차원성) 이 관찰된 신경 예측력을 주도하는지 여부가 문제입니다. 마지막으로, 최근 증거는 문맥 임베딩이 정적 임베딩을 일관되게 능가하지 않을 수 있음을 시사하며, 문맥 민감성이 신경 정렬의 주요 동인이라는 가정에 도전합니다.

방법론
본 연구는 중국어, 영어, 프랑스어 세 가지 언어로 자연주의적 이야기 ("어린 왕자") 를 듣는 112 명의 참가자로부터 얻은 fMRI 데이터를 활용한 다국어 전뇌 인코딩 프레임워크를 사용했습니다.

• 데이터: 오디오북을 수동으로 듣는 동안 fMRI 데이터를 획득했습니다. 전처리는 표준 파이프라인 (fMRIPrep), 교란 변수 회귀, 400 개 구역 피질 분할 (Schaefer) 및 16 개 피하 영역 (Melbourne Subcortex Atlas) 매핑을 포함했습니다.
• 모델: 일곱 가지 모델이 사용되었습니다: 하나의 다국어 BERT(mBERT), 세 가지 단일 언어 BERT(언어별 하나씩), 그리고 세 가지 정적 FastText 모델(언어별 하나씩).
• 인코딩: 릿지 회귀를 사용하여 모델 임베딩 (정적 및 문맥형 모두) 을 fMRI 시계열에 매핑했습니다. 문맥형 임베딩은 mBERT 의 모든 12 개 트랜스포머 층에서 유도되었으며, 문맥 창은 전체 문장으로 정의되었습니다.
• 분석:
  • 공간적 정렬: 유의한 관심 영역 (ROI) 은 FDR 보정을 적용한 단일 표본 t-검정을 통해 식별되었습니다. 언어 간 중첩은 피질 표면에서 시각화되었습니다.
  • 층별 분석: 쌍대 순열 검정을 통해 트랜스포머 층 간 뇌 점수 차이를 평가했습니다. 각 ROI 에 대한 선호 층을 식별했습니다.
  • 계산 지표: 메커니즘 가설을 검증하기 위해 저자들은 mBERT 에 대해 층별 놀라움(예측 불확실성) 과 내재적 차원성 (ID) (표현 압축) 을 계산했습니다. 이러한 지표는 관찰된 층별 뇌 점수 프로파일과 비교되었습니다.
  • 모델 비교: 문맥형 (mBERT) 대 정적 (FastText) 성능은 순열 검정과 선형 혼합 효과 모델을 사용하여 비교되었습니다.

주요 결과

1. 분산 및 피하 정렬: 트랜스포머 기반 모델은 고전적 언어 영역 (IFG, STG, MTG), 기본 모드 네트워크 (DMN), 변연계 네트워크, 그리고 피하 구조 (미상핵, 선조체, 편도선) 를 포함한 광범위한 분산된 영역에서 신경 활동을 예측했습니다. 이는 LLM 정렬이 피질 언어 네트워크를 넘어 확장됨을 확인시켜 줍니다.
2. 초언어적 안정성: 공간적 정렬 패턴은 중국어, 영어, 프랑스어 간에 상당한 중첩을 보여주었습니다. 공유된 유의 영역에는 후방 STG, MTG, IFG, IPL, PCC, mPFC, ACC 및 편도선이 포함되었습니다. 일부 언어별 변이가 존재했지만, 견고한 언어 중립적 표현 공간이 확인되었습니다.
3. 층 간 안정성: 엄격한 층 - 피질 계층 구조 가설과 달리, 이 연구는 초기 감각 영역에서 고차 영역으로의 정렬이 트랜스포머 층을 통해 체계적으로 진행되지 않는다는 사실을 발견했습니다. 공간적 정렬 패턴은 모델 깊이에 걸쳐 대체로 안정적으로 유지되었습니다. 일부 영역에서는 초기 또는 중간 층이 더 깊은 층과 동등하거나 더 나은 성능을 보였습니다.
4. 정적 대 문맥형 임베딩: 문맥형 임베딩이 정적 임베딩보다 우수하다는 이전 문헌과 달리, 본 연구는 세 가지 언어 모두에서 정적 FastText 임베딩이 문맥형 mBERT 임베딩보다 종종 더 높은 인코딩 성능을 보임을 발견했습니다.
5. 계산 지표 불일치: 놀라움과 내재적 차원성 (ID) 모두 관찰된 층별 뇌 점수 프로파일을 반영하지 않았습니다. 뇌 점수는 층을 따라 U 자형 프로파일 (중간 층에서 정점) 을 보인 반면, 놀라움은 단조롭게 감소했고 ID 는 10 층에서 정점을 찍었습니다. 이는 예측 불확실성과 표현 압축이 관찰된 정렬의 주요 동인이 아님을 시사합니다.
6. 기능적 계층 민감성: 층별 진행은 부재했지만, 기능적 네트워크 전반에 걸친 뇌 점수의 크기는 뇌의 대규모 조직 그라디언트를 반영했습니다. 정렬은 전모달 네트워크 (변연계, 복측 주의, DMN) 에서 가장 강했고 1 차 감각/운동 네트워크에서는 약했으며, 이는 주요 피질 그라디언트와 일치합니다.

의의 및 주장
본 논문은 뇌-LLM 정렬이 공간적으로 견고하고 초언어적으로 안정적이며, 언어 유형이 다른 언어 간에 일반화되고 피하 영역까지 확장된다고 주장합니다. 그러나 저자들은 이 정렬이 트랜스포머와 인간 뇌 사이에 공유된 계층적 계산 조직을 반드시 반영하는 것은 아니라고 겸손하게 결론지었습니다.

구체적으로, 이 연구는 트랜스포머의 깊이가 피질 계층을 반영하거나 정렬이 예측 처리 (놀라움) 나 정보 압축 (ID) 에 의해 주도된다는 관점에 도전합니다. 대신, 저자들은 신경 예측력이 주로 언어 간에 일반화되는 분산된 어휘 - 의미적 대응에서 비롯된다고 제안합니다. 이 정렬은 예측 오류 최소화나 정보 압축과 같은 공유된 계산 목표보다는 자연어의 공유된 통계적 구조를 반영할 수 있습니다. 연구 결과에 따르면 LLM 이 뇌의 기능적 계층 (예: 전모달 대 감각 처리) 의 측면을 포착하더라도, 이는 이전에 가설로 제기된 특정 층별 계산 역학과는 구별되는 메커니즘을 통해 이루어집니다.