기술 요약: 훈련 기반 표현 기하학적 모듈화가 언어 모델의 뇌 정렬을 예측한다

문제 정의

본 연구가 다루는 핵심 과제는 대규모 언어 모델(LLM)이 인간의 언어적 신경 표현 및 계산 방식과 어떻게 정렬(alignment)되는지 그 메커니즘을 이해하는 것이다. 기존 연구들은 LLM의 활성화 값이 언어적 자극에 대한 인간의 fMRI 반응을 예측할 수 있음을 입증해 왔으나, 이러한 정렬이 발생하는 근본적인 이유에 대해서는 여전히 논쟁이 지속되고 있다. 기존의 설명들은 주로 외부적인 언어적 특징(통사론, 의미론)이나 저수준 통계적 특성에 대한 공유된 민감성에 의존해 왔으며, 이는 심층적인 기능적 상동성(functional homology)을 반영하지 못할 수 있다. 또한, 대부분의 연구는 완전히 훈련된 모델의 정적인 스냅샷만을 활용함으로써, 훈련 과정 중에 나타나는 발달 궤적과 미세한 층별(layer-wise) 모듈성을 간과하고 있다. 본 연구는 모델 층의 고유한 표현 기하학(특히 엔트로피와 곡률)이 공유된 잠재 변수로 작용하며, 훈련 중 이의 진화가 인간의 뇌 활동과의 정렬을 주도한다고 가정한다.

방법론

데이터 및 모델

• 뇌 데이터: TUCKUTE2024 fMRI 데이터셋을 활용하였으며, 1,000개의 문장을 수동으로 읽는 동안 기록된 5명 참가자의 신경 반응을 포함한다. 좌반구 언어 네트워크의 5개 관심 영역(ROI)인 IFGorb, IFG, MFG, AntTemp, PostTemp를 분석하였다.
• 언어 모델: Pythia 모델 제품군(Transformer 기반)을 네 가지 규모(70M, 160M, 410M, 1B 파라미터)에 걸쳐 사용하였다.
• 훈련 역학: 1단계부터 143,000단계까지 로그 간격으로 배치된 19개의 체크포인트를 분석하여, 모델 표현과 훈련 진행의 공진화 과정을 포착하였다.

기하학적 지표

각 문장과 층에 대해 두 가지 기하학적 특성을 계산하였다:

1. 엔트로피 ($E$): 토큰 은닉 상태(hidden states)의 정규화된 그람 행렬(Gram matrix)에 대한 브리지-폰 노이만 엔트로피(von Neumann entropy)로 계산된다. 낮은 엔트로피는 압축되고 저차원인 표현을 나타내며, 높은 엔트로피는 분산되고 고차원적인 상태를 반영한다.
2. 곡률 ($C$): 표현 공간 내 토큰 궤적의 평균 회전각(mean turning angle)으로 정의된다. 높은 곡률은 날카롭고 국소적인 변화를 의미하며, 낮은 곡률은 더 부드럽고 전역적으로 일관된 궤적을 의미한다.

분석 프레임워크

1. 모듈화: 층별 기하학적 궤적(엔트로피와 곡률의 체크포인트별 벡터)을 K-평균 클러스터링($K=2$)하여 저복잡도(low-complexity) 및 고복잡도(high-complexity) 모듈을 식별하였다. 견고성은 Leave-One-Checkpoint-Out(LOCO) 및 부트스트랩 재표집을 통해 검증되었다.
2. 뇌 정렬: 선형 인코딩 모델(5-겹 교차 검증을 적용한 리지 회귀)을 사용하여 층 활성화 값을 피험자 평균 fMRI 반응에 매핑하였다. 정렬도는 피어슨 상관계수($r$)로 정량화하였다.
3. 결합 분석:
   • 궤적 결합: 훈련 체크포인트 전반에 걸친 기하학적 지표와 fMRI 점수 간의 상관관계.
   • 조건부 결합: 훈련 진행도와 층 식별자를 통제한 후에도 기하학적 지표가 fMRI 점수를 예측하는지 결정하기 위한 고정 효과 회귀($fMRI \sim Geometry + \log(t) + \alpha_{layer}$).
4. 규모 분석: 모델 용량의 안정화 효과를 평가하기 위해 모델 크기(70M ~ 1B)에 따른 기하학과 정렬의 관계를 비교하였다.

주요 결과

1. 기하학적 모듈화의 출현

훈련은 층들을 두 개의 뚜렷한 기하학적 모듈로 안정적인 자기 조직화를 유도한다:

• 저복잡도 모듈: 중간에서 상위 층들(예: Pythia-1B의 4~15번 층)로 구성되며, 일관되게 낮은 엔트로피와 곡률을 특징으로 한다.
• 고복잡도 모듈: 얕은 층 및 나머지 층들로 구성되며, 높은 엔트로피와 곡률을 유지한다.
  이러한 모듈화는 훈련 중기 이후(단계 >4k)에 나타나며 안정적으로 유지되고, 훈련이 진행됨에 따라 클러스터 간 격차가 넓어진다.

2. 모듈 및 ROI에 따른 차등적 뇌 정렬

• 전역적 우위: 저복잡도 모듈은 모든 언어 ROI에서 고복잡도 모듈보다 fMRI 반응을 예측하는 데 있어 일관되게 우수한 성능을 보인다.
• 시공간적 이질성:
  • 측두 영역 (AntTemp, PostTemp): 초기 발생(단계 $\le$ 64) 및 안정적인 저복잡도 모듈의 우위를 보이며, 역전 현상이 나타나지 않는다.
  • 전두 영역 (IFG, IFGorb): 지연되고 역동적인 차별화를 보인다. 특히 IFGorb는 초기에 고복잡도 모듈으로 기울어지는 일시적인 경향을 보이다가, 이후 지속적인 저복잡도 우위로 전환된다.
  • MFG: 모듈 특이성이 가장 약하고 일관성이 낮다.

3. 강력한 예측 인자로서의 곡률

• 공진화: 곡률은 훈련 궤적 전반에 걸쳐 fMRI 인코딩 점수와 강한 음의 상관관계를 보인다(곡률이 감소함에 따라 정렬도가 증가함).
• 조건부 예측력: 훈련 진행도와 층 고정 효과를 통제한 후에도, 감소된 곡률은 대부분의 ROI(AntTemp, IFGorb, PostTemp)에서 강력한 음의 예측 인자로 남는다. 반면, 엔트로피는 일부 ROI에서는 양의 효과를, 다른 곳에서는 유의미하지 않은 효과를 보이는 등 조건부 효과가 이질적으로 나타나, 보다 복잡한 관계를 시사한다.

4. 규모 효과

• 안정화: 기하학과 정렬 사이의 관계는 모델 규모가 커질수록 강화된다.
• 탐지 가능성: 작은 모델(70M, 160M)에서는 곡률의 조건부 효과가 약하거나 일관되지 않다. 큰 모델(410M, 1B)에서는 곡률의 음의 예측력이 모든 ROI에서 통계적으로 유의미하고 일관되게 나타난다. 큰 모델은 기하학적 효과를 훈련 노이즈로부터 구별해낼 수 있게 하는 안정제 역할을 한다.

의의 및 주장

본 논문은 표현 기하학이 훈련 역학을 모델-뇌 정렬로 연결하는 핵심적인 중간 표현형(intermediate phenotype)임을 확립한다고 주장한다. 주요 기여는 다음과 같다:

1. 메커니즘적 통찰: 본 연구는 층들이 저복잡도 및 고복잡도 클러스터로 자발적으로 분화되는 것이 구조적 인위물이 아니라 학습에 의해 유도된 기능적 재편임을 입증한다.
2. 생물학적 타당성: 저복잡도 모듈의 일관된 우위는 뇌가 선형 판독(linear readout)을 용이하게 하는 저차원 매니폴드로 압축된 표현을 선호한다는 것을 시사한다.
3. 구별된 계산적 역할: 측두 영역(초기, 안정적)과 전두 영역(지연, 역동적)의 정렬 궤적 사이의 해리는 서로 다른 계산적 요구를 반영한다: 측두 영역은 인출을 위해 안정적이고 모호함이 적은 코드를 필요로 하는 반면, 전두 영역은 통합을 위해 유연한 상호작용 패턴을 필요로 하며 이는 나중에 안정화된다.
4. 곡률 vs 엔트로피: 저자들은 곡률(매니폴드의 매끄러움)이 신경 반응에 대한 선형 매핑의 보편적 전제 조건("더 평평할수록 좋다")인 반면, 엔트로피는 압축과 용량 사이에서 균형을 맞추는 "양날의 검"으로서 정렬과 비단조적(non-monotonic)인 관계를 갖는다고 제안한다.
5. 규모의 역할: 모델 규모는 단순히 성능을 높이는 도구가 아니라, 매니폴드 구조와 신경 인코딩 사이의 미묘한 기하학적 결합을 훈련 노이즈로부터 드러내어 감지 가능하게 만드는 안정제임이 확인되었다.

결론적으로, 본 연구는 훈련에 의한 기하학적 모듈화가 전통적인 언어적 관점을 보완하는 렌즈를 제공하며, 이를 통해 표현의 매끄러움(smoothing)이 신경 유사적 언어 처리를 촉진한다는 메커니즘을 밝혀냈다.