Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models

이 논문은 fMRI 데이터와 매니폴드 학습 기법을 활용하여 대규모 언어 모델이 뇌 반응 예측 능력을 갖게 되는 두 단계의 추상화 과정과 그 구성성, 그리고 내재 차원성 간의 상관관계를 규명하고, 이러한 현상이 다음 단어 예측이 아닌 언어의 구성성에서 비롯됨을 시사합니다.

핵심

🧠 핵심 주제: "뇌와 AI 는 왜 닮았을까?"

우리는 이미 거대한 언어 모델 (AI) 이 인간의 뇌가 언어를 처리하는 방식과 놀라울 정도로 비슷하다는 것을 알고 있습니다. 하지만 **"왜 AI 의 마지막 답변을 내는 단계가 아니라, 중간 단계의 정보가 뇌와 가장 잘 맞는 걸까?"**라는 의문이 남았습니다.

이 연구는 그 답을 **"추상화 (Abstraction) 의 두 단계"**에서 찾았습니다.

🏗️ 비유: "요리사의 주방"

AI 모델을 거대한 **요리사 (Language Model)**의 주방이라고 상상해 보세요.

1. 첫 번째 단계: 재료를 다듬고 조합하는 과정 (Composition Phase)

   • 요리사가 손에 쥔 야채와 고기 (단어) 를 다듬고, 서로 어울리게 섞어 나만의 레시피를 만들어가는 단계입니다.
   • 이 단계에서는 **"이 재료들이 어떤 의미를 가지는지, 어떤 이야기로 이어질지"**를 깊이 있게 고민합니다.
   • 연구에 따르면, 인간의 뇌가 언어를 이해할 때 가장 활발하게 작동하는 부분과 이 AI 의 **'중간 단계'**가 정확히 일치합니다. 즉, 뇌는 '단어 그 자체'보다는 '단어들이 만들어내는 의미의 조합'을 처리하는 데 특화되어 있다는 뜻입니다.

2. 두 번째 단계: 완성된 요리를 내는 과정 (Prediction Phase)

   • 이제 요리를 다 완성했으니, "다음에 무슨 반찬을 낼까?"라고 예측해서 접시에 담는 단계입니다.
   • AI 모델의 **마지막 층 (Output Layer)**은 이 단계에 해당합니다. 여기서 AI 는 "다음 단어가 뭐가 될까?"를 정확히 맞추는 데 집중합니다.
   • 문제는, 이 마지막 단계는 뇌의 언어 처리 방식과는 거리가 멀어진다는 것입니다. 뇌는 '다음 단어를 맞추는 게임'을 하는 게 아니라, '의미를 이해하는 것'에 더 가깝기 때문입니다.

🔍 연구의 발견: "중간층이 가장 빛나는 이유"

연구진은 AI 모델을 훈련시키는 과정을 지켜보며 다음과 같은 놀라운 사실을 발견했습니다.

• 의미의 정점: AI 가 훈련을 거듭할수록, 모델의 중간 층에서 언어의 '의미'와 '추상적인 개념'이 가장 풍부하게 표현됩니다. 마치 요리가 가장 맛있게 완성되는 순간이요.
• 전환점: 하지만 훈련이 계속되면, 이 '의미의 정점'은 점점 **더 앞선 단계 (초기 층)**로 이동합니다. 마치 숙련된 요리사가 재료를 다듬는 시간을 줄이고, 더 빠르게 요리를 완성하는 것처럼요.
• 뇌와의 연결: 인간의 뇌 (fMRI 데이터) 가 언어를 처리할 때 활성화되는 영역과 AI 의 이 '의미가 가장 풍부한 중간 층'의 데이터가 가장 높은 상관관계를 보였습니다.

💡 쉽게 정리한 결론

1. AI 가 뇌와 닮은 이유는 '예측'이 아니라 '이해' 때문입니다.
   AI 가 다음 단어를 맞추는 능력 (예측) 이 뇌와 닮은 게 아니라, 언어의 복잡한 의미를 조합하고 추상화하는 능력 (이해) 이 뇌와 닮았습니다.

2. 중간층이 핵심입니다.
   AI 의 마지막 답변을 내는 부분보다는, 그 전에 의미를 조합하던 중간 단계가 인간의 뇌 활동과 가장 비슷합니다.

3. 훈련이 깊어질수록 더 빨라집니다.
   AI 가 더 많이 훈련될수록, '의미를 이해하는' 단계는 모델의 앞부분으로 빨라집니다. 이는 AI 가 점점 더 효율적으로 언어를 처리하게 된다는 뜻이기도 합니다.

🚀 이 연구가 우리에게 주는 메시지

이 연구는 **"인공지능을 더 잘 이해하려면, 마지막 답변이 아니라 그 과정 (중간 단계) 을 봐야 한다"**는 것을 알려줍니다. 또한, AI 와 인간의 뇌가 언어를 처리하는 방식에서 **공통된 원리 (추상화와 조합)**를 공유하고 있다는 증거를 제시하여, 인공지능과 뇌 과학 연구의 새로운 길을 열어주었습니다.

한 줄 요약:

"AI 가 뇌와 닮은 이유는 '다음 단어 맞추기'가 아니라, '단어들을 조합해 의미를 만들어내는 과정'을 공유하기 때문입니다. 그리고 그 마법 같은 과정은 AI 모델의 중간 단계에서 가장 빛납니다."

기술 요약

논문 요약: fMRI 증거가 지지하는 언어 모델의 2 단계 추상화 과정

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 대규모 언어 모델 (LLM) 의 중간 은닉 상태 (intermediate hidden states) 가 자연어 자극에 대한 인간의 뇌 반응 (fMRI 데이터 등) 을 예측하는 데 매우 효과적임이 반복적으로 입증되었습니다.
• 미해결 과제: 왜 LLM 의 출력층 (output layers) 이 아닌 중간 은닉층 (intermediate hidden layers) 이 뇌 활동 예측에 가장 최적화되어 있는지에 대한 명확한 설명은 부족합니다.
• 가설: 이 유사성이 LLM 의 '다음 토큰 예측 (next-token prediction)' 능력 때문인지, 아니면 언어의 '추상화 및 구성성 (abstraction and compositionality)' 특성 때문인지에 대한 논쟁이 존재합니다. 기존 연구들은 뇌 - 모델 유사성이 예측 코딩 (predictive coding) 에 기인한다고 보았으나, 본 논문은 이를 반박하고 추상화 과정이 핵심 동인임을 증명하려 합니다.

2. 연구 방법론 (Methodology)

저자들은 LLM 의 각 층 (layer) 에서 세 가지 주요 관측치를 측정하여 가설을 검증했습니다.

1. 뇌 - 모델 표현 유사성 (Brain-Model Similarity):

   • 데이터: 3 명의 피험자가 20 시간 분량의 영어 팟캐스트를 청취하는 동안 수집된 fMRI 데이터.
   • 모델: OPT (125M, 1.3B, 13B) 및 Pythia (6.9B) 모델.
   • 방법: LLM 의 각 층에서 추출된 활성화 벡터를 사용하여 뇌 활동 (voxel) 을 예측하는 선형 인코딩 모델 (Ridge Regression) 을 학습하고, 예측 성능을 평가했습니다.

2. 표현의 차원성 (Dimensionality of Representations):

   • 목적: 추상적 특징의 복잡성을 정량화.
   • 지표:
     • 비선형 내재 차원 (Intrinsic Dimension, $I_d$): GRIDE (Generalized Ratios Intrinsic Dimension Estimator) 알고리즘을 사용하여 비선형 매니폴드의 차원을 추정.
     • 선형 유효 차원 (Linear Effective Dimension, $d$): PCA 및 참여 비율 (Participation Ratio) 을 사용하여 분산을 설명하는 선형 방향의 수를 계산.
   • 데이터: The Pile 데이터셋에서 무작위 추출된 20 단어 컨텍스트 10,000 개.

3. 층별 놀라움 (Layerwise Surprisal):

   • 목적: 다음 토큰 예측 오류를 측정하여 예측 코딩 가설을 검증.
   • 방법: TunedLens 기법을 사용하여 중간 층에서 다음 토큰을 선형적으로 예측하는 능력을 측정하고, 이를 통해 층별 놀라움 (surprisal) 을 계산했습니다. 이는 기존 방법보다 측정 노이즈를 줄인 접근법입니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 층별 인코딩 성능과 내재 차원성 ($I_d$) 의 강한 상관관계

• LLM 의 각 층에서 뇌 활동 예측 성능 (Encoding Performance) 과 내재 차원성 ($I_d$) 은 매우 높은 양의 상관관계를 보였습니다 (OPT-1.3B 기준 $\rho=0.85$).
• 이는 언어 이해에 필요한 추상적 특징의 복잡성이 층별 $I_d$ 에 의해 잘 포착됨을 의미합니다.
• 이 상관관계는 뇌의 청각 피질 (저수준 정보 처리) 을 제외한 고수준 언어 처리 영역 (전두엽 등) 에서 두드러지게 나타났습니다.

나. 2 단계 추상화 과정의 발견 (Two-Phase Abstraction Process)

• 모델의 층을 따라가는 그래프 분석 결과, LLM 내부에서 두 가지 뚜렷한 단계가 존재함이 확인되었습니다.
  1. 구성/추상화 단계 (Composition/Abstraction Phase): 초기 층에서 $I_d$ 가 급격히 증가하며 뇌 활동 예측 성능도 함께 상승합니다. 이 단계는 문법 및 의미와 같은 고수준 특징을 추출합니다.
  2. 예측/추출 단계 (Prediction/Extraction Phase): $I_d$ 가 정점을 찍은 후 (예: OPT-1.3B 의 17 층), $I_d$ 는 감소하고 대신 다음 토큰 예측 손실 (Surprisal) 이 급격히 감소합니다.
• 핵심 발견: 뇌 활동과 가장 높은 유사성을 보이는 층은 $I_d$ 가 최대가 되는 층이며, 이는 다음 토큰 예측이 최적화되는 출력층이 아닙니다.

다. 학습 과정에서의 동적 변화 (Training Dynamics)

• Pythia 모델을 학습 단계별로 분석한 결과, 학습이 진행됨에 따라 $I_d$ 의 피크 위치와 인코딩 성능의 피크 위치가 동시 (concurrently) 에 발생하며, 학습이 깊어질수록 이 피크가 모델의 초기 층으로 이동하는 경향을 보였습니다.
• 이는 초기 구성 단계가 학습이 진행됨에 따라 더 효율적으로 압축됨을 시사하며, 이 현상이 단순한 아키텍처의 층 인덱스 함수가 아님을 입증합니다.

라. 다음 토큰 예측 vs. 추상화

• 모델이 커지고 학습이 깊어질수록 예측 능력이 향상되지만, 뇌와 가장 유사한 층 (최고의 설명력을 가진 층) 과 최적의 예측 층은 서로 멀어지는 (drift) 경향을 보입니다.
• 이는 뇌 - 모델 유사성이 LLM 의 자기회귀적 예측 특성 (autoregressive nature) 이 아니라, 추상적 구성성 (abstractive compositionality) 에 기인함을 강력히 시사합니다.

4. 의의 및 결론 (Significance)

• 이론적 의의: 인간 뇌와 LLM 간의 유사성이 단순히 "다음 단어 예측"이라는 공통 목표 때문이 아니라, 복잡한 언어 정보를 추상화하고 구성하는 과정에서 비롯된다는 것을 fMRI 데이터를 통해 실증했습니다. 이는 LLM 이 인간 언어 처리의 '2 단계 추상화 과정'을 모방하고 있음을 보여줍니다.
• 실용적 의의:
  • 인코딩 모델 성능 향상: 단일 층의 표현이 아닌, 서로 다른 층의 스펙트럼 특성을 측정하여 고차원 ($I_d$) 표현을 효율적으로 결합하는 새로운 인코딩 모델 아키텍처 개발의 가능성을 제시합니다.
  • 모델 해석 가능성: LLM 의 내부 작동 원리를 이해하는 데 있어, 단순한 예측 오차 분석을 넘어 표현의 기하학적 구조 (차원성) 를 분석하는 것이 중요함을 강조합니다.

결론적으로, 본 논문은 fMRI 데이터와 기하학적 분석 (내재 차원성) 을 결합하여, LLM 이 뇌와 유사한 방식으로 언어를 처리하기 위해 초기 추상화 단계와 후기 예측 단계로 나뉘는 두 단계의 과정을 거친다는 것을 증명했습니다.