기술 요약: 언어 모델의 희소 특징(Sparse Features)을 이용한 뇌 반응 해석

문제 정의

인지 신경과학의 핵심 과제는 인간 언어 피질이 표현하는 구체적인 특징이 무엇인지 규명하는 것이다. 인공 언어 모델(LM)은 이러한 표현을 탐사하기 위한 강력한 도구로 등장했지만, 기존 연구들은 종종 하나의 "블랙박스"(LM)를 다른 블랙박스(뇌)와 연결하면서도, 구체적으로 어떤 신경 집단이 무엇을 표현하거나 계산하는지에 대한 명확한 주장을 내놓지 못한다는 비판을 받아왔다. 또한, 표준적인 LM 인코딩 모델은 대개 해석하기 어려운 조밀한 잔차 스트림(residual-stream) 은닉 상태에 의존한다. 저자들은 단순히 예측 성능을 높이는 것을 넘어, 일반적(primary) 특징과 특이적(idiosyncratic) 특징을 구분함으로써 뇌의 반응을 유도하는 특징에 대해 해석 가능하고 기계적인 통찰을 제공하는 프레임워크를 개발하여 이러한 한계를 해결하고자 한다.

방법론

저자들은 두 가지 핵심적인 방식으로 표준 LM 인코딩 접근 방식을 수정한 증강 희소 인코딩 모델(Augmented Sparse Encoding Models) 프레임워크를 소개한다.

1. 희소 오토인코더(SAE) 분해: 저자들은 LM의 은닉 상태를 직접 사용하는 대신, 사전 학습된 희소 오토인코더(SAE)를 사용하여 LM 은닉 상태를 계층적으로 조직된 희소 특징 기저(feature basis)로 투영한다. 이를 위해 두 가지 구조를 활용한다:
   • JumpReLU SAE: 성능이 뛰어난 표준 SAE.
   • Matryoshka SAE: 초기 특징은 일반적이고 폭넓게 적용되는 정보를 포착하고, 후기 특징은 점진적으로 더 세밀하고 특이적인 세부 사항을 포착하도록 훈련된 계층적 SAE.
2. 명시적 서프라이절(Surprisal) 증강: 특징 집합은 언어 처리의 난이도를 나타내는 널리 받아들여지는 척도인 서프라이절(음의 로그 확률)에 대한 명시적인 스칼라 예측값으로 증강된다.

데이터 및 분석 파이프라인:

• 데이터셋: 주요 분석에는 8명의 참가자가 200개의 다양한 언어 문장을 듣는 동안 측정된 고자기장 7T fMRI 데이터셋을 사용한다. 복셀(voxel)은 신뢰성(노이즈 천장 신호 대 잡음비 > 0.4)을 기준으로 선택되었으며, 좌반구로 제한되었다.
• 복셀 하위 유형: 복셀은 이전 연구에서 확인된 두 가지 주성분(PC)과의 상관관계에 따라 분류되었다: PC1(처리 난이도: 쉬움-어려움) 및 PC2(내용: 구체적-추상적). 또한, 두 PC 모두에 대한 로딩이 약한 "고스트(Ghost)" 집단도 분석되었다.
• 인코딩 모델: 두 단계 파이프라인이 채택되었다:
  1. 특징 선택: 복셀 반응을 예측하는 희소 특징 집합을 식별하기 위한 LASSO 회귀.
  2. 재적합(Refitting): 예측력을 추정하기 위해 (서프라이절 특징을 항상 포함하는) Ridge 회귀.
• 일반화 분석: 일관된 하위 집단을 식별하기 위해, "소스" 복셀을 예측하는 부호화된 희소 특징이 동일한 집단 내의 "타겟" 복셀을 예측할 수 있는지 테스트하였다.

주요 기여 및 결과

1. 희소 특징의 검증

본 연구는 SAE 특징이 조밀한 잔차 스트림 특징만큼 정확하게 언어에 대한 복셀 반응을 예측함을 입증했다. 특히, Matryoshka SAE 기저는 모든 복셀 하위 유형에 대해 조밀한 잔차 스트림 특징과 대등한 성능을 달성하면서도, 더 해석 가능한 희소 특징 집합(복셀당 평균 약 18개 특징 선택)을 제공했다.

2. 처리 난이도와 내용의 분리

이 프레임워크는 단일 복셀 수준에서 처리 난이도와 내용 중심의 복셀 집단 사이의 분리를 성공적으로 복원했다:

• 처리가 어려운 복셀: 이들은 거의 전적으로 서프라이절만에 의해 설명된다. SAE나 잔차 스트림 특징을 추가해도 예측 이득이 유의미하지 않았다.
• 추상적 및 구체적 복셀: 이 집단은 SAE 또는 잔차 스트림 특징이 포함될 때 유의미한 예측력 향상을 보였으며, 이는 단순한 처리 난이도를 넘어 표현적 내용에 반응하도록 튜닝되어 있음을 나타낸다.

3. 내용 중심 복셀의 해석

추상적 및 구체적 복셀을 위해 선택된 특정 SAE 특징을 조사함으로써, 저자들은 기존의 해석을 정교화했다:

• 추상적 복셀: 감정, 질문, 결과, 그리고 실패/오류 진술과 관련된 특징에 의해 구동된다. 반면 풍경과 관련된 특징에 의해 억제된다.
• 구체적 복셀: 사람, 행동, 그리고 대명사와 관련된 특징에 의해 구동된다.
• 비대칭성: 분석 결과 PC 기반 분석에서는 보이지 않았던 비대칭성이 드러났다. 예를 들어, "사람 관련" 특징은 추상적 복셀을 억제하지만, 구체적 복셀을 안정적으로 예측하지는 못한다.

4. "고스트(Ghost)" 복셀 하위 집단의 발견

저자들은 이전에 특성화되지 않았던 "고스트" 복셀 집단(주요 PC에 의해 포착되지 않는 안정적인 반응)을 식별하고 해석했다.

• 발견: 사람 중심의 내용(관계, 대명사, 사람과 관련된 행동)에 특화되어 튜닝된 32개의 복셀로 구성된 일관된 하위 집단이 발견되었다.
• 해부학적 위치: 이 복셀들은 핵심 전두-측두 언어 네트워크 외부, 즉 사회적 인지 및 마음 이론(theory-of-mind)과 관련된 영역인 하각회(inferior angular gyrus, 측두두정접합부 근처)와 내측 전전두 피질에 주로 위치했다.
• 개별성: 핵심 언어 네트워크와 달리, 이 하위 집단은 소수의 개인(종종 단 한 명 또는 두 명의 참가자)에게만 공유되는 특징에 의해 구동되었다.

5. 전두-측두 언어 네트워크의 특성화

다섯 가지 전형적인 언어 영역(IFG, IFGorb, MFG, AntTemp, PostTemp)을 분석한 결과:

• 지역적 차이: 전두엽 영역(특히 MFG)은 서프라이절만으로 잘 설명되는 반면, 측두엽 영역은 LM 유래 내용 특징에 훨씬 더 많이 의존한다.
• 공통 특징 기저: 지역적 차이에도 불구하고, 언어 네트워크는 영역과 개인을 가로질러 공통된 특징 집합에 의존한다. 복셀 간 일반화는 "고스트" 집단과 달리 네트워크 전체에서 높게 나타났다.
• 일반적 vs. 특이적 특징: 참가자와 영역 전반에 걸쳐 가장 널리 퍼져 있는 특징은 일반적이고 폭넓게 적용되는 특징(예: 토큰 개수, 사람/감정과 같은 공통적인 의미 테마)이었다.
• 계층적 정렬: 결정적으로, 뇌의 반응은 가장 일반적인 특징들(Matryoshka 계층의 첫 128개 특징)에 의해 가장 잘 예측되었다. 이들은 전체 특징 공간의 0.4%만을 차지한다. 더 세밀하고 특이적인 특징들(SAE 공간의 대부분)은 뇌 반응을 예측하는 데 기여도가 낮았으며, 이는 뇌와 LM 표현 사이의 대응 관계가 미세한 세부 사항보다는 일반적인 정보에 기반한 구조적 대응에 기초함을 시사한다.

의의 및 주장

본 논문은 증강 희소 인코딩 모델이 다음과 같은 프레임워크를 제공함으로써 모델과 뇌를 블랙박스로 취급하는 방식을 넘어선다고 주장한다:

1. 신호 분리: 처리 난이도(서프라이절)와 표현적 내용(SAE 특징)을 구분한다.
2. 구조 노출: 인간 언어 네트워크가 특이적인 특징보다는 일반적이고 일차적인 특징들에 의해 지배되는, 공유되고 해석 가능한 특징 기저를 중심으로 조직되어 있음을 밝힌다.
3. 해석 확장: 공간적으로 분포되어 있으며 낮은 차원의 반응 구조와 일치하지 않는 새로운 일관된 복셀 하위 집단(예: 사람 튜닝 복셀)을 찾아낸다.
4. 대응 심화: 인공 및 생물학적 언어 표현 사이의 정렬은 LM에 인코딩된 가장 일반적인 정보를 포착하는 특징들에 의해 구동됨을 보여주며, 이는 단순한 인코딩 정확도 이상으로 깊은 구조적 대응이 존재함을 암시한다.

저자들은 해석이 사용된 특정 SAE 특징 기저에 국한될 수 있으며, 복셀 수준의 데이터가 신경 활동의 거친 척도라는 점을 언급하며 신중한 입장을 유지한다. 이들은 이 문제가 완전히 해결되었다고 주장하는 것이 아니라, 언어적 의미가 뇌 내에서 어떻게 조직되는지를 규명하기 위한 검증된 단계를 제공하는 것이다.