기술 요약: 데이터 기반 모델과 과학적 이론 사이의 가교 역할을 하는 생성적 인과 검증(Generative Causal Testing)

문제 제기

언어 신경과학은 "설명 가능성의 위기"에 직면해 있다. 거대 언어 모델(LLM)은 자연어 자극에 대한 인간의 뇌 반응(BOLD fMRI)을 예측하는 데 매우 효과적임을 입증했지만, 이러한 모델들은 거대한 신경망으로 구현되어 수백만 개의 매개변수를 가진 불투명한 "블랙박스"로 기능한다. 이로 인해 특정 언어 자극이 특정 뇌 영역의 반응을 유도하는 구체적인 특징이 무엇인지 해석하기 어렵다. 기존의 데이터 기반 접근 방식은 뇌 영역을 기술할 수는 있지만, 후속 실험을 통해 이러한 기술을 검증하는 데는 한계가 있다. 반대로, 뇌 활동을 유도하기 위해 자극을 생성하는 방법들은 인간이 해석 가능한 가설을 제시하지 못하는 경우가 많다. 따라서 고성능이지만 해석 불가능한 인코딩 모델을 간결한 자연어 가설로 변환하고, 이를 인과적으로 검증할 수 있는 프레임워크가 필요하다.

방법론: 생성적 인과 검증 (Generative Causal Testing, GCT)

저자들은 예측 모델링과 실험적 검증 사이를 연결하는 폐쇄 루프 프레임워크인 **생성적 인과 검증(GCT)**을 제안한다. 이 과정은 세 가지 주요 단계로 구성된다:

1. 인코딩 모델 피팅 (Encoding Model Fitting):

   • 저자들은 20시간 동안의 수동적 언어 청취 fMRI 데이터를 사용하여 세 명의 피험자에 대해 복셀 단위(voxelwise) 인코딩 모델을 피팅한다.
   • 자극은 오픈 소스 LLM(LLaMA 및 OPT)을 통해 활성화 벡터로 처리된다.
   • 정규화된 선형 회귀를 통해 LLM 활성화의 가중 조합으로서 복셀 반응 시계열을 예측한다. 예측 성능($r > 0.15$)이 충분한 모델만을 유지한다.

2. 설명 생성 (Explanation Generation - 가설 구축):

   • 불투명한 인코딩 모델을 해석하기 위해, 저자들은 지시 미세 조정(instruction-finetuned)된 LLM을 사용하여 간결한 자연어 설명을 생성한다.
   • 시스템은 인코딩 모델의 예측에서 상위 구동 $n$-gram(1, 2 또는 3개의 단어)을 식별한다.
   • 이 $n$-gram들은 후보 언어 가설(예: "음식 준비", "장소 이름")로 요약된다.
   • 안정성 스크리닝 (Stability Screening): 신뢰성을 보장하기 위해, 두 가지 서로 다른 LLM 기반 인코딩 모델(LLaMA와 OPT)의 예측을 상관시켜 안정성 점수를 계산한다. 높은 안정성 점수를 가진 설명만이 테스트 대상으로 선택된다.
   • 합성 검증 (Synthetic Validation): LLM은 해당 설명에 기반하여 합성 텍스트를 생성함으로써, 해당 텍스트가 원래의 인코딩 모델 예측을 성공적으로 유도하는지 검증한다.

3. 인과적 실험 검증 (Causal Experimental Testing):

   • 프레임워크는 생성된 설명을 in vivo에서 테스트하기 위한 새로운 신경 영상 실험을 설계한다.
   • LLM은 특정 단락이 생성된 설명에 따라 대상 복셀 또는 관심 영역(ROI)을 선택적으로 유도하도록 설계된 일관된 내러티브 이야기를 생성하며, 이때 다른 단락들은 베이스라인 역할을 하거나 다른 대상을 유도한다.
   • 피험자들은 두 번째 fMRI 세션 동안 이 이야기들을 듣거나 읽는다.
   • 지표: 성공 여부는 "유도" 단락 중의 평균 BOLD 반응을 베이스라인 반응(유도하지 않는 단락들의 평균)과 비교하여 측정한다. 유의미한 증가가 나타나면 해당 설명이 뇌 활동과 인과적으로 연결되어 있음이 확인된다.

주요 기여

• 엔드 투 엔드 프레임워크: 저자들은 불투명한 인코딩 모델로부터 자동으로 가설을 구축하고, 이를 LLM 생성 합성 자극을 통한 후속 fMRI 실험으로 검증하는 최초의 프레임워크를 소개한다.
• 인과적 검증: 모델 예측과 뇌 활동을 단순히 상관시키는 기존 연구와 달리, GCT는 생성된 언어적 설명이 특정 뇌 활동을 유도하는 자극 개입을 처방할 수 있음을 입증한다.
• 세밀한 발견: 이 방법은 그룹 분석에서는 놓치기 쉬운 전두엽 피질 내의 "마이크로 ROI"를 포함하여, 개별 복셀 및 확립된 ROI에서의 선택성을 성공적으로 식별한다.
• 유사 영역의 차별화: GCT는 공존하는 의미적 특징을 억제함으로써, 표면적으로 유사한 기능적 선택성을 가진 뇌 영역(예: RSC, PPA, OPA 구분)을 구별할 수 있는 적대적 자극을 구축하는 데 사용된다.

결과

• 단일 복셀 유도: 17개의 잘 모델링된 복셀을 대상으로 한 실험에서, GCT 설명으로부터 생성된 유도 단락은 베이스라인보다 유의미하게 높은 반응을 유도했다 ($p < 0.05$, 모든 피험자 대상). 평균적으로 유도된 반응은 베이스라인 대비 0.198 표준 편차만큼 증가했다.
• ROI 검증: 프레임워크는 알려진 의미적 선택성(예: EBA의 경우 "신체 부위", PPA의 경우 "장면")과 일치하는 8개의 뚜렷한 관심 영역(EBA, PPA, OPA, RSC 포함)을 성공적으로 유도했다.
• 마이크로 ROI 발견: 전두엽 피질에서 GCT는 "인식"(Brodmann area 9 근처), "대화"(Broca's area 근처), "시간/숫자"(Brodmann area 46 근처)와 같은 특정 개념에 선택적인 새로운 기능적 마이크로 ROI를 식별하고 검증했다.
• 기능적 유사성 테스트: "언어 네트워크"에 적용했을 때, GCT는 한 영역을 유도하면서 다른 영역을 억제할 수 있는 자극을 찾는 데 실패했다. 유도 벡터의 코사인 유사성 분석은 이 영역들이 기능적으로 구별 불가능함을 보여주며, 이는 언어 네트워크의 균질성에 대한 기존 이론을 뒷받침한다.
• 성공에 영향을 미치는 요인: 저자들은 안정성 점수(서로 다른 인코딩 모델 간의 일치도)가 성공적인 유도의 가장 강력한 예측 인자임을 발견했다. 또한, 유도 단락 내의 핵심 $n$-gram의 존재는 생리학적 기대치와 일치하는 약 6초의 피크를 갖는 혈역학적 반응 곡선을 유도했다.

의의 및 주장

저자들은 GCT가 데이터 기반 딥러닝과 형식적 과학 이론 사이의 긴장을 해결할 경로를 제공한다고 주장한다. 불투명한 모델 매개변수를 테스트 가능한 자연어 가설로 번역하고 이를 인과적으로 검증함으로써, GCT는 다음과 같은 성과를 달아낸다:

1. 가설의 실행 가능화: 추상적인 모델 특징을 구체적이고 반증 가능한 과학적 주장으로 전환한다.
2. 발견의 가속화: 표준적인 자연주의적 또는 블록 설계 패러다임으로는 탐색하기 어려운 미세한 기능적 구조(예: 마이크로 ROI)의 발견을 자동화한다.
3. 모델 검증: 고성능 인코딩 모델이 단순히 통계적으로 정확한 것이 아니라, 뇌 활동의 진정한 인과적 동인을 포착하고 있음을 검증하는 메커니즘을 제공한다.

결론적으로, GCT는 단일 설명에 집중한다는 점(잠재적으로 다의적 복셀을 놓칠 수 있음)과 기초가 되는 인코딩 모델의 품질에 의존한다는 한계가 있지만, 과학적 담론이 더욱 미묘하고 실행 가능하며 생성 모델로부터 도출된 인과적 증거에 근거하게 되는 미래를 향한 중요한 진전임을 시사한다.