기술 요약: NeuroCogMap, 대규모 언어 모델의 인지적 조직 구조를 밝히다

문제 정의

대규모 언어 모델(LLM)은 광범위한 인지적 유사 행동을 보이지만, 그 내부의 인지적 조직 구조는 여전히 불투명하다. 현재의 해석 가능성(interpretability) 접근 방식은 파편화되어 있다. 행동 평가 방식은 모델이 무엇을 할 수 있는지는 보여주지만 어떻게 기능이 구현되는지는 보여주지 못하며, 기계적 연구는 고립된 뉴런이나 회로를 식별할 뿐 시스템 수준의 일관성을 결여하고 있다. 또한 표상 분석은 광범위한 의미론적 구조를 드러내지만, 이를 특정 기능 단위나 계층적 조직과 연결하지 못한다. 이로 인해 LLM 내의 분산된 구성 요소들이 어떻게 일관된 기능 단위를 형성하고, 서로 다른 추상화 수준 간에 상호작용하며, 고차원적 능력을 지원하고, 병리적 행동(예: 환각, 편향, 거절 실패) 시 어떻게 붕괴되는지에 대한 이해에 결정적인 공백이 존재한다. 나아가, 이러한 인공적 구조가 생물학적 인지에 대한 검증 가능한 통찰을 제공하거나 인간의 신경 반응 예측을 개선할 수 있는지 여부도 불분명하다.

방법론: NeuroCogMap 프레임워크

저자들은 인지 신경과학의 원리(기능적 구획화, 표상 매핑, 계층적 추상화)에서 영감을 얻은 NeuroCogMap 프레임워크를 도입하여 LLM의 내부 인지 구조를 매핑한다. 이 프레�text워크는 네 가지 연결된 단계로 작동한다:

1. 기능적 지도 구축 (Parcels):

   • 특징 추출: 다양한 데이터셋에 걸쳐 LLM(Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B)의 잔차 스트림(residual streams)에서 희소 오토인코더(Sparse Autoencoder, SAE) 활성화를 추출한다. SAE는 다의적(polysemantic) 뉴런 활성화를 분리 가능하고 해석 가능한 특징 방향으로 분해하는 데 사용된다.
   • 클러스터링: SAE 특징들을 작업 유발 응답 프로파일과 층 분포를 기반으로 클러스터링한다. 최적의 입도(granularity)는 클러스터링 품질, 기능적 설명 품질, 비중복성 사이의 균형을 맞춘 결합 점수에 의해 결정되며, 그 결과 **270개의 기능적 파셀(parcels)**이 도출된다.
   • 주석 달기(Annotation): 각 파셀에는 높은 활성 사례와 키워드 추출을 바탕으로 자연어 기능 설명(예: "모순 분석", "지리적 지식 검색")이 할당된다.

2. 인지 지도 및 역량 매핑:

   • 역량 인벤토리: 문헌으로부터 정제된 45개의 인지 역량 공간(예: 강건성, 추론, 안전성)을 구축한다.
   • 연결: 세 가지 증거 스트림을 사용하여 파셀을 역량과 연결한다: 작업 유발 활성화 상관관계, 인과적 개입 효과(파셀 활성화 스티어링), 그리고 파셀 설명과 역량 정의 간의 의미론적 일관성.

3. 인지 계층 구조:

   • 역량은 블룸의 분류법(Bloom's taxonomy)에서 영감을 얻은 네 가지 층위인 **지각(Perception), 표상(Representation), 추상화(Abstraction), 적용(Application)**으로 조직된다.
   • 프레임워크는 파셀이 해당 층위의 설명과 의미론적으로 더 유사하며, 낮은 수준의 역량이 높은 수준의 추론을 위한 전제 조건이 된다는 것을 입증함으로써 이 계층 구조를 검증한다.

4. 구조적 커넥톰(Structural Connectome):

   • 구성된 SAE 특징들의 층 간 관계를 기반으로 파셀 간의 유향 연결(directed connections)을 추정하여, 조정 및 장애를 분석하기 위한 모델 수준의 구조적 커넥톰을 생성한다.

주요 결과

1. 안정적이고 해석 가능한 인지 단위의 출현

NeuroCogMap은 LLM의 내부 활동이 임의적인 클러스터가 아니라 안정적이고 기능적으로 의미 있는 단위를 형성함을 식별한다.

• 안정성: 270개 파셀 지도는 높은 내부 의미론적 일관성(파셀 내 유사도 > 파셀 간 유사도)과 서로 다른 LLM 아키텍처 간의 부분적인 교차 모델 일관성을 보여준다.
• 해석 가능성: 활성화 프로파일에서 유도된 기능적 설명은 홀드아웃 데이터에 대한 파셀 활성화 순위를 성공적으로 예측하며, 이는 뉴런 기반 또는 키워드 전용 베이스라인보다 우수한 성능을 보인다.
• 인과성: 특정 파셀에 대한 표적 개입(스티어링)은 모델 출력을 할당된 기능 방향으로 변화시키며, 이는 파셀과 행동 사이의 인과적 연결을 확인시켜 준다.

2. 시스템 수준의 병리 분석

NeuroCogMap은 모델의 실패가 균일한 오류가 아니라 특정 인지 시스템의 구별된 장애임을 드러낸다.

• 환각(Hallucination):
  • TruthfulQA에서 환각은 오도하는 정보 검색에 대한 고차원적 평가 제어(예: "진위 확인" 및 "이진 사실 확인" 활성화 감소)의 실패에서 기인한다.
  • NQ-Open에서 환각은 사실적 정보 검색 시스템 간의 파편화된 조정(예: "지리적 지식"과 "사실-정보 핵심" 간의 약화된 결합)에서 발생한다.
  • 탐지 및 완화: 이러한 장애로부터 유도된 시그니처는 환각 탐지(AUROC 최대 0.840)를 가능하게 하며, 과잉 모집된 검색 파셀을 억제하고 과소 모집된 평가 파셀을 강화함으로써 사실적 정확도를 유의미하게 향상시킨다.
• 거절 실패(Refusal Failure):
  • 거절 실패(유해한 지시에 대한 순응)는 제어/모니터링 시스템(예: "법적-도덕적 평가")에서 절차적 실행 시스템(예: "행동 계획")으로의 전환을 반영한다.
  • NeuroCogMap 가이드 스티어링은 거절 정확도를 실질적으로 개선한다 (예: Gemma2-2B의 경우 AdvBench에서 38.3%에서 98.6%로 향상).

3. 인간 피질 기능과의 정렬

프레임워크는 LLM의 조직과 인간의 뇌 활동 사이의 기능적 대응 관계를 확립한다.

• 신경 예측: Neuro-CogMap 파셀 활성화는 자연스러운 이야기 청취 중(LeBel 데이터셋) 인간의 피질 BOLD 반응을 표준 임베딩(BERT, Word2Vec)이나 일반적인 LLM 은닉 상태보다 더 높은 정확도($r=0.407$)로 예측한다.
• 국소화: 예측 우위는 고차 연합 피질(디폴트 모드, 전두정엽 제어, 살리언스 네트워크) 중에서도 특히 의미론적 검색 및 맥락 통합에 관여하는 영역에 국한되어 나타난다.
• 기능적 대응: 인간 피질 파셀을 가장 잘 예측하는 LLM 파셀은 유사한 기능적 설명을 공유한다 (예: LLM의 "일화 기억 검색"은 인간의 디폴트 모드 기억 영역과 일치함). 표현 유사성 분석(RSA)은 정렬된 LLM 파셀의 내부 기하학적 구조가 인간 피질 네트워크의 구조를 보존함을 확인한다.

4. 인지 모델 발견 가이드

NeuroCogMap은 고전적 인지 모델을 정교화할 수 있는 LLM 내의 잠재적 전략을 노출한다.

• 행동 적합성: NeuroCogMap 시그니처는 다양한 인지 과업(예: 2단계 의사결정, 시간적 선택)에서 LLM이 인간 행동을 얼마나 잘 시뮬레이션하는지 예측한다.
• 모델 정교화: 인간 데이터에 가장 잘 부합하는 LLM의 내부 시그니처를 분석함으로써, 저자들은 잠재적 메커니즘(예: 동적 중재, 이력 민감성 지속, 규칙 기반 정책 전환)을 식별했다. 이러한 메커니즘을 고전적 이중 체계 모델(Dual-systems Model)에 통합했을 때, 행동 궤적만을 사용하여 정교화된 모델보다 홀드아웃 인간 행동 데이터에 대해 훨씬 더 나은 적합도(낮은 AIC)를 보였다.

의의 및 주장

본 논문은 Neuro-CogMap을 LLM의 국소적 기계적 해석 가능성과 고수준 행동 분석 사이의 간극을 메우는 시스템 수준의 프레임워크로 설정한다고 주장한다. 주요 기여는 다음과 같다:

1. 새로운 설명 수준: 이 프레임워크는 모델 간의 정규성을 드러낼 만큼 충분히 거칠면서도, 인과적 개입과 행동 해석을 지원할 만큼 충분히 구체적인 "중간 규모(mesoscopic)"의 기능적 조직 층위를 정의한다.
2. 메커니즘 가이드 개입: 모델의 병리(환각, 거절 실패)가 출력 수준의 필터링을 넘어, 내부 인지 구조의 특정 장애를 타겟팅함으로써 진단 및 완화될 수 있음을 입증한다.
3. 생물학적 관련성(동등성이 아닌): 인공 시스템을 인간 인지와 연결하는 구조적 기초를 제공한다. 이 프레임워크는 LLM이 인간의 신경 및 행동 데이터에 의해 검증된, 인지 조직에 대한 가설을 생성하는 실험적 시스템으로서 역할을 할 수 있음을 보여주며, LLM이 뇌의 기계적 복제본이라고 주장하지는 않는다.
4. 인지 과학의 발전: "블랙박스"인 LLM을 활용하여 인간의 행동을 더 정확하게 설명하는 잠재적 전략을 발견함으로써 고전적 인지 모델을 정교화하는 경로를 제시한다.

저자들은 이 연구를 인지 조직이 인공 및 생물학적 시스템 모두에서 실험적으로 다룰 수 있는 대상이 되는 "인공지능의 인지 신경과학"을 향한 한 걸음으로 위치시킨다.