기술 요약: 대규모 언어 모델에서 나타나는 모듈형 인지 구조

문제 제기

인간의 뇌는 언어, 형식적 추론, 사회적 추론(마음 이론), 물리적 추론과 같은 특정 인지 영역을 지원하는 별도의 신경망이 존재하는 놀라운 수준의 기능적 전문화를 보여준다. 인지 과학의 핵심 질문은 이러한 모듈형 조직이 지능적인 시스템이 효과적으로 기능하기 위해 필요한 근본적인 원리인지, 아니면 단지 생물학적 조직에 특유한 진화적 우연인지 여부이다. 생물학적 뇌는 희소성과 전문화를 유도할 수 있는 대사적 제약에 직면해 있는 반면, 대규모 언어 모델(LLM)과 같은 인공 시스템은 생물학적 압력 없이 다음 토큰 예측을 통한 경사 하강법에 의해 최적화된다. 본 논문은 LLM이 이와 다른 최적화 과정을 거침에도 불구하고, 인간의 뇌에서 관찰되는 기능적 분리와 유사한 모듈형 구조를 자발적으로 발달시키는지 조사한다.

방법론

저자들은 네 가지 인지 영역에 걸친 N=46개의 과업에 대해 대규모 회로 분석을 수행하였다:

1. 언어: 형태론, 구문론, 어휘 의미론.
2. 형식적 추론: 산술, 논리적 추론, 코드 이해 (다중 요구 네트워크와 일치).
3. 사회적 추론: 감정 추론, 신념 귀속, 사회적 규범 (마음 이론 네트워크와 일치).
4. 물리적 추론: 물체, 재료, 힘에 관한 직관적 물리학.

실험 파이프라인:

1. 최소 쌍(Minimal Pairs): 각 과업에 대해, 저자들은 입력값(원본 vs 대안)이 과업 관련 차원(예: 주어를 단수에서 복수로 변경하거나 방정식의 숫자를 변경)에서는 최소한으로 다르지만 서로 다른 정답 연속을 유도하도록 구성하였다.
2. 기여도 패칭(Attribution Patching): 저자들은 그래디언트 기반 방법을 사용하여 개별 뉴런의 인과적 중요성을 식별하였다. 이들은 원본과 대안 입력 간의 활성화 차이에 로짓(logit) 차이의 그래디언트를 곱하여 뉴런의 기여도 점수를 계산하였다. 이는 해당 뉴런의 과업에 대한 인과적 기여도를 추정한다.
3. 중첩 분석(Overlap Analysis): 저자들은 각 과업에 대해 가장 중요한 상위 0.1%의 뉴런을 식별하고, 모든 과업 쌍에 대해 뉴런 집합의 쌍별 자카드 중첩(Jaccard overlap)을 계산하였다.
4. 인과적 절제(Causal Ablation): 인과성을 검증하기 위해, 저자들은 표적 절제 실험을 수행하였다. "소스" 과업을 위해 식별된 상위 0.1% 뉴로의 활성값을 "타겟" 과업을 수행하는 동안의 대안 입력 값으로 교체하였다. 이들은 결과적인 정확도 저하를 측정하여, 한 영역에 중요한 뉴런이 동일하거나 다른 영역의 과업에 간섭하는지 여부를 결정하였다.
5. 모델: 분석은 24B에서 123B 파라미터 규모의 6가지 최첨단 지시 미세 조정(instruction-tuned) LLM(Mistral, Qwen, OLMo, Llama 제품군)을 대상으로 수행되었다. 데이터셋 아티팩트를 배제하기 위해 저성능 베이스라인인 GPT-2도 테스트되었다.

주요 결과

1. 모듈형 구조의 출현

연구 결과, LLM은 인간의 뇌와 밀접하게 닮은 모듈형 기능 조직을 발달시킨다는 것이 밝혀졌다:

• 영역 내 중첩: 동일한 인지 영역 내의 과업들(예: 서로 다른 산술 문제)은 실질적으로 중첩되는 뉴런 집합을 동원하였다.
• 영역 간 격리: 서로 다른 영역의 과업들(예: 산술 vs 물리적 추론)은 대체로 구별되는 뉴런 집합을 동원하였다.
• 정량적 지표: 평균적으로 영역 내 뉴로 중첩은 영역 간 중첩보다 4배 이상 높았다 (12.9% vs 3.0%, p < 0.0001). 이 패턴은 6개 모델 모두에서 일관되게 나타났으며, 비지도 계층적 클러스터링을 통해 회복되었다 (Adjusted Rand Index = 0.78).

2. 인과적 특이성

절제 실험은 이러한 모듈성이 인과적임을 확인해주었다:

• 영역 내 절제: 특정 영역에 중요한 뉴로를 방해하면 해당 영역 내의 과업에서 유의미한 성능 저하가 발생하였다 (평균 정확도 저하: 25.9%).
• 영역 간 절제: 한 영역의 뉴로를 방해하는 것은 다른 영역의 과업에 미미한 영향을 미쳤다 (평균 정확도 저하: 2.5%).
• 이중 해리(Double Dissociation): 그 효과는 매우 비대칭적이었다. 언어 뉴로는 가장 선택적이었는데, 다른 언어 과업을 20.4% 저하시킨 반면 다른 영역에는 0.5% 미만의 영향을 미쳤다. 반대로, 추론 뉴로를 손상시키면 추론 결론은 손상되었으나 언어적 적절성은 보존되었다.

3. 성능에 따른 의존성

모듈형 구조는 모델의 과업 해결 능력에 따라 달라졌다:

• 고성능 모델: 6개의 대규모 모델 모두 강력한 모듈성을 보였다.
• 저성능 베이스라인 (GPT-2): 대부분의 추론 과업에 실패한(우연 수준 또는 그 이하의 성능을 보인) GPT-2는 세 가지 추론 영역에 대해 미세한 모듈성을 보이지 않았다. 이는 언어와 비언어 과업 사이의 광범위한 분리만을 회복하였는데, 이는 기능적 전문화가 데이터나 파이프라인의 아티팩트가 아니라 과업 수행 요구사항에 대한 해결책으로서 출현함을 시사한다.

4. 의미적 유사성으로부터의 독립성

통제 분석 결과, 관찰된 모듈성은 프롬프트의 의미적 유사성에 의해 유도된 것이 아님이 입증되었다. 의미적 유사성 행렬(TF-IDF, GloVe, SBERT 및 입력 토큰 임베딩 사용)은 뉴런 중첩 행렬만큼 효과적으로 4개 영역 구조를 회복하지 못했다. 편회귀 분석(Partial regression)은 뉴런 중첩이 어휘적 또는 의미적 중첩과 독립적으로 유의미한 영역 특이적 정보를 운반함을 확인해주었다.

의의 및 주장

본 논문은 LLM에서 나타나는 모듈형 조직의 수렴적 출현이 생물학적 뇌와 인공 신경망 모두에서 나타난다는 점은 기능적 전문화가 지능형 시스템의 근본적인 속성임을 시사하며, 이는 다양한 상호작용하는 문제들을 해결하기 위한 계산적 요구로부터 발생할 가능성이 높다고 주장한다.

• 대사적 제약을 넘어: LLM은 생물학적 뇌가 겪는 대사 에너지 제약에 직면하지 않으므로, LLM에서 모듈성이 출현한다는 것은 대사적 압력이 기능적 전문화를 위한 필수 조건이 아님을 시사한다.
• 계산적 필요성: 저자들은 모듈성이 간섭을 방지하기 위해 발생한다고 제안한다. 시스템이 여러 형태의 추론(예: 구문 분석을 수행하는 동시에 논리적 연역 수행)을 동시에 수행해야 할 때, 뉴런을 별도의 하위 집단으로 격리하는 것은 표현 충돌과 학습 중 발생하는 파괴적 간섭으로부터 계산을 보호한다.
• LLM의 테스트베드로서의 역할: 이 연구는 LL로써 LLM을 인지 구조에 대한 주장을 테스트하기 위한 두 번째 클래스의 지능형 시스템으로 위치시킨다. 서로 다른 압력(경사 하강법 vs 진화)에 의해 형성된 시스템에서도 모듈성이 출현한다는 사실은 모듈성이 지능의 일반적인 원리라는 가설을 강화한다.

저자들은 우리가 LLM에서 이러한 모듈형 조직의 존재를 입증했지만, 이를 유도하는 구체적인 메커니즘(예: 이것이 최적화의 아티팩트인지, 아니면 이질적인 코퍼스 내에서의 '다음 토큰 예측' 문제에 대한 필수적인 해결책인지)은 향후 연구를 위한 열린 과제로 남아 있다고 결론짓는다.