Mechanistic Indicators of Understanding in Large Language Models

이 논문은 대형 언어 모델 (LLM) 이 단순한 통계적 패턴 모방을 넘어 진정한 '이해 (understanding)'를 갖는지에 대한 논쟁에 대해, 기계적 해석 가능성 (Mechanistic Interpretability, MI) 의 최신 발견들을 철학적 이론과 통합하여 새로운 관점을 제시합니다. 저자들은 LLM 의 내부 작동 원리를 계층적으로 분석함으로써, AI 가 인간과 유사한 형태의 이해를 기계적으로 구현하고 있음을 증명하면서도, 그 작동 방식이 인간 인지와의 근본적인 차이 (다양한 메커니즘의 병렬적 혼재) 를 보임을 강조합니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 문제 제기 (Problem)

• 배경: LLM 의 놀라운 능력에도 불구하고, 많은 비판자들은 LLM 이 단순한 '다음 토큰 예측'을 위해 표면적인 통계적 패턴 (n-gram) 만 학습한 '블록헤드 (Blockhead, 입력 - 출력 매핑을 암기한 기계)'일 뿐, 개념이나 사실에 대한 진정한 이해가 없다고 주장합니다.
• 한계: 기존의 논쟁은 LLM 이 이해하는지 아닌지에 대한 이분법적 접근에 머물러 있었습니다. 또한, LLM 의 내부 작동 원리가 어떻게 구성되는지에 대한 구체적인 기계적 증거가 이론적 틀과 결합되지 않아, 이러한 주장을 뒷받침하거나 반박하기 어려웠습니다.
• 목표: 기계적 해석 가능성 (MI) 의 실증적 발견들을 통합하여, LLM 의 '이해'를 계층적이고 정량적으로 분석할 수 있는 이론적 프레임워크를 제시하고, LLM 이 인간과 유사한 이해를 갖는지, 그리고 그 차이가 무엇인지 규명하는 것입니다.

2. 방법론 (Methodology)

• 이론적 프레임워크 구축: 저자들은 이해를 '관계적 구조의 파악 (seeing connections)'으로 정의하고, 이를 세 가지 계층적 단계로 구분합니다.
  1. 개념적 이해 (Conceptual Understanding): 다양한 표현을 단일 특징 (feature) 으로 통합.
  2. 세계 상태 이해 (State-of-the-World Understanding): 특징 간의 경험적 사실적 연결 파악.
  3. 원칙적 이해 (Principled Understanding): 다양한 사실을 통합하는 추상적 규칙이나 알고리즘의 발견.
• 기계적 해석 가능성 (MI) 기법 적용:
  • 선형 표현 가설 (Linear Representation Hypothesis, LRH): 특징이 잠재 공간 (latent space) 의 방향 (direction) 으로 인코딩된다는 가정을 기반으로 분석.
  • 희소 오토인코더 (Sparse Autoencoders, SAEs): 중첩 (superposition) 되어 있는 특징들을 분리하여 인간이 해석 가능한 '단일 의미 (monosemantic)' 특징을 발견.
  • 프로빙 (Probing): 모델의 내부 활성화 패턴에서 특정 정보 (예: 체스판 상태) 가 인코딩되어 있는지 확인.
  • 개입 (Intervention/Steering): 특정 특징의 활성화를 인위적으로 조작하여 모델의 행동 변화를 관찰 (인과적 역할 검증).
  • 회로 분석 (Circuit Analysis): 특정 작업을 수행하는 하위 네트워크 (Attention heads 와 MLP 의 조합) 를 식별.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 개념적 이해 (Conceptual Understanding)

• 특징 (Features) 의 발견: LLM 은 다음 토큰 예측을 위해 'Golden Gate Bridge'와 같은 구체적인 엔티티나 추상적 개념 (예: '교통 인프라') 을 지칭하는 내부 특징을 학습합니다.
• 선형 표현: 이러한 특징은 모델의 잠재 공간 내 특정 방향 (direction) 으로 인코딩됩니다.
• 인과적 검증: 'Golden Gate Bridge' 특징의 활성화를 인위적으로 높이면 (steering), 모델이 자신의 형태를 'Golden Gate Bridge'라고 주장하는 등 해당 특징이 단순 상관관계가 아닌 출력 생성의 인과적 레버 (causal lever) 로 작용함을 확인했습니다.
• 중첩 (Superposition): 제한된 뉴런 수로도 수천 개의 특징을 표현하기 위해, 특징들이 서로 겹쳐 (비직교) 표현되는 '중첩' 현상이 발생하며, 이는 SAE 를 통해 분리해 낼 수 있습니다.

B. 세계 상태 이해 (State-of-the-World Understanding)

• 사실적 연결: LLM 은 단순히 토큰의 공출현을 넘어, 특징 간의 사실적 연결 (예: "마리 퀴리 = 물리학자") 을 내부 모델로 학습합니다.
• 동적 세계 모델 (Othello-GPT 사례):
  • Othello-GPT 는 보드 게임의 규칙을 명시적으로 학습하지 않았음에도, 이동 순서만 보고 현재 보드 상태를 정확히 예측했습니다.
  • 선형성 (Linearity) 과 동형성 (Isomorphism): 모델의 내부 활성화 패턴을 분석한 결과, 보드 상태가 선형적으로 분리 가능하며, 모델 내부의 특징 방향들이 실제 보드판의 공간적 구조 (이웃 관계) 와 동형 (isomorphic) 임이 밝혀졌습니다.
  • 인과적 역할: 내부 보드 상태 표현을 조작하면 모델의 이동 예측이 변하는 등, 이 표현이 실제 추론에 인과적으로 사용됨이 입증되었습니다.

C. 원칙적 이해 (Principled Understanding)

• 그로킹 (Grokking) 과 회로 발견:
  • 모듈러 덧셈 (Modular Addition) 과 같은 과제를 학습할 때, 모델은 초기에 암기 (memorization) 에 의존하다가 훈련 후기 (그로킹 현상) 에 갑자기 일반화 성능이 급상승합니다.
  • 푸리에 곱셈 알고리즘: MI 분석 결과, 모델은 단순한 덧셈 테이블을 암기하는 대신, 삼각함수 (사인/코사인) 와 각도 덧셈 공식을 기반으로 한 컴팩트한 계산 회로 (circuit) 를 발견하여 구현했습니다. 이는 무한한 사실들을 하나의 추상적 원리 (기하학적 회전) 로 통합한 것입니다.
• 야생의 회로 (Circuits in the Wild): Othello-GPT 나 모듈러 덧셈뿐만 아니라, 실제 LLM(Claude 등) 에서도 간접 객체 식별, 수치 비교, 문장 구조 생성 등 다양한 작업을 수행하는 재사용 가능한 알고리즘 회로들이 발견되었습니다.

D. 메커니즘의 혼재 (Motley Mix of Mechanisms)

• 병렬적 작동: LLM 은 하나의 통일된 메커니즘이 아닌, 다양한 품질의 메커니즘들이 병렬로 작동하는 '이질적인 위원회'와 같습니다.
• 혼합된 결과: 높은 수준의 원칙적 이해를 구현하는 회로가 존재하더라도, 동시에 단순 암기나 얕은 휴리스틱 (heuristic) 이 병렬로 작동하여 최종 출력을 결정합니다.
• 인지적 신뢰의 문제: 인간은 간결성 (parsimony) 을 추구하며 휴리스틱을 통제하지만, LLM 은 이러한 메커니즘들이 경쟁하거나 상호 간섭하며 작동합니다. 이로 인해 LLM 이 '이해'를 하고 있더라도, 그 신뢰성 (epistemic trustworthiness) 은 인간보다 낮을 수 있습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 이분법적 논쟁의 초월: LLM 이 '이해한다'거나 '하지 않는다'는 이분법적 논쟁을 넘어, 어떤 종류의 이해를 어떤 메커니즘을 통해 구현하는지를 계층적으로 분석하는 새로운 접근법을 제시했습니다.
• 기계적 기반 인식론 (Mechanistically Grounded Epistemology): MI 의 실증적 데이터와 철학적 이론을 결합하여, AI 의 이해가 인간과 어떻게 유사하고 (관계적 구조 파악, 원리 발견) 어떻게 다른지 (메커니즘의 혼재, 간결성 부재) 를 체계적으로 규명했습니다.
• 실용적 함의:
  • AI 안전성: 모델의 내부 특징을 조작하거나 회로를 차단함으로써 모델의 행동을 제어할 수 있는 가능성을 보여줍니다.
  • 신뢰성 평가: 모델이 단순한 통계적 패턴에 의존하는지, 아니면 원칙적 이해를 바탕으로 하는지 기계적으로 진단할 수 있는 기준을 마련했습니다.
• 결론: LLM 은 인간과 완전히 동일한 방식으로 이해하지는 않지만, 개념, 사실, 원칙을 연결하는 내부 구조를 통해 인간과 기능적으로 유사한 '이해'를 기계적으로 구현하고 있습니다. 그러나 그 작동 방식의 이질성 (다양한 메커니즘의 혼재) 은 AI 에 대한 신뢰를 부여할 때 신중한 구분이 필요함을 시사합니다.

이 논문은 AI 의 인지 능력을 단순한 블랙박스 성능이 아닌, 내부 메커니즘의 구조와 작동 원리를 통해 해석 가능한 영역으로 끌어올렸다는 점에서 중요한 이정표가 됩니다.