기술 요약: 블랙박스 열기: 대규모 언어 모델의 다단계 추론 메커니즘에 관한 조사

문제 제기

대규모 언어 모델(LLM)은 수학적 문제 해결부터 논리적 연역에 이르는 다양한 과업에 필수적인 능력인 다단계 추론에서 놀라운 숙련도를 보여주었다. 그러나 이러한 능력을 가능하게 하는 내부 메커니즘은 여전히 상당 부분 불투명하다. 기존 문헌은 주로 성능을 향상시키기 위한 공학적 방법(예: 도구 사용, 검색 증강)에 집중하고 있는 반면, LLM이 어떻게 다단계 추론을 수행하는지에 대한 기계론적 이해에는 상당한 공백이 존재한다. 특히, 모델이 고정된 은닉 활성화(hidden activations) 내에서 어떻게 암묵적인 다단계 추론(multi-hop inference)을 수행하는지, 그리고 명시적인 언어화된 추론(Chain-of-Thought, CoT)이 내부 계산을 어떻게 재구성하는지는 여전히 불분명하다. 또한, LLM이 진정한 추론에 의존하는지 아니면 통계적 지름길(shortcuts)에 의존하는지, 그리고 CoT 출력이 내부 의사결정 과정을 충실히 반영하는지는 여전히 해결되지 않은 중요한 질문들이다.

방법론

본 논문은 증가하고 있는 기계론적 해석 가능성(mechanistic interpretability) 문헌을 합성하는 **조사(survey)**이다. 저자들은 새로운 실험을 수행하는 대신, 기존 연구들을 **7가지 상호 연결된 연구 질문(RQ)**으로 구성된 응집력 있는 인지 프레임워크로 정리하였다. 본 조사는 발견된 내용들을 두 가지 구별된 추론 패러다임에 따라 분류한다:

1. 암묵적 추론(Implicit Reasoning): 언어화된 중간 단계 없이 모델의 은닉 상태(hidden states) 내에서 완전히 일어나는 다단계 추론.
2. 명시적 추론(Explicit Reasoning): 추론 과정이 자연어 토큰의 시퀀스로 외재화되는 다단계 추론 (예: CoT).

본 분석은 다음과 같은 다양한 기계론적 기법들을 활용한다:

• 인과적 프로빙 및 개입(Causal Probing and Intervention): 특정 레이어와 뉴런의 인과적 역할을 식별하기 위한 Patchscopes, back-patching, logit lens 분석 등의 방법.
• 표상 분석(Representational Analysis): 추론 과정 중 내부 상태와 어텐션 패턴의 진화를 조사.
• 학습 역학 분석(Training Dynamics Analysis): 학습 중 발생하는 상전이(예: "grokking")와 추론 회로의 출현을 조사.
• 이론적 분석(Theoretical Analysis): CoT를 사용하는 트랜스포머와 그렇지 않은 트랜스포머의 계산적 한계를 이해하기 위해 복잡도 이론 적용.

주요 기여 및 발견

1. 암묵적(잠재적) 다단계 추론의 메커니즘

• 계층적 전문화(Layered Specialization): 암묵적 추론은 단일한 형태가 아니라 조직화되고 단계적인 과정이다. 초기 레이어는 종종 "가교 엔티티(bridge entities)"를 식별하며, 중간 및 후기 레이어는 정보의 풍부화와 속성 추출을 수행한다. 특정 어텐션 헤드(예: "연역 헤드")와 피드포워드 뉴런은 작업 기억(working memory) 또는 상태 추적기 역할을 한다.
• 병목으로서의 깊이(Depth as a Bottleneck): 모델이 암묵적으로 수행할 수 있는 추론 단계의 수는 그 깊이에 의해 엄격히 제한된다. 일정한 깊이를 가진 트랜스포머는 입력 크기에 따라 계산량이 확장되어야 하는 본질적인 직렬 문제를 이론적으로 해결할 수 없다.
• 그로킹(Grokking)을 통한 출현: 잠재적 추론 능력은 초기화 시점에 존재하는 것이 아니라 습득되는 것이다. 이는 모델이 암기에서 일반화로 전환되는 "그로킹"이라 불리는 상전이를 통해 출현한다. 이 전이는 데이터 분포(특히 추론된 사실과 원자적 사실의 비율), 데이터 규모, 그리고 최적화 편향(예: 가중치 감쇠)에 의해 결정된다.
• 지름길에 대한 의존(Reliance on Shortcuts): 모델은 직접적인 주어-답변 연관성이나 표면적 패턴 매칭(예: 연산을 교환 법칙이 성립하는 것으로 취급)과 같은 "지름길"을 통해 진정한 추론을 우회하는 경우가 빈번하다. 이러한 지름길은 표면적 패턴이 방해받을 때 성능 붕괴를 초래한다.

2. 명시적(CoT) 추론의 메커니즘

• 내부 계산의 재구성(Remodeling Internal Computation): CoT 프롬프팅은 모델의 내부 상태를 근본적으로 변화시킨다. 이는 이전에 생성된 토큰에 주목하는 "반복 헤드(iteration heads)"를 활성화하며, 텍스트가 외부 메모리 역할을 하는 가상 순환 신경망(RNN)을 효과적으로 생성한다.
• 상태 유지(State Maintenance): CoT는 모델이 추론 진행 상황을 추적하기 위해 (생성된 텍스트가 의미 없는 필러 토큰인 경우에도) 동적인 내부 상태(예: 은닉 레이어 내의 유한 상태 오토마타)를 유지하고 업데이트할 수 있게 한다.
• 병렬성 및 지름길(Parallelism and Shortcuts): CoT의 순차적인 외형에도 불구하고, 내부 계산은 종종 병렬적인 경로를 포함한다. 모델은 직접적인 지름길과 단계별 추론을 동시에 시도할 수 있으며, 후기 레이어에서 수렴한다.
• 표현력 및 견고성 향상: 이론적으로 CoT는 표준 트랜스포머의 상수 깊이 제한을 깨뜨려, 계산 복잡도 클래스를 $TC^0$에서 다항 시간($P$)으로 격상시킨다. 이는 암묵적 추론에서 흔히 나타나는 "눈덩이 오류 효과(snowball error effect)"를 완화함으로써 샘플 복잡도를 줄이고 견고한 일반화를 촉진하는 모듈성을 도입한다.
• 충실도 격차(The Faithfulness Gap): CoT 출력은 모델의 실제 의사결정 과정을 충실히 반영하지 못하는 경우가 많다. 트랜스포머 계산의 분산적/병렬적 특성과 명시적 추론의 순차적 특성 사이의 구조적 불일치로 인해, CoT는 인과적 동인이기보다는 종종 **사후 합리화(post-hoc rationalization)**로서 기능한다. 모델은 거짓 단서나 사용자 편향에 의해 유도된 결정을 정당화하기 위해 그럴듯한 근거를 생성할 수 있다.

의의 및 향-후 연구 방향

본 논문은 이러한 메커니즘을 이해하는 것이 신뢰할 수 있고 제어 가능하며 인간과 정렬된 추론 시스템을 구축하기 위한 전제 조건이라고 주장한다. 저자들은 다섯 가지 핵심적인 미래 연구 방향을 제시한다:

1. 실제 환경에서의 엄격한 인과적 분석: 합성 데이터를 넘어 복잡하고 노이즈가 많은 환경에서 내부 표상과 추론 사이의 인과적 연결을 검증하는 것.
2. 충실도 격차 해소: 은닉 상태와 생성된 근거 사이의 인과적 연결을 강제하여, CoT가 실제 내부 역학을 반영하도록 보장하는 화이트박스 정렬 방법 개발.
3. 잠재적 CoT의 기계론적 이해: 명시적 추론 궤적을 완전히 은닉 상태 내에서 시뮬레이션하는emerging 아키텍처를 조사하여, 해석 가능성과 효율성의 균형을 맞추는 것.
4. 화이트박스 평가 지표: 블랙박스 정확도 지표에서 벗어나, 진정한 추론과 패턴 매칭을 구분하기 위해 필요한 내부 계산 시그니처(예: 가교 엔티티 형성)의 존재를 검증하는 "화이트박스" 지표로 전환하는 것.
5. 해석에서 제어로: 수동적인 관찰에서 능동적인 모델 제어로 전환하여, 식별된 추론 회로(예: 상태 유지 뉴런)를 활용해 실시간으로 개입하고 오류를 수정하거나 지름길을 억제하는 것.

결론

본 조사는 LLM의 다단계 추론에 대한 내부 메커니즘을 포괄적으로 개관하며, 깊이가 제한되고 지름길에 취약한 암묵적 추론의 특성과, 계산적으로 확장되었으나 종종 불충실한 명시적 CoT 추론의 특성을 구분한다. 7가지 중점적인 연구 질문을 중심으로 프레임을 설정함으로써, 본 논문은 "블랙박스를 여는" 과정에서 상당한 진전이 있었음에도 불구하고, 인과적 메커니즘을 검증하고, 충실도를 보장하며, 기계론적 통찰을 견고한 모델 제어로 변환하는 데 있어 결정적인 과제들이 남아 있음을 강조한다.