기술 요약: 언어 모델의 연역적 논리: 수평적 추론 vs 수직적 추론

문제 정의

최근의 거대 언어 모델(LLM)은 상당한 논리적 추론 능력을 보여주지만, 저수준의 계산 메커니즘이 어떻게 연역적 추론을 지원하는지는 여전히 잘 이해되지 않고 있습니다. 기존 문헌은 사전 학습된 모델의 벤치마크 성능이나 고수준의 회로 기술에 집중하는 반면, 트랜스포머가 제1원리로부터 어떻게 다단계 연역 추론을 구현하는지에 대한 이해에는 공백이 존재합니다. 구체적으로, 본 논문은 두 가지 추론 패러다임의 구분을 조사합니다:

1. 수평적 추론 (Horizontal Reasoning): 중간 단계가 토큰 단위로 생성되는 자기회귀적 과정으로, 후속 단계를 위해 이전에 생성된 토큰을 활용합니다 (일반적으로 사고의 사슬, 즉 CoT를 통해 유도됨).
2. 수직적 추론 (Vertical Reasoning): 첫 번째 출력 토큰이 생성되기 전, 레이어 계층 구조를 통해 추론이 전개되는 암시적 과정입니다. 이는 첫 번째 토큰이 (예: 이진 트리에서 루트-투-리프 경로 결정과 같이) 비사소한 문제를 해결해야 할 때 필요하며, 이때는 자기회귀적인 중간 단계의 도움을 받을 수 없습니다.

본 연구는 소규모의 비사전 학습 트랜스포머가 통계적 지름길이 아닌 명시적인 논리 규칙을 학습할 수 있는지, 그리고 CoT 감독(supervision)이 이러한 서로 다른 추론 모드에 어떤 영향을 미치는지 다룹니다.

방법론

저자들은 자연어의 모호성과 사전 학습된 지식에 대한 의존성을 제거하기 위해 설계된 두 가지 합성 태스크(synthetic tasks)를 바탕으로, 처음부터 학습된 소규모 디코더 전용 트랜스포머 모델을 사용하여 기계론적 해석 가능성(mechanistic interpretability) 접근법을 채택했습니다.

태스크

1. 태스크 1 (논리적 귀결): 일련의 함축 관계(Horn 절)를 포함하는 명제 논리 추론 태스크입니다. 모델은 주어진 5개의 규칙으로부터 쿼리($q_0 \to q_1$)가 논리적 귀결인지 판단해야 합니다.
   • CoT 설정: 모델은 최종 결정 토큰(1 또는 0)을 출력하기 전에 결론으로 이어지는 중간 함축 체인을 생성합니다.
   • Non-CoT 설정: 모델은 최종 결정 토큰만을 출력합니다.
2. 태스크 2 (루트-투-리프 탐색): 정렬되지 않은 부모-자식 쌍의 목록이 주어졌을 때, 이진 트리를 루트에서 지정된 리프 노드까지 탐색해야 하는 태스크입니다.
   • CoT 설정: 모델은 경로상의 전체 노드 시퀀스를 생성합니다.
   • Non-CoT 설정: 모델은 도달 가능성을 나타내는 이진 토큰을 출력합니다.

모델 아키텍처 및 학습

• 아키텍처: 해석 가능성을 위해 단순화된 구성(예: 2개 레이어, 1개 헤드)과 성능을 위한 표준 구성(6개 레이어, 8개 헤드)으로 학습된 GPT-2 스타일의 "NanoGPT" 모델(디코더 전용)을 사용했습니다.
• 학습: 모델은 CoT 감독 유무에 따라 합성 데이터셋(4K ~ 150K 예시)으로 학습되었습니다.
• 해석 도구:
  • LogitLens: 중간 레이어의 잔차 스트림(residual stream) 내용을 어휘 공간으로 디코딩합니다.
  • Attention Visualization: 어텐션 패턴을 분석하고 강도에 따라 필터링합니다.
  • Truncated Pseudoinverse: Query, Key, Value 벡터로부터 정보를 토큰 공간으로 다시 디코딩하여, 어텐션 헤드가 추출하는 특정 정보를 분리해내는 데 도입된 새로운 기법입니다.
  • Averaging: 토큰 독립적인(위치적) 어텐션 연결을 격리하기 위해 데이터셋 전체에 걸쳐 평균 어텐션 강도를 계산합니다.

주요 기여

1. 수평적 추론의 기계론적 설명: CoT로 학습된 얕은(2레이어) 모델이 태스크 1을 해결하는 방식에 대한 저수준 설명을 제공합니다. 이는 다음과 같은 해석 가능한 특정 회로를 식별합니다:
   • 규칙 완성 (Rule Completion): 현재 토큰과 일치하는 규칙의 전건(antecedent)을 찾고 후건(consequent)을 검색하는 유도 헤드(induction-head)와 유사한 메커니즘.
   • 규칙 체이닝 (Rule Chaining): 한 규칙의 꼬리(tail)를 다음 규칙의 머리(head)와 연결하는 메커니즘.
   • 의사 결정 (Decision Making): 최종 체인을 쿼리와 대조하여 검증하는 회로.
2. 수직적 추론 분석: 태스크 2(루트-투-리프 탐색)가 수직적 추론을 요구함을 입증합니다. 모델은 첫 번째 출력 토큰을 생성하기 전, 레이어를 가로질러 전체 역방향 경로(리프에서 루트로)를 내부적으로 계산하는 법을 배웁니다. 이 과정에서 프롬프트의 "레지스터 토큰"이 작업 기억(working memory) 역할을 수행합니다.
3. 커리큘럼 학습으로서의 CoT 역할: 수직적 추론에서 CoT는 단순히 단계별 가이드를 제공하는 것이 아니라, **커리큘럼 학습(Curriculum Learning)**의 역할을 한다는 것을 밝혀냈습니다. 이를 통해 모델은 더 쉬운 하위 문제(예: 더 짧은 경로 또는 타겟에 가까운 노드)를 먼저 마스터하고 점진적으로 복잡한 사례로 일반화할 수 있습니다.
4. 새로운 해석 기법: Query, Key, Value 벡터를 디코딩하여 어텐션 메커니즘 내의 정보 흐름을 검사할 수 있는 새로운 도구인 Truncated Pseudoinverse 기법을 도입했습니다.
5. CoT 없는 실패 모드: CoT가 없을 경우, 모델이 의도된 논리 알고리즘을 학습하는 대신 암기하거나 데이터셋의 편향(예: 리터럴 개수 세기)을 악용한다는 점을 보여줍니다.

결과

• 수평적 추론 (태스크 1): CoT로 학습된 단순한 2레이어 모델은 약 100%의 정확도를 달ek하며 완벽하게 일반화됩니다. 기계론적 분석은 규칙의 전건을 매칭하고 후건을 검색하는 "복사-검색-추출(copy-search-retrieve)" 작업을 수행하는 유도 헤드의 출현을 확인합니다. CoT가 없으면 모델은 일반화된 솔루션에 수렴하지 못하고, 데이터셋에 편향이 존재하는 경우 암기하거나 통계적 지름길을 악용합니다.
• 수직적 추로 (태스크 2): CoT로 학습된 6레이어 모델은 루트-투-리프 탐색 태스크를 성공적으로 해결합니다. 모델은 잔차 스트림 내에서 트리를 역방향으로 순회하는 법을 암묵적으로 학습하며, 마지막 프롬프트 토큰에 중간 노드들을 "레지스터" 위치에 저장한 뒤 경로를 순방향으로 생성합니다.
  • CoT가 없으면, 특정 생성 편향(악용 가능한 통계적 특징)이 존재하지 않는 한 모델은 탐색 로직을 학습하지 못합니다. 편향이 제거되면 성능은 무작위 수준으로 떨어집니다.
  • CoT는 커리큘럼 효과를 통해 이 학습을 촉진합니다. 모델은 타겟 리프에 더 가까운 토큰을 먼저 예측하는 법을 배우고, 이후 이 능력을 루트까지 확장합니다.
• 유도 헤드 (Induction Heads): 유도 헤드는 두 가지 추론 모드 모두에서 핵심적인 구성 요소로 식별됩니다. 이는 수평적 추론에서는 규칙의 전건을 매칭하고 후건을 추출하는 것을 용이하게 하며, 수직적 추론에서는 역방향 체이닝을 가능하게 합니다.

의의 및 주장

본 논문은 기존 연구들이 고수준의 설명이나 통계적 지름길에 집중했던 것과 달리, 트랜스포머가 어떻게 연역적 추론을 구현하는지에 대한 저수준의 설명을 제공한다고 주장합니다.

• 추론 모드의 구분: 본 연구는 CoT가 추론 패러다임에 따라 서로 다른 기능을 수행함을 명확히 합니다. 즉, 수평적 추론에서는 명시적인 단계별 분해를 가능하게 하는 반면, 수직적 추론에서는 레이어 단위의 암시적 계산을 위한 커리큘럼 스캐폴드(scaffold) 역할을 합니다.
• 감독의 필요성: 복잡한 연역적 태스크를 수행하기 위해서는 명시적인 중간 감독(CoT)이 근본적인 논리 알고리즘을 학습하는 데 필수적임을 시사합니다. 이것이 없으면 모델은 일반화된 추론 규칙을 배우기보다 암기하거나 편향을 악용하는 경향이 있습니다.
• 메커니즘의 일반성: 연구 결과는 언어 모델이 태스크의 성격에 따라 서로 다른 계산 전략(기호적 규칙 기반 vs 비기호적 수치 기반)에 의존할 수 있다는 견해를 뒷받침합니다. 본 연구는 인컨텍스트 러닝(in-context learning)과 주로 연관되었던 유도 헤드가 논리적 추론 회로를 구현하는 데 있어 필수적임을 강조합니다.
• 한계점: 저자들은 자신의 저수준 분석이 단순화된 아키텍처(얕은 모델, 공유 임베딩)와 기호적 구문에 의존하고 있음을 인정합니다. 이러한 환경에서는 메커니즘이 명확하지만, 이것이 더 크고 사전 학습된 모델이나 자연어 환경으로 직접 전이될지는 미지수입니다. 또한, 경로의 길이가 모델의 깊이를 초과할 때 수직적 추론에서 부분 경로를 병합하는 구체적인 메커니즘은 아직 완전히 설명되지 않았습니다.

요약하자면, 본 논문은 단순한 통계적 근사치를 넘어 진정한 연역적 추론이 가능한 견고한 모델을 설계하기 위해서는 특정 계산 회로(유도 헤드 등)와 감독(CoT)의 역할을 이해하는 것이 필수적이라고 주장합니다.