Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
이 논문은 재귀적 깊이 (recurrent-depth) 트랜스포머가 단일 순전파 내에서 지식과 규칙을 결합하는 암시적 추론 능력을 향상시켜, 체계적 일반화와 깊이 외삽성 문제를 해결하고 학습 전략과 과도한 반복 추론의 한계 ('과도한 사고') 를 규명한다는 점을 제시합니다.
원저자:Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao
기존의 대형 언어 모델 (LLM) 은 방대한 지식을 가지고 있습니다. 하지만 이 지식을 **한 번의 생각 (Forward Pass)**으로 연결해서 복잡한 문제를 풀 때는 자주 실패합니다.
비유: imagine 하세요. 도서관에 책이 수백만 권 꽉 차 있는 천재 사서가 있다고 가정해 봅시다.
질문: "존 레논의 배우자는 요코 오노이고, 요코 오노의 남편은 존 레논이다. 그런데 '상상 (Imagine)'을 부른 가수의 배우자는 누구인가?"
기존 AI 의 반응: "상상 (Imagine) 을 부른 사람은 존 레논이네 (1 단계). 존 레논의 배우자는 요코 오노야 (2 단계). 답은 요코 오노!"라고 말해야 하는데, 실제로는 1 단계에서 멈추거나, 2 단계로 넘어가는 과정에서 길을 잃어버립니다.
원인: 지식은 책장에 흩어져 있는데, 사서가 한 번에 모든 책을 꺼내서 연결해 보려고 하면 기억이 꼬이기 때문입니다.
2. 해결책: "생각을 반복하는 루프 (Loop) 모델"
저자들은 이 문제를 해결하기 위해 같은 두뇌 (레이어) 를 여러 번 반복해서 사용하는 '재귀적 깊이 (Recurrent-depth)' 모델을 만들었습니다.
비유: 이제 그 천재 사서가 한 번에 모든 책을 읽는 게 아니라, 한 번에 한 권씩 읽고, 그 결과를 바탕으로 다음 책을 찾는 방식으로 바꿨습니다.
1 차: "상상"을 부른 사람 찾기 → "존 레논" 발견.
2 차: "존 레논"의 정보를 다시 보고 "배우자" 찾기 → "요코 오노" 발견.
3 차: "요코 오노"의 정보를 다시 확인.
이 과정을 같은 두뇌가 반복해서 수행하므로, 복잡한 연결고리도 놓치지 않고 찾아낼 수 있습니다.
3. 주요 발견 1: "갑작스런 깨달음 (Grokking)"
이 모델이 훈련되는 과정을 지켜보니 아주 흥미로운 현상이 나타났습니다.
3 단계의 성장 과정:
암기 단계: 모델은 문제를 풀지 못하고 정답만 외웁니다. (시험지 답안지 암기)
일반화 단계: 훈련 시간이 길어지자, 본 적이 없는 비슷한 문제도 풀기 시작합니다.
체계적 일반화 (Systematic Generalization):갑자기 전혀 본 적 없는 새로운 조합의 문제도 척척 풀어냅니다.
비유: 마치 학생이 공부를 하다가 갑자기 **"아! 이 공식이 모든 문제에 적용되는구나!"**라고 깨닫는 순간 (Aha moment) 과 같습니다. 논문에서는 이를 **'그로킹 (Grokking)'**이라고 부릅니다. 기존 AI 는 이 깨달음 단계에 도달하지 못했지만, 루프 모델은 도달했습니다.
4. 주요 발견 2: "생각할 시간을 더 주면 더 깊게 생각함" (Depth Extrapolation)
훈련할 때는 5 단계까지의 문제를 풀게 했지만, 실제 시험에서는 10 단계, 20 단계의 복잡한 문제를 줘도 잘 풀었습니다.
비유: 학생이 학교에서 5 단계를 연습했는데, 시험장에서 20 단계 문제를 풀 때 생각할 시간을 더 주면 (반복 횟수 증가) 20 단계까지 해결할 수 있습니다.
핵심: 모델의 두뇌 크기 (파라미터) 를 키우지 않아도, 생각하는 과정 (반복 횟수) 을 늘리는 것만으로도 훨씬 더 복잡한 문제를 해결할 수 있습니다.
5. 주의할 점: "생각이 너무 많으면 망함 (Overthinking)"
하지만 무조건 생각만 많이 한다고 좋은 건 아닙니다.
비유: 너무 오래 고민하면 오히려 혼란스러워져서 엉뚱한 답을 고르는 경우입니다.
연구 결과: 반복 횟수가 너무 많아지면 (예: 15 회 이상), 모델의 정확도가 오히려 떨어집니다. 이를 **'과도한 생각 (Overthinking)'**이라고 부릅니다.
해결책: 그래서 모델이 "이제 답을 찾았다"라고 판단되면 자동으로 멈추게 하는 적응형 중단 (Adaptive Halting) 기술을 개발했습니다. 이는 문제의 난이도에 따라 생각할 시간을 적절히 조절해 줍니다.
6. 결론: 왜 이 연구가 중요한가?
이 연구는 AI 가 단순히 지식을 암기하는 것을 넘어, 지식을 유연하게 연결하고 추론하는 능력을 어떻게 키울 수 있는지를 보여줍니다.
요약:
기존 AI: 지식을 많이 알지만, 복잡한 연결은 못 함.
새로운 AI (루프 모델): 같은 두뇌를 반복해서 써서, 생각할 시간을 늘리면 복잡한 문제도 해결 가능.
중요한 교훈: 무작정 생각만 많이 하는 게 아니라, 적절한 타이밍에 멈추는 것이 핵심입니다.
이 기술이 발전하면, AI 가 단순히 정보를 검색하는 것을 넘어 복잡한 논리 문제를 스스로 추론하고 해결하는 진정한 '생각하는 기계'로 거듭날 수 있을 것입니다.
논문 요약: Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
이 논문은 대규모 언어 모델 (LLM) 이 단일 순전파 (forward pass) 내에서 지식이나 규칙을 결합하여 추론하는 암시적 추론 (Implicit Reasoning) 능력의 한계를 분석하고, 이를 해결하기 위한 재귀적 깊이 (Recurrent-Depth) 트랜스포머 아키텍처의 효과를 검증합니다.
1. 문제 정의 (Problem)
기존의 트랜스포머 기반 LLM 은 방대한 사실적 지식을 파라미터에 저장하고 있지만, 이를 새로운 방식으로 조합하여 암시적 다단계 추론 (Implicit Multi-hop Reasoning) 을 수행하는 데에는 근본적인 한계가 있습니다.
구성적 일반화 (Compositional Generalization) 부재: 학습 중 보지 못한 지식의 조합이나 더 깊은 재귀적 추론 (예: 5 홉 학습 → 10 홉 추론) 에 실패합니다.
계층 간 지식 접근의 비효율성: 트랜스포머는 지식이 특정 층에 분산되어 있어, 특정 질의에 필요한 사실이 깊은 층에 저장되어 있더라도 얕은 층에서 이를 올바르게 접근하고 결합하기 어렵습니다.
명시적 CoT 의 부재: 체인 오브 씽킹 (Chain-of-Thought) 과 같은 명시적 추론 과정 없이 단일 전파 내에서 추론을 수행해야 할 때 성능이 급격히 저하됩니다.
2. 방법론 (Methodology)
저자들은 이러한 한계를 극복하기 위해 재귀적 깊이 트랜스포머 (Recurrent-Depth Transformers) 를 도입하고, 제어된 실험 환경에서 두 가지 주요 일반화 과제를 연구했습니다.
2.1 모델 아키텍처
구조: 동일한 트랜스포머 블록 (L 층) 을 R번 반복하여 적용합니다. 각 반복의 출력이 다음 반복의 입력이 됩니다. 이는 가중치 공유 (Weight Sharing) 를 통해 파라미터 수를 늘리지 않고 추론 시 계산량 (Recurrence) 을 늘릴 수 있게 합니다.
초기화: 반복 적용 시 안정성을 위해 멀티헤드 어텐션과 피드포워드 블록의 출력 프로젝션 행렬을 0 으로 초기화하여, 초기 상태에서 모델이 항등 사상 (Identity Mapping) 이 되도록 설계했습니다.
중단 전략: 고정 반복 (Fixed Iteration) 과 동적 반복 (Dynamic Iteration, 포아송 분포 기반) 을 비교 분석했습니다.
2.2 태스크 및 데이터셋
합성 지식 그래프 (Synthetic KG): 엔티티와 관계로 구성된 방향성 지식 그래프를 생성하여 k-홉 추론 태스크를 정의했습니다.
일반화 과제:
시스템적 일반화 (Systematic Generalization): 학습 데이터에서 단 한 번도 조합되지 않은 원자적 사실 (Atomic Facts) 을 기반으로 한 추론 (OOD).
깊이 외삽 (Depth Extrapolation): 학습된 최대 깊이 (예: 5 홉) 를 넘어 더 깊은 깊이 (예: 10 홉 이상) 로의 추론.
단축 회피 (Shortcut Avoidance): 모델이 중간 엔티티를 거치지 않고 관계 시퀀스의 끝부분만 보고 답을 유추하는 '단축 (Shortcut)' 학습을 방지하기 위해, 관계가 엔티티 집합에 대한 순열 (Permutation) 로 작용하도록 데이터셋을 설계했습니다.
3. 주요 기여 및 결과 (Key Contributions & Results)
3.1 시스템적 일반화 (Systematic Generalization)
발견: 바닐라 트랜스포머 (R=1) 는 시스템적 일반화에 완전히 실패하는 반면, 재귀적 깊이 모델 (R≥2) 은 성공적으로 일반화합니다.
그로킹 (Grokking) 동역학: 재귀적 모델은 시스템적 일반화 능력이 3 단계의 급격한 전환 (Grokking Process) 을 통해 나타난다는 것을 발견했습니다.
기억 단계: 학습 데이터만 과적합 (Overfitting) 됩니다.
분포 내 일반화: 학습 데이터의 조합에 대한 일반화가 발생합니다.
시스템적 일반화: 학습 중 보지 못한 조합 (OOD) 에 대한 추론이 가능해집니다.
메커니즘 분석: 'Logit Lens' 기법을 통해, 모델이 3 단계에 진입해야만 중간 엔티티 (Bridge Entity) 를 올바르게 디코딩하고 최종 타겟을 예측할 수 있음을 확인했습니다.
3.2 깊이 외삽 (Depth Extrapolation)
추론 시 계산 확장: 학습 시 반복 횟수 (R) 를 고정하더라도, 추론 시 반복 횟수 (Inference-time Recurrence) 를 증가시키면 학습 깊이를 넘어선 더 깊은 추론이 가능해집니다.
동적 반복의 우위: 고정 반복보다 동적 반복 (Dynamic Recurrence) 전략이 더 깊은 학습 가능 깊이 (Learnable Recursion Depth) 를 달성하며, 더 나은 외삽 성능을 보입니다.
과도한 사고 (Overthinking) 현상: 반복 횟수가 지나치게 증가하면 (예: 15 회 이상) 오히려 성능이 저하되는 'Overthinking' 현상이 발생합니다. 이는 모델이 불필요하게 많은 반복을 거치며 예측의 신뢰도 (Logit Margin) 가 떨어지기 때문입니다. 동적 반복 전략은 이 현상에 더 강건합니다.
3.3 적응적 할당 (Adaptive Halting)
단순한 KL 발산 (KL Divergence) 기반 중단 조건은 모델이 아직 불확실한 상태 (높은 엔트로피) 일 때 조기에 반복을 멈추는 문제가 있었습니다.
저자들은 KL 발산과 엔트로피 (Entropy) 를 모두 고려하는 새로운 중단 조건을 제안하여, 작업 복잡도에 비례하는 계산 자원을 효율적으로 할당하고 성능을 향상시켰습니다.
4. 의의 및 결론 (Significance & Conclusion)
아키텍처적 통찰: 파라미터 공유를 통한 재귀적 깊이는 LLM 이 암시적 추론에서 겪는 구성적 일반화 한계를 해결하는 유망한 접근법임을 입증했습니다.
학습 역학 이해: 시스템적 일반화가 단순한 학습이 아닌, '기억'에서 '일반화'로 넘어가는 특이한 학습 역학 (Grokking) 을 통해 발생함을 규명했습니다.
실용적 가이드: 재귀적 깊이 모델을 훈련할 때 동적 반복 전략의 중요성과, 추론 시 계산량 확장의 한계 (Overthinking) 를 인지하여 적응적 중단 전략을 사용해야 함을 제시했습니다.
향후 방향: 이 연구는 추론 능력을 향상시키기 위해 모델의 구조적 설계 (재귀성) 와 학습/추론 전략 (동적 반복, 적응적 중단) 을 결합하는 새로운 방향을 제시하며, 향후 더 강력한 암시적 추론 모델 개발의 기초를 마련합니다.
요약하자면, 이 논문은 재귀적 깊이 트랜스포머가 단일 전파 내에서 복잡한 지식 조합을 수행할 수 있는 능력을 가지며, 이를 통해 시스템적 일반화와 깊이 외삽 문제를 해결할 수 있음을 실험적으로 증명하고, 그 작동 원리와 최적의 훈련/추론 전략을 제시했습니다.