💬 NLP

From Growing to Looping: A Unified View of Iterative Computation in LLMs

이 논문은 루핑과 깊이 성장 기법이 모두 반복적 계산을 유도하여 추론 능력을 향상시킨다는 공통된 메커니즘을 제시하고, 두 기법이 상호 보완적으로 결합되어 추론 성능을 극대화할 수 있음을 입증합니다.

원저자: Ferdinand Kapl, Emmanouil Angelis, Kaitlin Maile, Johannes von Oswald, Stefan Bauer

게시일 2026-02-19

📖 3 분 읽기☕ 가벼운 읽기

원저자: Ferdinand Kapl, Emmanouil Angelis, Kaitlin Maile, Johannes von Oswald, Stefan Bauer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 언어 모델의 '성장'과 '루프': 똑똑해지는 두 가지 비밀

이 논문은 인공지능 (LLM) 이 어떻게 더 똑똑해지고, 특히 **추론 **(논리 문제 해결) 능력을 키울 수 있는지에 대한 흥미로운 발견을 담고 있습니다. 연구자들은 두 가지 서로 다른 방법인 **'깊이 성장 **(Depth Growing)과 **'루핑 **(Looping)이 사실은 같은 원리로 작동한다는 것을 밝혀냈습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴겠습니다.

1. 두 가지 다른 접근법: "층을 늘리기" vs "같은 층을 반복하기"

인공지능 모델은 보통 여러 개의 층 (Layer) 이 쌓여 있는 건물처럼 생겼습니다. 데이터가 아래층에서 위층으로 올라가며 정보를 처리합니다.

**방법 A: 깊이 성장 **(Depth Growing)
- 비유: 처음엔 4 층짜리 작은 건물을 짓습니다. 그리고 공사 중에는 중간 층을 복사해서 건물을 8 층, 12 층으로 키웁니다.
- 특징: 처음부터 12 층짜리 건물을 다 짓는 것보다 자재 (계산 비용) 를 아끼면서 지을 수 있습니다. 연구자들은 이 '중간 층 복사' 방식이 모델이 논리 문제를 풀 때 더 잘하게 만든다는 것을 발견했습니다.
**방법 B: 루핑 **(Looping)
- 비유: 4 층짜리 건물을 짓지만, 그 4 층을 같은 층으로 3 번 반복해서 통과하게 합니다. 즉, 12 층의 깊이를 가지지만 실제로는 4 층짜리 설계도만 3 번 사용하는 셈입니다.
- 특징: 건물의 구조는 작지만, 정보를 처리하는 '시간'을 늘려서 더 깊이 생각하게 만듭니다.

핵심 질문: 이 두 가지 방법은 서로 다른데, 왜 둘 다 똑똑해지게 할까요?

2. 발견된 비밀: "똑같은 뇌의 작동 방식"

연구자들은 이 두 모델을 자세히 분석해 보니, 놀라운 공통점을 발견했습니다.

비유: 두 모델 모두 **건물의 맨 위층 **(나중 단계)을 더 많이 사용합니다.
- 일반적인 모델은 아래층에서 대부분의 일을 끝내고, 위층은 그냥 통과만 시킵니다.
- 하지만 '성장'한 모델이나 '루프'를 돌린 모델은 맨 위층까지 가서야 비로소 정답을 확신합니다. 마치 복잡한 문제를 풀 때, 처음에 대충 생각하지 않고 마지막까지 꼼꼼히 검토하는 것과 같습니다.
주기적인 패턴: 두 모델 모두 특정 층 (예: 4 층 단위) 을 지날 때마다 정보가 정리되고 다시 쌓이는 **리듬 **(주기)을 보입니다. 이는 모델이 정보를 한 번에 처리하는 게 아니라, **반복적으로 다듬어 나가는 **(Iterative Computation) 과정을 거친다는 뜻입니다.

결론: "성장"과 "루프"는 겉모습은 다르지만, 내부적으로는 같은 '반복적인 사고 과정'을 통해 똑똑해진다는 것입니다.

3. 시너지 효과: "성장시킨 뒤, 루프를 돌리자!"

이제 이 두 방법을 섞어볼까요? 연구자들은 **성장시킨 모델 **(중간 층이 복사된 모델)에 **루프 **(반복) 기능을 추가해 보았습니다.

비유: 이미 중간 층을 복사해서 12 층으로 키운 건물이 있습니다. 그런데 이 건물이 추론 문제를 풀 때, 중간 층을 한 번 더 반복해서 통과하게 했더니 성능이 2 배나 좋아졌습니다!
중요한 점: 이 모델은 훈련할 때 "반복해서 통과해"라고 가르치지 않았습니다. 그런데도 추론이 필요할 때 스스로 반복하는 능력을 발휘했습니다. 마치 훈련받지 않은 학생이 시험장에서 스스로 문제를 여러 번 검토하는 법을 터득한 것과 같습니다.

4. 더 좋은 데이터, 더 좋은 결과

이 모델들은 새로운 것을 배우는 능력 (적응력) 이 매우 뛰어납니다.

비유: 일반적인 모델은 새로운 예제 (Few-shot) 를 보여줘도 별로 변하지 않지만, '성장'이나 '루프' 모델은 예제를 조금만 더 보여줘도 급격히 똑똑해집니다.
특히 수학이 많이 포함된 고품질 데이터로 마지막 훈련 (Cooldown) 을 시키면, '성장'한 모델이 가장 큰 폭으로 똑똑해집니다. 여기에 중간 층을 반복하는 루프 기능을 추가하면, 그 효과는 더 극대화됩니다.

5. 요약: "먼저 키우고, 나중에 반복하라"

이 논문의 결론은 매우 실용적인 조언을 줍니다.

**"먼저 건물을 키우고 **(Depth Growing)

**성장 **(Growing)은 훈련 비용을 아끼면서도 논리 능력을 키우는 좋은 방법입니다.
**루프 **(Looping)는 추론 능력을 극대화하는 강력한 도구입니다.
이 두 가지를 합치면 (Grow first, loop later), 적은 비용으로 가장 강력한 추론 능력을 가진 모델을 만들 수 있습니다.

한 줄 요약:
인공지능이 논리 문제를 잘 풀게 하려면, 건물을 키울 때 중간 층을 복사해서 늘리고, 추론할 때는 그 층을 반복해서 통과하게 하세요. 이렇게 하면 모델이 스스로 "생각하는 과정"을 반복하며 훨씬 똑똑해집니다.

1. 문제 정의 (Problem)

대규모 언어 모델의 성능 향상은 주로 파라미터와 데이터의 규모 확장 (Scaling) 에 의존해 왔습니다. 그러나 추론 능력 (복잡한 논리적 추론 등) 은 단순히 파라미터 수만 늘린다고 해서 선형적으로 향상되지 않습니다.

기존 접근법의 한계: 체인 오브 씽킹 (Chain-of-Thought) 은 토큰 단위로 계산량을 늘리지만, 모델 내부의 잠재 공간 (Latent Space) 에서의 반복적 계산을 직접적으로 장려하지는 않습니다.
두 가지 대안:
1. 루핑 (Looping/Universal Transformers): 가중치를 공유하여 동일한 레이어 블록을 반복적으로 적용함으로써 파라미터 효율성을 높이면서 깊은 계산을 수행합니다.
2. 깊이 성장 (Depth Growing): 얕은 모델에서 시작하여 훈련 중 중간 레이어를 복제 (Duplication) 하여 모델을 깊게 만드는 방식입니다.
핵심 질문: 이 두 방법은 서로 다른 기법처럼 보이지만, 추론 능력 향상의 근본 원인이 동일한가? 그리고 이 두 기법을 결합하여 더 강력한 모델을 만들 수 있는가?

2. 방법론 (Methodology)

저자들은 360M 및 1.7B 파라미터 규모의 SmolLM 아키텍처를 기반으로 다양한 실험을 수행했습니다.

모델 구성:
- Standard: 일반적인 트랜스포머.
- Looped: 레이어 가중치를 묶어 (Weight Tying) 특정 블록을 $k$ 번 반복 적용 (예: Loop (4x6)은 4 개 레이어를 6 번 반복).
- Depth-Grown: MIDAS [32] 와 LIDAS [20] 방식을 사용. 훈련 초기에 얕은 모델로 시작하여 중간 블록을 복제하며 깊이를 늘림. (최종 구조는 표준 모델과 동일하지만 훈련 경로가 다름).
벤치마크: 지식 (Q&A), 언어 모델링, 수학 문제, 그리고 추론 원시 (Reasoning Primitives) 등 22 가지 태스크에서 성능을 평가했습니다.
메커니즘 분석 도구:
- Depth-utilization diagnostics: 깊이 점수 (Depth Score), Tuned Lens 를 통한 초기 종료 (Early Exit) 정확도, 어휘 중첩도 등을 분석하여 레이어별 기여도를 측정.
- Residual Stream Intervention: 잔류 스트림 (Residual Stream) 에서 특정 레이어의 기여도를 제거하거나 레이어 순서를 변경하여 모델의 견고성 (Robustness) 과 내부 동역학을 분석.
- Inference-time Looping: 훈련된 깊이 성장 모델을 추론 시 중간 블록을 반복하여 실행하는 실험.

3. 주요 기여 (Key Contributions)

경험적 트레이드오프 분석:
- 루핑: 고정된 파라미터 예산 하에서 추론 성능을 크게 향상시킵니다. 고정된 추론 비용 (Inference Budget) 하에서도 경쟁력 있는 성능을 보입니다.
- 깊이 성장: 훈련 계산량 (Training FLOPs) 을 줄이면서도 표준 모델과 유사하거나 더 나은 추론 성능을 달성합니다.
통합된 메커니즘적 서명 (Unified Mechanistic Signatures):
- 루핑과 깊이 성장 모델은 후기 레이어 (Late Layers) 에 대한 의존도가 증가하는 공통된 특징을 보입니다.
- 잔류 스트림 (Residual Stream) 과 서브레이어 (Sublayer) 기여도에서 **블록 크기와 일치하는 주기적 패턴 (Periodic Patterns)**이 관찰됩니다. 이는 두 방법 모두 **반복적 계산 (Iterative Computation)**을 유도한다는 강력한 증거입니다.
견고성과 설계 원칙:
- 완전히 루핑된 모델 (Fully Looped) 은 레이어 순서에 매우 민감하여 견고성이 낮습니다.
- 반면, **중간 블록만 루핑하고 인코더/디코더는 고유 레이어로 유지하는 하이브리드 구조 (예: Loop (4-4x4-4))**는 깊이 성장 모델과 유사한 견고성을 회복합니다. 이는 네트워크 중간에 반복 구조를 도입하는 것이 최적의 설계 원칙임을 시사합니다.
적응성 (Adaptability) 과 구성 가능성 (Composability):
- 적응성: 루핑 및 깊이 성장 모델은 Few-shot 학습 (In-context Learning) 과 지도 미세 조정 (SFT) 시 표준 모델보다 더 빠르게 적응하고 성능이 향상됩니다.
- 구성 가능성 ("Grow first, loop later"): 훈련 시 루핑을 하지 않은 깊이 성장 모델을 추론 시 중간 블록을 반복하여 실행하면, 추론 시 계산량을 늘리지 않고도 (훈련된 루핑 없이) 추론 원시 태스크에서 최대 2 배의 성능 향상을 달성했습니다.
- 최고의 전략: 고품질 수학 데이터 (Nemotron-CC-Math) 로 코다운 (Cooldown) 훈련을 수행한 후, 깊이 성장 모델의 중간 블록을 루핑하도록 적응 (Retrofitting) 시키는 것이 가장 강력한 추론 성능을 발휘했습니다.

4. 결과 (Results)

성능 비교 (Table 1, Fig 1):
- 루핑: 파라미터 효율성이 뛰어나며, 특히 수학 단어 문제 (Math Word Problems) 와 추론 원시 (Reasoning Primitives) 에서 표준 모델 대비 큰 개선을 보임.
- 깊이 성장 (LIDAS): 훈련 FLOPs 를 약 80% 로 줄이면서도 추론 태스크에서 표준 모델을 능가함.
- 하이브리드 (Grow + Loop): LIDAS 모델에 추론 시 루핑을 적용하거나, 코다운 중 루핑을 적응시키면 추론 성능이 극대화됨.
메커니즘적 발견 (Fig 2, 3, 4):
- 두 모델 모두 표준 모델보다 후기 레이어에서 더 중요한 계산을 수행함.
- 잔류 노름 (Residual Norm) 의 성장 속도가 느리고, 4 레이어 주기 (블록 크기) 에 맞춰 Attention 기여도가 반복되는 패턴을 보임.
적응 실험 (Fig 7, 8, 9):
- 더 많은 Few-shot 예시나 SFT 데이터가 주어질 때 루핑/성장 모델의 성능 향상이 더 큼.
- LIDAS 모델이 추가적인 추론 반복 (Inference Repetition) 을 통해 가장 큰 이득을 얻음.

5. 의의 및 결론 (Significance)

이 논문은 **깊이 성장 (Growing)**과 **루핑 (Looping)**이 표면적으로는 다른 기법이지만, **반복적 계산을 유도한다는 공통된 인덕티브 바이어스 (Inductive Bias)**를 공유함을 규명했습니다.

이론적 통찰: LLM 의 추론 능력 향상은 단순히 모델 크기를 키우는 것이 아니라, 모델 내부에서 정보를 반복적으로 정제 (Iterative Refinement) 하는 메커니즘을 도입하는 데서 비롯됨을 보여줍니다.
실용적 제안: "Grow first, loop later" 전략을 제안합니다. 즉, 훈련 단계에서는 계산 효율성을 위해 깊이 성장 (중간 레이어 복제) 을 사용하고, 추론 단계나 코다운 단계에서 중간 블록을 루핑하도록 적응시키는 것이 제한된 자원 하에서 최고의 추론 성능을 달성하는 실용적인 방법입니다.
미래 방향: 이 연구는 고정된 깊이 (Fixed-depth) 모델에서 반복적 계산을 유도하는 새로운 아키텍처 설계와 훈련 전략의 방향성을 제시합니다.

요약하자면, 이 연구는 **반복적 계산 (Iterative Computation)**이 LLM 의 추론 능력 향상의 핵심 열쇠이며, 이를 구현하기 위해 **성장 (Growth)**과 **루핑 (Looping)**을 결합하는 것이 가장 효과적인 방법임을 입증했습니다.