🤖 AI

Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers

이 논문은 스도쿠 및 ARC-AGI와 같은 다양한 작업 전반에 걸쳐 안정적인 단계별 구성적 추론을 가능하게 하기 위해 프리-노름(pre-norm) 레이어, 잔차 스케일링(residual scaling), 그리고 고정 소수점 수렴(fixed-point convergence)을 적응형 중단 메커니로 채택한 트랜스포머 기반 모델인 FPRM을 소개한다.

원저자: Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, Alexander Theus, Thomas Hofmann, Valentina Boeva, T. Konstantin Rusch, Antonio Orvieto

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, Alexander Theus, Thomas Hofmann, Valentina Boeva, T. Konstantin Rusch, Antonio Orvieto

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 어려운 퍼즐, 예를 들어 복잡한 스도쿠나 미로를 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 두 가지 접근 방식이 있습니다.

"한 번에 끝내기(One-and-Done)" 방식: 퍼즐을 한 번 보고, 최선의 추측을 한 뒤, 바로 답을 적습니다.
"생각하며 풀기(Think-About-It)" 방식: 퍼즐을 보고, 추측을 한 뒤, 자신의 작업을 검토하고, 실수를 깨닫고, 이를 수정하고, 다시 검토하며, 답이 확실해질 때까지 계속해서 정답을 다듬어 나갑니다.

현재 대부분의 AI 모델은 첫 번째 방식에 능숙합니다. 하지만 어려운 퍼즐의 경우, 이들은 두 번째 방식, 즉 "생각하는 과정"을 반복해야 합니다. 그들은 자신의 내부 두뇌 회로를 답이 안정될 때까지 반복해서 돌려야 합니다.

이 논문은 FPRM(Fixed-Point Reasoning Model, 고정점 추론 모델)이라는 새로운 유형의 AI를 소개합니다. 이 모델은 특히 이 "생각하며 풀기" 접근 방식에 더 능숙하도록 설계되었습니다. 이해를 돕기 위해 쉬운 비유를 들어 설명하겠습니다.

1. 문제점: "신호 감쇠"와 "폭발"

당신이 아주 긴 사람들의 줄(깊은 신경망)을 통해 메시지를 전달하려고 한다고 상상해 보세요.

기존 방식 (Post-Norm): 줄에 서 있는 사람들에게 목소리 크기를 정상 수준으로 유지하라고 지시합니다. 이는 안정성에는 좋지만, 메시지가 줄의 끝에 도달할 때쯤이면 너무 작아져서 아무도 들을 수 없게 됩니다. 신호가 소실되는 것입니다.
새로운 방식 (Pre-Norm): 사람들에게 다음 사람에게 명확하고 크게 말하라고 지시합니다. 이렇게 하면 메시지가 강하게 유지됩니다! 하지만 함정이 있습니다. 주의하지 않으면 다음 사람의 귀가 아플 정도로 크게 소리를 질러서, 메시지가 혼란스러운 비명(활성화 폭발, activation explosion)이 될 수 있습니다.

이전의 AI 모델들이 생각하는 과정을 반복할 때는 "기존 방식"을 사용했습니다. 그들은 안전을 위해 목소리를 낮추었지만, 이로 인해 어려운 퍼즐을 풀 만큼 깊이 생각할 수는 없었습니다.

2. 해결책: "볼륨 조절기" (잔차 스케일링, Residual Scaling)

이 논문의 저자들은 스마트한 볼륨 조절기(잔차 스케일링이라 불리는)를 추가함으로써 "새로운 방식"의 문제를 해결했습니다.

그들은 사람들이 크게 말하게 하여 메시지가 강하고 명확하게 유지되도록 했습니다.
동시에, 소리가 비명이 되지 않도록 적절히 조절하는 스마트한 볼륨 조절기를 추가했습니다.

이를 통해 AI는 메시지를 잃어버리거나 시스템이 무너지지 않으면서도 수백, 수천 번의 "생각 루프"를 돌 수 있게 되었습니다. 즉, '깊게' 생각할 수 있게 된 것입니다.

3. 중단 메커니즘: "언제 멈출 것인가?"

과ền에는 AI가 생각을 반복할 때 언제 멈춰야 할지 예측해야 했습니다.

기존 방법: 정해진 횟수만큼 루프를 돌거나(타이머처럼), 별도의 "관리자"를 사용하여 결정했습니다. 이 관리자는 종종 업무 수행 능력이 떨어져서, 어려운 문제에서는 너무 일찍 멈추거나 쉬운 문제에서 시간을 낭비하곤 했습니다.
FPM 방식: 이 모델은 **고정점 수렴(Fixed-Point Convergence)**이라는 개념을 사용합니다. 커피를 젓는 모습을 상상해 보세요. 당신은 설탕이 움직임을 멈추고 액체가 완벽하게 정지할 때까지 계속 젓습니다.
- FPRM은 내부적인 답이 변하지 않을 때까지 "생각(젓기)"을 계속합니다.
- 답이 안정되면(고정점에 도달하면), 모델은 "좋아, 이제 끝났어. 답이 더 이상 변하지 않아"라고 판단합니다.
- 이점: 이 모델은 어려운 퍼즐(안정화되는 데 시간이 더 걸리는 문제)에는 더 많은 시간을 쓰고, 쉬운 퍼즐에는 적은 시간을 씁니다. 즉, 작업의 난이도에 따라 노력을 스스로 조절합니다.

4. 결과: 더 똑똑하고 더 빠르게

저자들은 이 새로운 모델을 여러 가지 "퍼즐" 벤치마크에서 테스트했습니다.

스도쿠: 매우 어려운 숫자 격자 풀기.
미로: 복잡한 미로 속에서 최단 경로 찾기.
ARC-AGI: 패턴을 포착해야 하는 추상적 추론 과제.
상태 추적(State Tracking): 변화하는 정보(예: 게임 점수)를 계속 추적하기.

연구 결과는 다음과 같습니다:

FPRM은 이전 모델들(TRM, HRM 등)보다 더 작고 복잡한 "계층적 구조"(복잡한 상사와 부하 관계 시스템)를 사용하지 않고도 이 퍼즐들을 더 잘 해결했습니다.
훨씬 효율적이었습니다. 쉬운 퍼즐에서는 빠르게 멈췄고, 어려운 퍼즐에서는 답을 얻을 때까지 루프를 계속 돌렸습니다. 반면 다른 모델들은 너무 일찍 포기하거나 에너지를 낭비했습니다.
또한, 훌륭한 추론을 하기 위해 반드시 복잡한 계층 구조가 필요한 것이 아니라, 깊이 생각할 수 있는 안정적인 방법과 언제 멈춰야 할지 아는 스마트한 방법이 필요하다는 것을 증명했습니다.

요약

FPRM을 스마트하고 자기 조절 능력이 있는 사고가라고 생각하세요.

볼륨 조절기 덕분에 오랫동안 생각해도 지치거나 혼란에 빠지지 않습니다.
별도의 관리자가 알려주지 않아도, 답이 안정되는 순간 멈출 줄 압니다 (고정점 수렴).
이 덕분에 기존 모델들보다 더 똑똑하고 효율적으로 어려운 논리 퍼즐을 해결합니다.

이 논문은 이것이 방대한 양의 추가 파라미터나 복잡한 훈련 기술 없이도, AI에게 단계별로 추론하는 법을 가르치는 데 있어 중요한 진전이라고 주장합니다.

기술 요약: 고정점 추론기: 안정적이고 적응적인 딥 루프 트랜스포머 (Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers)

1. 문제 정의

신경 추론 모델은 유연성과 적응성 사이에서 근본적인 트레이드오프에 직면해 있습니다. 연쇄 사고(Chain-of-Thought, CoT) 메커니즘은 중간 단계를 언어화함으로써 모델이 계산량을 확장할 수 있게 해주지만, 종종 특수한 학습 체계와 수작업으로 제작된 트레이스를 요구하며 엔드 투 엔드(end-to-end) 학습을 저해합니다. 대안적인 루프 구조(예: Universal Transformers, HRM, TRM)는 파라미터 수와 유효 깊이를 분리하여 모델이 잠재 표현( $z_{i+1} = f_\theta(z_i; x)$ )을 반복할 수 있도록 함으로써 유연성을 제공합니다. 그러나 이러한 모델들은 두 가지 결정적인 문제에 부딪힙니다:

깊은 루프에서의 신호 전파(Signal Propagation in Deep Loops): 더 어려운 과제를 해결하기 위해 루프의 수가 증가함에 따라, 언롤드(unrolled)된 아키텍처는 매우 깊은 네트워크가 됩니다. 표준 딥 트랜스포머 아키텍처는 신호 전파 문제("깊이의 저주")를 겪으며, 이로 인해 그래디언트와 표현이 많은 레이어를 통해 효과적으로 전달되지 못합니다.
중단 딜레마(The Halting Dilemma): 기존의 루프 모델은 반복을 언제 멈출지 적응적으로 결정하는 데 어려움을 겪습니다. 대부분의 접근 방식은 루프 횟수를 고정하거나(적응성 제거), ACT(Adaptive Computation Time) 네트워크와 같은 외부 모듈에 의존합니다. ACT는 중단 결정의 이산적(discrete) 특성 때문에 최적화의 어려움을 초0입히며, 실제 환경에서 계산량을 과제의 난이도에 비례하여 확장하는 데 자주 실패합니다.
안정성 대 학습 가능성(Stability vs. Trainability): 현재의 루프 모델은 활성화 크기를 제한하여 발산을 방지하기 위해 주로 **포스트-놈(post-norm)**을 사용합니다. 그러나 포스트-놈은 깊은 네트워크에서 신호 전파 문제를 유발하는 것으로 알려져 있습니다. 반대로, **프리-놈(pre-norm)**은 신호 전파를 개선하지만, 루프 설정에서 활성화 값이 기하급적으로 증가하여 불안정성과 발산을 초래합니다.

2. 방법론: FPRM 프레임워크

저자들은 세 가지 핵심 아키텍처 수정과 새로운 중단 메커니즘을 통해 이러한 문제를 해결하는 트랜스포머 기반 아키텍처인 **FPRM (Fixed-Point Reasoning Model)**을 제안합니다.

2.1 아키텍처 수정

대규모 유효 깊이에서도 안정적인 학습을 가능하게 하기 위해, FPRM은 표준 트랜스포머 레이어를 다음과 같이 수정합니다:

Pre-Norm으로의 전환: 저자들은 학습 가능성을 회복하고 깊은 유효 레이어에서의 신호 전파를 개선하기 위해 표준 포스트-놈을 프리-놈으로 교체했습니다.
잔차 스케일링(Residual Scaling): 프리-놈 루프 모델에서 발생하는 활성화의 기하급수적 증가를 억제하기 위해, FPRM은 두 가지 스케일에서 적용되는 학습 가능한 스케일링 파라미터를 도입합니다:
- 레이어별 스케일링: 단일 네트워크 블록의 적용 내에서, 잔차 스트림과 서브 레이어 출력은 결합된 스칼라 $(\alpha_1, \beta_1)$ 에 의해 가중치가 부여됩니다.
- 반복 간 믹싱: 연속적인 네트워크 블록의 적용 사이에서, 입력 $x$ 는 결합된 스칼라 $(\alpha_2, \beta_2)$ 와 함께 재주입됩니다.
- 이론적 보장: 저자들은 적절한 스칼라 결합( $0 \le \alpha_1, \alpha_2 < 1$ )이 있을 때, 고정점 반복이 유계(bounded) 상태를 유지하여 프리-놈 환경에서도 안정성을 보장함을 증명했습니다 (정리 1).

2.2 고정점 중단 메커니즘 (Fixed-Point Halting Mechanism)

외부 중단 모듈(ACT와 같은)을 사용하는 대신, FPRM은 잠재 역학(latent dynamics) 자체의 수렴을 정지 기준으로 활용합니다.

수렴 기준: 모델은 숨겨진 상태가 고정점 $z^*$ 에 수렴할 때까지 반복합니다. 이는 $\|z_{i+1} - z_i\| \le \epsilon$ 으로 정의됩니다.
안정성을 위한 댐핑(Damping): 고정점 주변에서 진동하는 현상(Jacobian의 고윳값의 실수부가 $<1$ 이지만 크기가 $\ge 1$ 인 경우)을 방지하기 위해, 저자들은 **댐프 반복 맵(damped iteration map)**을 도입했습니다 (정리 3). 이들은 잔차 오차가 개선되지 않을 경우 단계 크기 $\eta$ 를 줄이는 적응형 단계 크기 감소 메커니즘(알고리즘 1)을 사용하여 국소 수렴을 보장합니다.
적응성: 이 메커니즘은 별도의 학습된 결정 프로세스 없이도 모델이 어려운 입력(수렴에 더 많은 반복이 필요한 경우)에는 더 많은 계산을 할애하고, 쉬운 입력에는 적은 계산을 할애할 수 있게 합니다.

2.3 최적화

FPRM은 **절단된 BPTT (Truncated Backpropagation Through Time)**를 사용하여 학습됩니다. 고정점 맵의 수축적(contractive) 특성을 활용하여, 그래디언트는 절단된 Neumann 급수로 근사될 수 있으며 (식 5), 이를 통해 메모리 복잡도를 루프 횟수로부터 분리합니다. 모델은 학습을 용이하게 하기 위해 중간 단계에서 손실을 계산하는 딥 슈퍼비전(deep supervision)을 채택합니다.

3. 주요 기여

안정적인 Pre-Norm 루프 트랜스포머: 저자들은 잔차 스케일링을 도입함으로써 프리-놈을 사용하는 루프 트랜스포머를 성공적으로 학습시켜, 신호 전파와 활성화 유계성 사이의 충돌을 해결했습니다.
고정점 중단: 고정점 수렴에 기반한 이론적으로 동기화된 엔드 투 엔드 중단 메커니즘을 제안하여, 외부 ACT 모듈의 필요성을 없애고 진정한 계산 적응성을 실현했습니다.
FPRM 프레임워크: 비계층적 모델(HRM 및 TRM과 달리)이 신호 전파를 개선하고 깊이를 효과적으로 활용함으로써 추론 벤치마크에서 계층적 베이스라인보다 뛰어난 성능을 보일 수 있음을 입증했습니다.

4. 실험 결과

저자들은 Sudoku-Extreme, Maze-Hard, ARC-AGI (1 & 2), 그리고 상태 추적(state-tracking) 벤치마크(A5, S5)에서 FPRM을 평가했습니다.

성능: FPRM (7M 파라미터)은 유사한 크기의 모델 중 Sudoku-Extreme (94.2%), Maze-Hard (87.0%), ARC-1 (47.5%)에서 최첨단(SOTA) 결과를 달성하며, 여러 과제에서 HRM (27M) 및 TRM (7M)과 같은 더 큰 계층적 모델을 능가했습니다.
적응성:
- 상태 추적: FPRM은 시퀀스 길이에 따라 계산량을 매끄럽게 확장하며, 길이 128에서 A5 98.1%, S5 98.8%의 정확도를 달성합니다. 반면, TRM(ACT를 사용하더라도)은 외삽(extrapolate)에 실패하거나 계산량을 비효율적으로 과다하게 사용합니다.
- Sudoku-Extreme: FPRM은 과제 난이도(빈 셀의 수)에 따라 추론 계산량(유효 레이어)을 적응시킵니다. 쉬운 퍼즐에서는 조기에 중단하고 어려운 퍼즐에서는 더 깊게 수행합니다. TRM은 기본적으로 난이도와 상관없이 최대 계산 예산을 소진합니다.
신호 전파 분석:
- 실험 결과, 잔차 스케일링이 없는 프리-놈은 발산하는 반면, 포스트-놈은 깊이 활용을 제한합니다. FPRM(프리-놈 + 스케일링)은 유효 깊이가 증가해도 성능을 유지하지만, 포스트-놈 변형은 더 빨리 포화됩니다.
- 어블레이션(Ablation) 연구는 아키텍처 수정(프리-놈 + 스케일링)이 결정적임을 확인했습니다. 루프 구조를 재설계하지 않고 이를 TRM 아키텍처에 직접 적용하면 성능이 저하되며, 이는 FPRM 특유의 설계가 필수적임을 보여줍니다.

5. 의의 및 주장

이 논문은 FPRM이 신경망의 효율적이고 적응적인 추론을 향한 중요한 진전이라고 주장합니다. 계층적 구조와 외부 중단 모듈을 통합된 고정점 접근 방식으로 대체함으로써, 저자들은 다음을 입증했습니다:

단순함이 성능을 낸다: 비계층적 아키텍처가 성능 제한의 근본 원인인 신호 전파 문제를 해결함으로써 복잡한 계층적 모델(HRM, TRM)보다 더 나은 성능을 낼 수 있습니다.
엔드 투 엔드 적응성: 고정점 중단은 계산량을 과제 난이도에 맞게 확장하는 자연스럽고 미분 가능한 방법을 제공하며, 이산적 중단 결정의 최적화 문제를 피합니다.
깊이 활용: 프리-놈과 잔차 스케일링의 조합은 루프 모델이 깊은 유효 레이어를 효과적으로 활용할 수 있게 하여, "깊이의 저주" 없이 단계별 절차를 학습하기 위한 귀납적 편향(inductive bias)을 열어줍니다.

저자들은 현재의 평가가 자연어보다는 알고리즘 과제(퍼즐, 상태 추적)에 국한되어 있다는 점을 인정하며 한계를 언급했습니다. 또한 학습된 추론 알고리즘의 최적성이 보장되지는 않는다고 명시했습니다. 그러나 FPRM이 미래의 잠재 추론 모델을 위한 견고한 토대를 제공한다고 주장합니다.