기술 요약: 균형 추론기 (EqR)

1. 문제 제기

현대 AI 시스템은 잠재 상태의 반복적 업데이트를 통해 추론 성능을 향상시키기 위해 테스트 시간 계산량 (test-time compute) 의 확장에 점점 더 의존하고 있습니다. 그러나 이러한 반복적 모델이 암기된 패턴을 넘어 일반화되게 하는 내부 메커니즘은 여전히 불분명합니다. 일부 모델은 계산량이 증가함에 따라 체감 수익이 감소하거나 심지어 성능이 저하되는 반면, 다른 모델들은 상당한 개선을 달성합니다. 핵심 질문은 다음과 같습니다: 확장 가능하고 일반화 가능한 추론을 가능하게 하는 내부 메커니즘은 무엇인가?

현재의 반복적 추론 모델 (예: HRM, TRM) 은 잠재 상태에 학습된 업데이트 규칙을 적용하지만, 깊은 추론이 필요한 작업으로 일반화하거나 추론 예산이 증가함에 따라 효과적으로 확장하는 데 종종 어려움을 겪습니다. 본 논문은 확장 실패의 원인이 종종 모델이 학습한 내부 역학과 작업의 해 공간 사이의 불일치에서 비롯된다고 주장합니다.

2. 방법론: 균형 추론기 (EqR)

저자들은 **균형 추론기 (EqR)**를 제안하며, 이는 반복적 추론을 **작업 조건부 어트랙터 지형 (task-conditioned attractor landscape)**을 학습하는 것으로 형식화합니다. 이러한 관점에서 유효한 해는 업데이트 규칙 $z_{k+1} = f_\theta(z_k; x)$으로 정의된 잠재 역동 시스템 내의 안정적인 고정점 (어트랙터) 에 해당합니다.

핵심 가설

일반화 가능한 추론은 모델이 다음과 같은 내부 지형을 학습할 때 발생합니다:

1. 작업 정렬: 안정적인 어트랙터가 올바른 작업 해 (낮은 오차 분지) 에 대응합니다.
2. 접근 가능성: 이러한 올바른 어트랙터가 다양한 초기 상태에서 도달 가능해야 합니다.

주요 구성 요소 및 개입

이 지형을 형성하기 위해 저자들은 순전파 모델에서 확장 가능한 반복 추론기로 가는 통제된 구성 경로를 도입하며, 구체적인 학습 개입을 포함합니다:

• 가중치 공유 반복 (Weight-Tied Iteration): 계층 간 매개변수를 재사용하여 순환 역동 시스템을 정의함으로써, 모델이 매개변수 수를 증가시키지 않고도 임의의 깊이 (예: 40,000 계층에 해당) 까지 언롤 (unroll) 할 수 있게 합니다.
• 무작위 상태 초기화 (RI): 고정된 초기 상태 $z_0$를 사용하는 대신, 모델이 각 궤적에 대해 $z_0 \sim \mu_0(\cdot|x)$ (예: 가우시안 노이즈) 를 샘플링합니다. 이는 학습을 테스트 시간의 폭 확장 (여러 번의 재시작) 과 정렬시키고 경로 독립성을 장려합니다.
• 노이즈 주입을 통한 경로 확률성 (NI): 각 반복 단계에서 가산 노이즈를 주입합니다 ($z_{k+1} = z_k + (1-\lambda)r_\theta(z_k; x) + \beta \epsilon_k$). 이는 가짜 어트랙터로의 조기 수렴을 방지하고 지형 탐색을 확장합니다.
• 분할 온라인 학습 (SOT): 긴 궤적을 세그먼트로 나누고 각 세그먼트 후에 감독 및 매개변수 업데이트를 적용하는 학습 일정입니다. 이는 잠재 상태를 정제하고 업데이트 연산자를 재형성하는 것을 번갈아 수행하여 오프라인 감독에서 발견되는 "낡은 궤적" 불일치를 방지합니다.
• 적응형 계산 시간 (ACT): 모델이 쉬운 인스턴스에서는 일찍 종료하고 어려운 사례에는 더 많은 계산량을 할당할 수 있도록 하는 학습된 중단 메커니즘입니다.

추론 확장

EqR 은 두 가지 축을 따라 테스트 시간 계산량을 확장합니다:

1. 깊이 ($D$): 궤적당 언롤된 반복 횟수를 늘려 분지 내에서 해를 정제합니다.
2. 폭 ($B$): 어트랙터 지형의 커버리지를 늘리기 위해 여러 개의 독립적인 확률적 궤적 (재시작) 에서의 출력을 집계합니다.

수렴 기반 선택 (가장 낮은 고정점 잔차 $\|f_\theta(z; x) - z\|$를 가진 궤적 선택) 은 지형이 적절히 형성된 후에만 신뢰할 수 있는 최상의 예측을 선택하는 데 사용됩니다.

3. 주요 결과

저자들은 EqR 을 Sudoku-Extreme(어려운 9x9 제약 충족 작업) 과 Maze-Unique(유일하게 해결 가능한 30x30 경로 찾기 작업) 에서 평가했습니다.

• 일반화 대 암기: 표준 순전파 모델 (64 계층 포함) 은 Sudoku-Extreme 에서 거의 0% 에 가까운 정확도 (2.6%) 를 달성하는 반면, 지형 형성 없이 가중치 공유 반복 모델은 32.6% 에 도달합니다.
• 개입의 영향: 무작위 초기화 (RI) 와 노이즈 주입 (NI) 을 적용하면 성능이 크게 향상됩니다. Sudoku 의 경우, 기준 반복 모델 (TRM 스타일) 은 84.8% 정확도를 달성하는 반면, EqR(RI+NI 포함) 은 동일한 계산량 예산에서 86.4% 에 도달합니다.
• 확장성:
  • 깊이 확장: 반복 횟수를 16 에서 64 로 늘리면 Sudoku 정확도가 86.4% 에서 93.0% 로 향상됩니다.
  • 폭 확장: 깊이 (64) 와 폭 (128 번 재시작) 을 결합하면 Sudoku 정확도를 **99.8%**로, Maze 정확도를 **93.0%**로 끌어올립니다.
  • 고정점 잔차: 낮은 고정점 잔차와 높은 작업 정확도 사이에는 긴밀한 결합이 존재합니다. 깊이가 증가함에 따라 잔차는 감소하고 정확도는 향상되어 어트랙터 가설을 검증합니다.
• 효율성: 적응형 계산 시간 (ACT) 을 사용하면 EqR 은 쉬운 인스턴스에서 일찍 종료함으로써 훨씬 적은 함수 평가 (예: Sudoku-Lite 에서 기준 대비 11.34 배 적은 NFE) 로 동일한 정확도 목표를 달성합니다.

4. 중요성 및 주장

본 논문은 반복적 추론이 확장되는 이유에 대한 메커니즘적 이해를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 어트랙터 관점: 단순한 수렴에서 작업 조건부 어트랙터 지형을 학습하는 것으로 반복적 추론에 대한 관점을 전환합니다. 성공은 모델의 내부 안정 상태와 작업의 올바른 해를 정렬하는지에 달려 있습니다.
2. 확장성을 위한 학습 개입: 특정 작업과 무관한 개입 (RI 및 NI) 이 이 지형을 형성하는 데 필수적임을 보여줍니다. 올바른 어트랙터를 도달 가능하고 안정적으로 만듭니다. 이러한 개입 없이는 계산량 확장은 종종 체감 수익 감소나 실패로 이어집니다.
3. 신뢰할 수 있는 수렴 신호: 지형이 형성되면 고정점 잔차가 작업 정확도에 대한 신뢰할 수 있는 대리 변수가 되어, 다수결 투표보다 우수한 효율적인 선택 전략 (Top-1 수렴) 을 가능하게 함을 보여줍니다.
4. 외부 검증자 없는 확장 가능한 추론: EqR 은 외부 검증자나 작업별 사전 지식에 의존하지 않고 내부 역동과 테스트 시간 계산량에만 의존하여 40,000 계층에 해당하는 언롤과 같은 대규모 확장 및 어려운 작업에서 거의 완벽한 정확도를 달성합니다.

저자들은 반복적 잠재 추론 모델이 확장되려면 최종 정확도뿐만 아니라 내부 역동이 올바른 해를 안정적이고, 도달 가능하며, 선택 가능하게 만드는지 여부에 따라 평가되어야 한다고 결론지었습니다. 이러한 관점은 반복적 모델의 일반화 능력을 이해하고 개선하는 통로를 제공합니다.