기술적 요약: 루프형 언어 모델에서 테스트 시간 확장 가능한 잠재 추론을 위한 재귀적 역동성 안정화

1. 문제 제기

루프형 언어 모델 (LoopLMs) 은 공유 파라미터를 통한 깊이 재귀를 통해 대규모 언어 모델 (LLMs) 을 향상시키는 유망한 패러다임입니다. 이 아키텍처는 추론 중 컨텍스트 창이나 파라미터 수의 확장을 피함으로써 계산 효율성을 개선하면서 인간과 유사한 잠재 추론 과정을 모방하는 것을 목표로 합니다. 그러나 저자들은 기존 LoopLM 에서 신뢰할 수 없는 테스트 시간 확장이라는 치명적인 실패 모드를 확인했습니다.

이론적 목표는 증가된 재귀 반복이 점진적으로 정제된 잠재 표현으로 이어진다는 것이지만, 실증적 관찰 (예: Ouro-1.4B 모델에서) 은 성능이 특정 반복 깊이에서 정점을 찍은 후 재귀가 계속됨에 따라 붕괴되는 경우가 많음을 보여줍니다. 논문은 이를 효과성(정보 전달 및 심층 추론 수행 능력) 과 안정성(잠재 궤적의 유계성) 사이의 본질적이면서 간과되었던 트레이드오프로 귀인합니다.

• 내부 정규화 (예: Pre-Norm): 정보 흐름 (효과성) 을 유지하지만 숨겨진 상태가 기하급수적으로 커져 궤적 발산 및 성능 붕괴를 초래합니다.
• 외부 정규화 (예: Post-Norm): 유계 상태 (안정성) 를 보장하지만 종종 시스템을 얕은 추론이나 불완전한 고정점으로 제한하여 심층 잠재 추론을 지원하지 못합니다.

보조 프리류드/코다 레이어, L2 정규화, 또는 무작위 루프 샘플링과 같은 표준적인 해결책들은 이러한 교착 상태를 해결하기에 불충분한 것으로 나타났습니다.

2. 방법론: STARS 프레임워크

잠재 역동성의 불안정성을 해결하기 위해 저자들은 STARS (STAbility-driven Recurrent Scaling, 안정성 주도 재귀 확장) 라는 통합 학습 프레임워크를 제안합니다. 핵심 통찰은 효과적인 잠재 추론은 숨겨진 상태가 점근적으로 안정적인 고정점으로 수렴하면서도 효과성을 유지해야 한다는 것입니다.

2.1 이론적 기반

이 접근법은 동역학 시스템 이론에 기반합니다. 저자들은 재귀적 변환을 이산 시간 동역학 시스템 $h^{(t+1)} = \Phi_\theta(h^{(t)})$로 모델링합니다. 리야푸노프 선형화 정리에 따르면, 고정점의 국소적 안정성은 시스템의 야코비안 행렬 $J$의 스펙트럼 반경 ($\rho$) 에 의해 결정됩니다.

• $\rho(J) < 1$인 경우, 고정점은 점근적으로 안정적입니다 (교란이 감쇠함).
• $\rho(J) \geq 1$인 경우, 시스템은 진동하거나 발산할 수 있습니다.

2.2 야코비안 스펙트럼 반경 정규화 (JSRR)

STARS 는 훈련 중 야코비안 행렬의 스펙트럼 반경을 제약하여 $\rho(J) < 1$이 되도록 하는 정규화 항을 도입합니다.

• 효율성 과제: 대규모 모델에 대한 직접적인 고유값 계산은 계산적으로 불가능합니다.
• 해결책: 저자들은 단일 단계 파워 반복과 야코비안 - 벡터 곱 (JVP) 을 결합한 경량 추정 방식을 사용합니다. 이는 전체 야코비안 행렬을 구성하지 않으면서 스펙트럼 반경의 효율적인 추정 ($\rho(J) \approx \|Jv\|_2$) 을 제공합니다.
• 구현: 정규화는 훈련 중 정확한 고정점을 찾는 것이 계산적으로 불가능하므로, 루프 내 특정 반복 $t$에서 프록시로 적용됩니다.

2.3 무작위 루프 샘플링과의 통합

단일 지점이 아닌 추론 궤적 전반에 걸친 전역적 안정성을 보장하기 위해 STARS 는 JSRR 을 무작위 루프 샘플링과 통합합니다. 훈련 중 재귀 반복 횟수 $t$는 분포 (예: 로그 - 정규 분포) 에서 샘플링됩니다. 최종 훈련 목적 함수는 표준 지도 미세 조정 (SFT) 손실과 JSRR 손실의 가중 조합입니다:
$$\mathcal{L}_{STARS} = \mathbb{E}_{t \sim P} \left[ (1 - \lambda) \cdot \mathcal{L}_{SFT}^{(t)} + \lambda \cdot \mathcal{L}_{JSRR}^{(t)} \right]$$
이는 모델이 반복적 추론 중 접하게 되는 잠재 상태 전체 지지 집합에 걸쳐 작은 스펙트럼 반경을 유지하도록 장려합니다.

3. 주요 기여

1. 진단 분석: 논문은 정규화 배치 (내부 대 외부) 로 인해 발생하는 안정성과 효과성 사이의 불가해한 트레이드오프를 식별하는 LoopLM 잠재 궤적에 대한 체계적인 진단 연구를 제공합니다.
2. STARS 프레임워크: 야코비안 스펙트럼 반경 정규화를 통해 점근적 안정성을 강제하여 수학적 근거 하에 모델을 안정적인 고정점으로 수렴시키는 학습 프레임워크를 제안합니다.
3. 효율적 정규화: 단일 단계 파워 반복과 JVP 를 사용한 메모리 인식형 스펙트럼 반경 추정기를 개발하여 대규모 언어 모델에 확장 가능한 접근 방식을 가능하게 합니다.
4. 실증적 검증: STARS 가 합계 산술 작업과 복잡한 수학 추론 벤치마크 모두에서 신뢰할 수 있는 테스트 시간 확장을 달성하며, 기존 모델들에 비해 더 깊은 재귀 수준에서 성능 저하를 크게 완화함을 입증했습니다.

4. 실험 결과

저자들은 STARS 를 두 가지 주요 작업에서 평가했습니다:

4.1 다중 자리수 덧셈 (합성 작업)

• 설정: 4 자리수 덧셈으로 훈련된 무작위 초기화 트랜스포머.
• 결과: STARS 로 훈련된 모델은 모든 재귀 단계에서 100% 정확도를 일관되게 달성했습니다. 잠재 상태는 빠른 수렴 속도로 안정적인 고정점으로 수렴하여 완전히 신뢰할 수 있는 테스트 시간 확장을 보여주었습니다. 반면, 기준 모델들은 반복이 증가함에 따라 성능 붕괴를 보였습니다.

4.2 수학 추론 (실제 작업)

• 설정: NuminaMath-1.5 데이터셋으로 사전 훈련된 Ouro-1.4B 모델을 미세 조정.
• 기준 모델: 표준 Ouro-1.4B 및 표준 SFT 가 적용된 Ouro-1.4B.
• 결과:
  • 최고 성능: STARS 는 GSM8K 에서 4 회 재귀 시 **74.18%**의 최고 평균 정확도를 달성하여 SFT 기준 모델 (70.46%) 을 능가했습니다.
  • 확장 안정성: 8 회 재귀로 확장할 때, SFT 기준 모델의 성능은 **52.97%**로 붕괴되어 최고점 대비 20.47% 하락했습니다. 반면 STARS 는 **8.26%**만 저하되어 평균 정확도 **65.55%**를 유지했습니다.
  • 일반화: STARS 는 다른 벤치마크 (MATH500, ASDiv, SVAMP, AMC23) 에서도 더 깊은 재귀 깊이에서 일관되게 기준 모델보다 우수한 견고성을 보여주었습니다.

5. 중요성 및 주장

이 논문은 STARS 가 현재 LoopLM 아키텍처의 근본적인 불안정성을 해결하여 신뢰할 수 있는 테스트 시간 확장 가능한 잠재 추론을 가능하게 한다고 주장합니다. 추론을 안정적인 고정점으로 수렴해야 하는 불확실성 감소의 반복 과정으로 개념화함으로써, 저자들은 높은 효과성과 엄격한 안정성을 동시에 달성할 수 있음을 입증했습니다.

이러한 중요성은 더 깊은 재귀를 통한 계산 자원 활용 시 기존 LoopLM 에서 관찰된 성능 붕괴 없이 모델을 작동하게 하는 수학적으로 근거 있는 학습 프레임워크를 제공한다는 데 있습니다. 저자들은 이를 새로운 애플리케이션이나 데이터셋을 도입하지 않고도 추론 작업을 위한 재귀 언어 모델 아키텍처의 안정성과 확장 행동을 개선하기 위한 방법론적 진전으로 위치시킵니다.