기술 요약: 언어 및 추론을 위한 어트랙터 모델

문제 제기

현대 언어 모델링 시대는 단일 계산 패스로 토큰을 생성하는 피드포워드 (feed-forward) 트랜스포머가 지배하고 있습니다. 성공적이기는 하지만, 이 아키텍처는 근본적인 질문을 제기합니다: 각 토큰이 단일 계산의 산물이어야 하는지, 아니면 모델이 출력을 확정하기 전에 잠재적 예측을 정제할 수 있어야 하는지?

"잠재적 사고 (latent thinking)"나 반복적 정제와 같은 기존 접근법들, 예를 들어 루프형 (looped) 트랜스포머와 순환 아키텍처는 다음과 같은 중대한 장애물에 직면해 있습니다:

1. 학습 불안정성: 순환 신경망은 종종 불안정한 학습 역학을 겪으며 신중한 안정화 기법이 필요합니다.
2. 메모리 및 계산 비용: 표준 루프형 모델은 고정된 단계 수 ($T$) 에 대해 순환을 풀어서 (unroll) 실행합니다. 이로 인해 학습 메모리가 $T$에 비례하여 선형적으로 증가하며, 추론 깊이가 학습 깊이와 묶이게 됩니다. 추론이 학습보다 더 많은 루프를 필요로 할 경우, 성능이 종종 저하됩니다.
3. 확장성 문제: 전문화된 초소형 순환 추론기들은 모델 크기를 증가시키면 성능이 붕괴되는 "적은 것이 더 많다 (less is more)" 현상을 보입니다. 반면, 대규모 순환 모델은 prohibitively expensive(부담이 너무 큼) 하여, 크기가 10 배 큰 피드포워드 모델과 비교 가능한 컴퓨팅 자원을 소모합니다.

핵심적인 과제는 대규모 언어 모델링과 소규모 데이터 추론 작업 모두에서 안정적이고, 메모리 효율적이며, 확장 가능한 반복적 정제 (순환) 를 지원하는 아키텍처를 설계하는 것입니다.

방법론: 어트랙터 모델

저자들은 **어트랙터 모델 (Attractor Models)**을 소개합니다. 이는 유한한 순환 단계의 풀기 (unrolling) 가 아닌, 출력 임베딩 공간에서의 고정점 (fixed-point) 문제로 잠재적 정제를 다루는 범용 아키텍처입니다. 이 아키텍처는 두 가지 주요 모듈로 구성됩니다:

1. 백본 모듈 (Backbone Module): 입력 임베딩을 초기 출력 임베딩 제안 $\tilde{y}_0 = T_{\theta_b}(E(x))$로 매핑하는 비순환 네트워크 (일반적으로 트랜스포머) 입니다. 0 이나 노이즈에서 순환을 초기화하는 표준 루프형 모델과 달리, 어트랙터 모델은 일관성 있고 입력에 의존적인 예측으로 정제 과정을 "웜-스타트 (warm-start)"합니다.
2. 어트랙터 모듈 (Attractor Module): 초기 제안을 정제하는 별도의 가중치 공유 순환 네트워크 $T_{\theta_a}$입니다. 고정된 단계 수만큼 실행하는 대신, 어트랙터 모듈은 다음 고정점 $\tilde{y}^*$를 찾습니다:
   $$\tilde{y}^* = T_{\theta_a}(\tilde{y}^*, \tilde{y}_0)$$
   이는 잔차 함수 $A_{\theta_a}(\tilde{y}, \tilde{y}_0) = T_{\theta_a}(\tilde{y}, \tilde{y}_0) - \tilde{y} = 0$의 근 (root) 을 찾는 것으로 공식화됩니다.

주요 기술 메커니즘:

• 암시적 미분 (Implicit Differentiation): 학습은 고정점 솔버를 통한 미분을 위해 암시 함수 정리를 활용합니다. 기울기는 $\frac{\partial L}{\partial \theta} = u^\top \frac{\partial T_{\theta_a}}{\partial \theta}$로 계산되며, 여기서 $u = (I - J_{\tilde{y}}^\top)^{-1} v$입니다.
• 단일 단계 근사 (One-Step Approximation): 학습 효율성을 유지하기 위해 저자들은 역전파를 위해 단일 단계 근사 ($u \approx v$) 를 사용합니다. 이는 완전한 암시적 미분에 필요한 비싼 선형 연산을 피합니다. 이로써 학습 메모리는 솔버 반복 횟수에 관계없이 일정하게 유지됩니다.
• 적응형 수렴 (Adaptive Convergence): 정제 단계 수는 고정되지 않고 수렴 허용 오차 $\epsilon$(예: $\| \Delta \tilde{y} \| < \epsilon$) 또는 최대 반복 예산에 의해 적응적으로 결정됩니다. 이를 통해 모델은 해가 안정화되면 정제를 중단할 수 있습니다.
• 지속적 주입 (Persistent Injection): 초기 제안 $\tilde{y}_0$는 각 정제 단계에서 (덧셈 또는 연결을 통해) 어트랙터 모듈에 지속적으로 주입되어, 고정점이 입력에 의존적으로 유지되고 제안과 무관한 상태로 붕괴되지 않도록 합니다.

주요 기여

1. 안정적이고 일정한 메모리 학습: 루프를 풀지 않고 평형 상태를 해결함으로써, 어트랙터 모델은 정제 단계 수에 관계없이 학습 중 일정한 메모리 사용량을 달성합니다. 이는 유효 깊이를 메모리 비용으로부터 분리합니다.
2. 평형 내부화 (Equilibrium Internalization): 학습 중에 관찰된 새로운 현상으로, 백본 모듈이 최종 평형 $\tilde{y}^*$에 이미 가까운 초기 제안 $\tilde{y}_0$를 생성하도록 학습합니다. 결과적으로 추론 시 반복적 솔버는 점점 더 불필요해집니다. 모델은 정제 과정을 초기 예측으로 "자기 증류 (self-distills)"합니다.
3. 이중 영역 성능: 이 아키텍처는 두 가지 뚜렷한 영역에서 강력한 성능을 보여줍니다:
   • 대규모 언어 모델링: 더 적은 학습 컴퓨팅 자원을 사용하면서도 퍼플렉시티와 하위 작업 정확도에서 표준 트랜스포머 및 안정적인 루프형 베이스라인 (Parcae 등) 을 능가합니다.
   • 초소형 모델의 어려운 추론: 매우 작은 파라미터 수 (27M) 와 제한된 데이터로 어려운 알고리즘 작업 (Sudoku-Extreme, Maze-Hard) 에서 최첨단 결과를 달성합니다. 이 영역에서는 최첨단 LLM 과 전문화된 순환 모델 모두 실패하거나 붕괴합니다.

실험 결과

대규모 언어 모델링

FineWeb-Edu 에서 140M, 370M, 770M 파라미터 규모로 평가:

• 파레토 개선 (Pareto Improvement): 파라미터가 일치하는 트랜스포머와 루프형 모델 Parcae 보다 낮은 퍼플렉시티와 더 높은 하위 작업 정확도를 달성하면서, 25–31% 적은 학습 FLOPs 를 필요로 합니다.
• 확장 효율성: 770M 어트랙터 모델은 두 배 많은 토큰으로 학습된 1.3B 표준 트랜스포머보다 성능이 뛰어납니다.
• 메모리 효율성: 루프 수가 증가함에 따라 피크 학습 메모리는 일정하게 유지되는 반면, Parcae 의 메모리는 선형적으로 증가합니다.

어려운 추론 작업

약 1,000 개의 학습 예제로 Sudoku-Extreme 과 Maze-Hard 를 평가:

• 초소형 모델의 우위: 27M 어트랙터 모델은 Sudoku-Extreme 에서 91.4%, Maze-Hard 에서 **93.1%**의 정확도를 달성합니다.
• 베이스라인의 실패: 이 영역에서 표준 트랜스포머, 최첨단 모델 (DeepSeek R1, Claude 3.7, o3-mini), 그리고 전문화된 순환 모델 (TRM) 은 완전히 실패 (0% 정확도) 하거나 규모가 커질 때 붕괴합니다.
• 확장 행동: 크기가 커질수록 성능이 저하되는 순환 추론기와 달리, 어트랙터 모델은 파라미터 수가 7M 에서 27M 로 증가함에 따라 성능이 향상됩니다.

평형 내부화

• 추론 효율성: 추론 시 백본의 초기 제안이 이미 고정점 근처에 있기 때문에, 모델은 종종 최대 성능에 도달하기 위해 0 또는 1 번의 솔버 반복 ($T=0$ 또는 $T=1$) 만 필요합니다.
• 수렴: 학습 중 필요한 솔버 반복 횟수는 급격히 최소값으로 떨어지는 반면, Deep Equilibrium Models(DEQs) 는 학습이 진행됨에 따라 반복 횟수가 종종 증가합니다.

중요성과 주장

이 논문은 어트랙터 모델이 순환을 모델이 내부화할 수 있는 계산으로 변환함으로써 반복적 정제를 확장 가능하게 만든다고 주장합니다. 출력 임베딩 공간에서 정제를 고정점 문제로 framing 하고 의미 있는 제안으로 초기화함으로써, 이 아키텍처는 기존 루프형 모델의 안정성 및 메모리 병목 현상을 극복합니다.

저자들은 이 접근법이 다음을 가능하게 한다고 강조합니다:

• 적응형 깊이 (Adaptive Depth): 계산은 고정된 하이퍼파라미터가 아닌 수렴 필요성에 따라 할당됩니다.
• 학습 효율성: 명시적인 풀기에 비해 일정한 메모리와 감소된 FLOPs.
• 강건성: "평형 내부화" 현상은 추론 중 순차적 계산 비용을 치르지 않으면서도 학습 중에 반복적 추론의 이점을 포착하도록 보장합니다.

이 연구는 순환이 반드시 단점이 될 필요는 없음을 시사합니다. 어트랙터 문제로 공식화될 때, 이는 파라미터 제약 영역에서도 언어 모델링과 복잡한 추론 모두를 위한 안정적이고 효율적인 메커니즘으로 작용할 수 있습니다.