기술 요약: 오류 제어 역학을 통한 순환 모델의 상태 추적 재고

문제 제기

순환 아키텍처의 상태 추적에 대한 지배적인 이론적 프레임워크는 거의 독점적으로 **표현력 (expressivity)**에 초점을 맞춰 왔습니다. 즉, 고정된 아키텍처가 이론적으로 일련의 기호 전이 규칙을 실현할 수 있는지 여부를 결정하는 데 중점을 두었습니다. 최근 연구들은 다양한 모델 (예: 상태 - 공간 모델, 선형 어텐션) 이 특정 기호 전이를 표현할 수 있는 이론적 능력을 확립했지만, 실증적 결과는 이론적 표현력과 실제 강건성 사이에 상당한 격차가 있음을 보여줍니다. 모델들은 이론적으로 그렇게 할 수 있는 능력을 갖추고 있음에도 불구하고, 길이 외삽 (length extrapolation) 이나 반복적 롤아웃 하에서 상태를 안정적으로 추적하지 못하는 경우가 많습니다.

본 논문은 오류 제어 (error control)—즉, 기호 상태를 구별하는 방향을 따라 숨겨진 상태의 드리프트를 지배하는 역학—가 동등하게 중요하면서도 간과된 분석 축이라고 주장합니다. 핵심 문제는 이론적 표현력이 숨겨진 상태를 잘못된 기호 표현 쪽으로 밀어붙이는 누적 오류를 수정할 수 있는 능력을 보장하지 않는다는 점입니다.

방법론

이론적 프레임워크

저자들은 재귀적 레이어로 정의된 순환 모델의 분류법을 사용하여 상태 추적을 형식화합니다:
$$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$$
그들은 상태 야코비안 (state Jacobian) 을 기반으로 모델을 두 가지 주요 클래스로 분류합니다:

1. 아핀 모델 (Affine Models): 상태 전이가 $h_{t-1}$에 대해 아핀입니다 (즉, 야코비안 $\partial h_t / \partial h_{t-1}$은 $h_{t-1}$에 의존하지 않음). 이 클래스에는 Mamba, AUSSM, 선형 RNN 과 같은 상태 - 공간 모델 (SSM) 이 포함됩니다.
2. 상태 의존 모델 (State-Dependent Models): 전이가 현재 상태에 비선형적으로 의존합니다 (예: 게이트된 RNN, tanh RNN).

저자들은 서로 다른 기호 상태의 숨겨진 상태 표현 간의 차이로 생성된 기호 부분공간 (symbolic subspace) $U$를 도입합니다 ($U := \text{span}\{c_g - c_{g'}\}$). 그들은 기호 작용이 항등식인 상태 보존 시퀀스 (state-preserving sequence) 에 대해 정확한 아핀 반환 맵 (return map) 은 $U$에서 항등식으로 작용해야 함을 증명합니다. 결과적으로 아핀 모델은 $U$를 따라 오류를 수축시킬 수 없습니다. 그들은 상태 표현을 정확하게 보존하지만, 교란된 상태를 올바른 중심점으로 되돌려놓는 메커니즘을 제공하지 않습니다.

분석적 지표

아핀 추적기의 실패를 정량화하기 위해 저자들은 구별 가능성 비율 (distinguishability ratio) $q(t)$를 정의합니다:
$$q(t) = \frac{R(t)}{M(t)}$$
여기서:

• $R(t)$는 클래스 내 확산 (클래스 중심점 주변의 숨겨진 상태의 분산) 입니다.
• $M(t)$는 클래스 간 분리 (클래스 중심점 간의 최소 거리) 입니다.
• $q(t)$는 마진 (margin) 에 대한 확산을 측정합니다.

그들은 $q(t)$가 임계값 $\tau$ (최근접 중심점 디코더의 경우 구체적으로 $0.5$) 아래에 유지되는 동안만 추적이 "가독성 (readable)"이 있음을 확립합니다.

실험 설정

저자들은 그룹 원소의 실행곱 (running product) 을 유지해야 하는 그룹 상태 추적 작업에 다양한 순환 아키텍처를 평가합니다:

• 작업: 패리티 ($C_2$), 순환 그룹 ($C_6$), 대칭 그룹 ($S_3$). $S_3$는 비가환 (non-Abelian) 이므로 순서 민감성 합성이 불가피합니다.
• 모델: Mamba, Mamba-3, AUSSM, Negative Mamba, 선형 RNN, 토큰 게이트된 RNN, tanh RNN, 상태 게이트된 RNN 등 다양한 세트.
• 프로토콜: 모델들은 길이 60 까지 커리큘럼 학습으로 훈련되고 길이 1000 까지 외삽을 위해 평가됩니다. 또한 오류 복구 역학을 측정하기 위해 교란 주입 실험을 수행합니다.

주요 기여

1. 아핀 중립성에 대한 이론적 증명

본 논문은 정리 1을 증명합니다: 아핀 순환 네트워크가 기호 상태를 정확하게 보존한다면, 그 반환 맵은 기호 부분공간 $U$에서 항등식으로 작용합니다. 이는 아핀 모델이 기호 상태를 분리하는 방향을 따라 오류를 선택적으로 수축시킬 수 없음을 의미합니다. 일단 상태 보존 아핀 맵이 고정되면, 드리프트를 수정할 수 있는 "자유도"가 더 이상 존재하지 않습니다.

2. 유한 시간 범위 실패의 특성화

저자들은 아핀 모델이 오류를 수정할 수는 없지만, 누적 오류에 의해 지배되는 유한 시간 범위 (finite horizon) 동안 추적을 유지할 수 있음을 보여줍니다.

• **계 1 (Corollary 1)**은 근사적 아핀 추적기의 경우 $U$를 따라 오류가 시간에 따라 선형적으로 누적됨을 보여줍니다 ($e_U(t) \approx e_U(0) + t\bar{\eta}$).
• 추적은 구별 가능성 비율 $q(t)$가 가독성 임계값을 넘을 때 붕괴됩니다. 이 교차 시간 $T_{cross}$는 모델의 최대 통과 길이 ($mp$) 를 정량적으로 예측합니다.
• 두 가지 실패 모드가 식별됩니다: 포화 (Saturation)(여기서 $q(t)$가 임계값보다 높게 시작함) 와 상승 (Climb)(여기서 $q(t)$가 교차할 때까지 선형적으로 성장함).

3. 오류 제어 역학에 대한 실증적 검증

광범위한 실험을 통해 본 논문은 이분법을 확립합니다:

• 상태 의존 모델 (예: tanh RNN, 상태 게이트된 RNN) 은 조건부 오류 수축을 나타냅니다. 그들은 $U$를 따라 교란을 선택적으로 축소하여 $q(t) < 0.5$를 무한히 유지하고 최대 테스트 길이 (1000) 까지 강건한 추적을 달성합니다.
• 아핀 모델은 이러한 선택적 수축이 결여되어 있습니다. 그들은 즉시 실패 (포화) 하거나 누적된 클래스 내 확산이 분리 마진을 침식함에 따라 예측 가능한 시간 범위 후 (상승) 에 실패합니다.

4. 부분공간 분해

클래스 내 확산을 기호 부분공간에 평행한 ($U$) 성분과 수직인 ($U^\perp$) 성분으로 분해함으로써, 저자들은 아핀 모델의 실패가 구체적으로 $U$ 내부의 확산 성장에 의해 주도됨을 보여줍니다. 상태 의존 모델은 $U$에서의 확산을 성공적으로 억제하여 기호 구별에 영향을 미치지 않는 수직 부분공간에 오류를 유지합니다.

결과

• 강건성 격차: 상태 의존 모델은 모든 작업 ($C_2, C_6, S_3$) 에서 길이 1000 까지 기호 상태를 일관되게 추적합니다. 반면, 아핀 모델은 다양한 정도의 불안정성을 보입니다. 예를 들어, Mamba 와 Mamba-3 은 짧은 길이에서도 $S_3$에서 실패하는 반면, Negative Mamba 와 토큰 게이트된 RNN 은 $C_2$와 $S_3$에서 확장된 시간 범위를 보이지만 결국 붕괴합니다.
• 예측 능력: 구별 가능성 비율 $q(t)$가 가독성 임계값을 교차하는 시점 ($T_{cross}$) 은 113 개의 훈련된 모델에 걸쳐 다운스트림 최대 통과 길이 ($mp$) 와 강력하게 상관관계 ($r \approx 0.87$) 가 있습니다.
• 비선형성의 중요성: 강건한 추적 능력은 활성화 함수의 야코비안이 상태 의존적인지에 달려 있습니다. 점별 비선형성 (tanh, ReLU) 과 쌍 연산자 (max/min, GroupSort) 는 강건한 추적을 가능하게 하는 반면, 전체 벡터 정규화 (LayerNorm, 구면 투영) 는 실패하며 기호 부분공간에서 사실상 아핀 맵처럼 행동합니다.
• $C_2$ 엣지 케이스: 본 논문은 일부 아핀 모델이 오류를 수정하기 때문이 아니라 이진 마진이 "중립적 진동" (오류가 부호를 바꾸지만 마진 내에 머무는 현상) 을 견딜 만큼 충분히 크기 때문에 패리티 작업 ($C_2$) 에서 성공한다고 지적합니다. 이 허용 범위는 그룹 차수가 증가함에 따라 축소되어 아핀 모델이 $C_6$와 $S_3$에서 실패하는 이유를 설명합니다.

중요성과 주장

본 논문은 순환 상태 추적을 표현력의 이론에서 오류 제어의 이론으로 패러다임을 전환한다고 주장합니다.

• 이론적 한계: 저자들은 강건한 상태 추적이 아키텍처의 기호 규칙 표현 능력 (표현력) 에만 의해 결정되는 것이 아니라, 오류 역학을 제어할 수 있는 능력에 결정적으로 의존한다고 주장합니다. 아핀 모델은 상태 표현을 보존하는 것이 오류 수정이 필요한 바로 그 방향에서 중립적이게 강제하기 때문에 근본적으로 제한됩니다.
• 실용적 함의: 아핀 모델 (SSM 등) 의 길이 외삽 실패는 훈련 부족이 아니라 구조적 한계입니다. 그들은 강건한 무한 시간 범위 상태 추적이 아니라 누적 오류에 의해 지배되는 "유한 시간 범위 솔루션"을 학습합니다.
• 설계 지침: 강건한 추적을 달성하기 위해 아키텍처는 야코비안이 기호 부분공간을 따라 오류를 수축할 수 있게 하는 상태 의존 전이를 포함해야 합니다. 본 논문은 비선형성의 구체적인 형태가 기호 방향의 상태 의존 변조를 가능하게 하는지 여부에 비해 덜 중요하다고 제안합니다.

저자들은 아핀 모델이 도메인 내 작업이나 짧은 시간 범위에는 충분할 수 있지만, 상태 의존 오류 수정 메커니즘 없이는 복잡한 기호 추론에 필요한 강건하고 긴 시간 범위의 상태 추적을 구조적으로 수행할 수 없다고 결론 내립니다.