Dual Filter: A Transformer-like Inference Architecture for Hidden Markov Models

이 논문은 **은닉 마르코프 모델 (HMM)**에서 생성된 관측치에 기반한 **인과적 비선형 예측 (Causal Nonlinear Prediction)**을 위한 수학적 프레임워크를 제시합니다. 저자들은 트랜스포머 (Transformer) 아키텍처의 '디코더-온리 (decoder-only)' 구조에서 영감을 받아, 다음 토큰의 조건부 확률을 계산하는 문제를 해결하는 새로운 알고리즘인 **듀얼 필터 (Dual Filter)**를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem Statement)

• 목표: HMM 은닉 상태 $X_t$와 관측치 (토큰) $Z_t$가 주어졌을 때, 다음 토큰 $Z_{T+1}$의 조건부 확률 $P(Z_{T+1}=z \mid Z_1, \dots, Z_T)$을 계산하는 것입니다.
• 배경: 기존 트랜스포머는 학습된 가중치를 통해 토큰 시퀀스를 매핑하지만, 이 논문은 **학습 (Learning) 이 아닌 추론 (Inference)**에 초점을 맞춥니다. 즉, HMM 의 파라미터 ($\mu, A, C$) 가 알려진 상황에서, 최적의 예측기를 수학적 원리 (First Principles) 에서 유도하는 것을 목표로 합니다.
• 핵심 아이디어: 선형 예측기 (Wiener Filter) 와 유사하게, 조건부 확률을 과거 관측치의 가중 합으로 표현하되, 가중치가 확률적 (랜덤) 이고 비선형인 형태를 찾습니다.

2. 방법론 (Methodology)

2.1 최적 제어 접근법 (Optimal Control Approach)

• 최소 평균 제곱 오차 (MMSE) 와의 연결: 조건부 기대값 계산 문제를 MMSE 최적화 문제로 재정의합니다.
• 이중성 원리 (Duality Principle): 비선형 필터링 (Nonlinear Filtering) 문제와 최적 제어 문제 (Optimal Control Problem, OCP) 사이의 이중성을 증명합니다.
  • 필터링의 오차를 최소화하는 문제는, 특정 동적 제약 조건 (Backward Stochastic Difference Equation, BS$\Delta$E) 하에서 비용 함수를 최소화하는 제어 입력 $U$를 찾는 문제로 변환됩니다.
• 고정점 방정식 (Fixed-Point Equation): 최적 제어 입력 $U$에 대한 명시적 공식을 유도하여, 조건부 측정 (Posterior Measure) $\pi_t$가 특정 고정점 방정식을 만족함을 보입니다.

2.2 듀얼 필터 알고리즘 (Dual Filter Algorithm)

• 레이어 변환 (Layer Transformation): 위에서 유도된 고정점 방정식을 기반으로, 확률 분포 공간 ($P(S)$) 상에서 작용하는 레이어 변환 $N^{(dfltr)}$을 정의합니다. 이는 트랜스포머의 레이어 구조와 구조적으로 유사합니다.
• 알고리즘 유형:
  1. 반복 알고리즘 (Iterative): 초기 추정치에서 시작하여 $N^{(dfltr)}$을 반복적으로 적용하여 고정점에 수렴시키는 방식 (트랜스포머의 레이어 구조와 유사).
  2. 싱글샷 알고리즘 (Single-shot): 단일 반복으로 수렴하는 더 효율적인 알고리즘. 각 시간 단계 $t$에 대해 과거의 결과를 활용하여 $t+1$ 단계의 결과를 계산합니다.
• 복잡도: 알고리즘의 계산 복잡도는 $O(d^2 T)$로, 어휘 크기 $m$에 독립적입니다. 이는 대규모 어휘를 가진 트랜스포머 모델에서도 확장성이 있음을 의미합니다.

3. 주요 기여 (Key Contributions)

1. 비선형 예측자의 새로운 표현식: 과거 관측치에 대한 인과적 비선형 예측자의 새로운 수학적 표현 (식 1) 을 제시했습니다. 이는 선형 예측기 (Wiener Filter) 의 비선형 일반화입니다.
2. HMM 을 위한 이중성 이론 (Duality Theory): 비선형 필터링과 최적 제어 사이의 이중성 원리를 최초로 HMM (이산 시간, 이산 관측치) 에 대해 증명했습니다. 이는 제어 이론의 오랜 난제를 해결한 것입니다.
3. 트랜스포머 아키텍처와의 구조적 유사성: 제안된 듀얼 필터 알고리즘이 디코더-온리 트랜스포머의 아키텍처 (입력 임베딩, 레이어 변환, 주의 메커니즘) 와 어떻게 대응되는지를 상세히 분석했습니다.
   • 트랜스포머의 '어텐션 (Attention)'이 비선형 예측자로서 어떻게 작용하는지 해석합니다.
4. 수치적 검증: 실제 트랜스포머 모델 (nanoGPT) 에서 사용하는 파라미터 ($d=384, m=65, T=256$) 를 모방한 HMM 설정에서 알고리즘의 성능을 검증했습니다.

4. 실험 결과 (Results)

• 정확도: 제안된 듀얼 필터 (단일샷 및 반복 알고리즘) 는 HMM 의 'Ground Truth'인 비선형 필터 (Forward Algorithm) 와 거의 동일한 예측 정확도를 보였습니다.
• 제어 입력의 해석: 최적 제어 입력 $U$는 시계열 데이터의 상관관계를 시각화합니다.
  • 상태 전이가 빠르게 혼합되는 경우 (혼란도가 높음) 는 최근 관측치만 중요하게 작용합니다.
  • 결정론적 동역학인 경우 초기 상태 불확실성만 해결하면 제어 입력이 0 이 됩니다.
  • 중간 정도의 상관관계 (트랜스포머와 유사한 행동) 는 긴 시간 범위에 걸쳐 제어 입력이 nonzero 로 유지됨을 보여줍니다.
• 트랜스포머와의 비교:
  • 예측이 어휘의 작은 부분집합에 집중되는 (Low-complexity) 경우, 학습된 nanoGPT 모델은 듀얼 필터와 유사한 성능을 보였습니다.
  • 그러나 예측 분포가 복잡하거나 어휘 전체에 퍼지는 경우, 학습된 트랜스포머는 성능이 떨어지는 경향을 보였습니다. 이는 학습 기반 모델이 모델 기반 최적 해법 (듀얼 필터) 에 비해 데이터의 특성에 민감할 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

• 이론적 기반: 트랜스포머가 왜 그리고 어떻게 작동하는지에 대한 수학적 이해를 제공합니다. 단순히 데이터에 맞춰 학습하는 것을 넘어, 확률적 추론의 최적 해법으로서의 구조를 규명했습니다.
• 학습과 추론의 연결: 이 프레임워크는 추론 (Inference) 문제를 먼저 해결함으로써, 향후 데이터에서 이러한 표현을 학습하는 방법 (RL, POMDP 등) 에 대한 기초를 마련합니다.
• 확장성: 어휘 크기에 무관한 효율적인 알고리즘을 제시하여, 대규모 언어 모델의 이론적 분석과 새로운 아키텍처 설계에 기여할 수 있습니다.

요약하자면, 이 논문은 최적 제어 이론을 활용하여 HMM 기반의 이상적인 비선형 예측기를 유도하고, 이를 트랜스포머 아키텍처와 연결함으로써 기계 학습 모델의 내부 작동 원리에 대한 깊은 통찰을 제공합니다.