[기술 요약] 미분 가능한 필터링을 이용한 은닉 마르코프 모델(HMM) 학습

1. 문제 정의 (Problem Statement)

은닉 마르코프 모델(HMM)은 시퀀스 데이터의 잠재적 구조를 모델링하는 데 필수적인 도구이지만, 관측 데이터로부터 모델의 파라미터($\mu, A, C$)를 정확하게 학습하는 것은 여전히 어려운 과제입니다. 기존의 방법론들은 다음과 같은 한계를 가집니다:

• Baum-Welch (EM 알고리즘): 반복적인 최적화를 수행하지만, 초기값에 매우 민감하며 국소 최적해(Local Optima)에 빠지기 쉽습니다.
• Spectral Algorithms (스펙트럴 알고리즘): 계산 효율적이고 이론적 보장이 있지만, 잠재 상태의 차원이 관측 차원보다 큰 Overcomplete 상황에서 랭크 결핍(Rank deficiency) 문제로 실패하며, 출력값이 유효한 확률 범위를 벗어나는 경우가 발생합니다.
• Transformer/RNN 기반 모델: 예측 성능은 매우 뛰어나지만, 파라미터가 블랙박스 형태이므로 모델의 생성 구조를 해석할 수 없다는 단점이 있습니다.

2. 제안 방법론: Belief Net (Methodology)

본 논문은 HMM의 수학적 구조를 유지하면서도 딥러닝의 최적화 기법을 결합한 Belief Net 프레임워크를 제안합니다.

핵심 아이디어: 구조화된 신경망 (Structured Neural Network)

Belief Net은 HMM의 순방향 필터(Forward Filter) 과정을 하나의 계산 그래프(Computational Graph)로 공식화합니다. 즉, HMM의 재귀적 업데이트 식을 신경망의 레이어처럼 구성하여 미분 가능한 형태로 만듭니다.

• 파라미터화 (Parameterization): 학습 가능한 가중치($\tilde{\theta}$)를 직접 HMM의 파라미터인 초기 분포($\mu$), 전이 행렬($A$), 방출 행렬($C$)의 Logits로 설정합니다. 이후 Softmax 함수를 통해 유효한 확률 분포로 변환합니다.
• 아키텍처: 현대적인 디코더 전용(Decoder-only) 언어 모델과 유사한 구조를 가집니다. 관측 시퀀스를 입력받아 '신념 상태(Belief State, $\mu_t$)'를 재귀적으로 업데이트하며, 다음 관측값의 확률 분포($p_{t+1}$)를 예측합니다.
• 학습 방식: 표준적인 자기회귀적 다음 관측 예측 손실(Autoregressive Next-observation Prediction Loss), 즉 Cross-entropy 손실 함수를 사용하여 확률적 경사 하강법(SGD/AdamW)으로 엔드투엔드(End-to-End) 학습을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 해석 가능한 딥러닝 구조: Transformer의 학습 메커니즘을 차용하면서도, 학습된 가중치가 HMM의 파라미터와 직접 대응되므로 모델의 동작을 완벽하게 해석할 수 있습니다.
2. 미분 가능한 필터링 프레임워크: HMM의 재귀적 필터링 과정을 미분 가능한 연산으로 구현하여, 복잡한 EM 알고리즘 대신 효율적인 경사 하강법을 사용할 수 있게 했습니다.
3. Overcomplete 설정 해결: 기존 스펙트럴 알고리즘이 실패하는 고차원 잠재 상태(Overcomplete) 환경에서도 성공적으로 파라미터를 복구할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

실험은 합성 데이터(Synthetic Data)와 실제 텍스트 데이터(Federalist Papers) 두 가지 환경에서 진행되었습니다.

합성 데이터 실험

• 예측 정확도: Belief Net은 Baum-Welch보다 빠른 수렴 속도를 보였으며, 특히 스펙트럴 알고리즘이 실패하는 Overcomplete 설정에서도 안정적인 성능을 보였습니다.
• 파라미터 복구: 잠재 상태 차원($\hat{d}$)을 추정할 때, 실제 차원($d$) 이상일 때 손실 함수가 최소화되는 양상을 보여 모델 선택(Model Selection) 능력을 입증했습니다. 또한 전이 행렬의 고유값(Eigenvalue)과 방출 행렬의 구조를 정확하게 복구했습니다.

실제 텍스트 데이터 실험 (Character-level LM)

• 성능: Transformer(nanoGPT)만큼의 성능에는 미치지 못하지만, 기존의 고전적 HMM 방법론(Baum-Welch, Spectral)보다는 훨씬 뛰어난 예측 성능(Perplexity)을 기록했습니다.
• 해석력: 학습된 방출 행렬($C$)을 시각화했을 때, 특정 상태가 숫자, 대문자, 소문자를 구분하여 생성하는 등 언어의 통계적 특성을 반영하는 의미 있는 구조를 학습했음을 확인했습니다.

5. 의의 및 결론 (Significance)

본 연구는 시스템 식별(System Identification) 문제와 신경망 표현 학습(Neural Representation Learning) 사이의 간극을 메웠습니다. Belief Net은 HMM의 강력한 해석 가능성과 딥러닝의 강력한 최적화 능력을 결합함으로써, 시퀀스 모델링 분야에서 고전적 확률 모델이 현대적 딥러닝 기법을 통해 어떻게 진화할 수 있는지를 보여주었습니다. 이는 향후 POMDP(부분 관측 마르코프 결정 과정)나 비마르코프적(Non-Markovian) 모델로의 확장 가능성을 제시합니다.