기술 요약: RAMP – 아모티즈드 메시지 패싱에 의한 인식 파라미터화 (Recognition Parametrisation by Amortised Message Passing)

1. 문제 정의

비지도 학습은 관측치들 사이의 의존성을 설명할 수 있는 잠재 요인(latent factors)을 밝혀내는 것을 목표로 한다. 확률적 그래픽 모델(PGMs)은 불확실성과 비결정론적 연결을 수학적으로 표현함으로써 이 작업에 적합하다. 그러나 **표현력(expressivity)**과 추적 가능성(tractability) 사이에는 근본적인 트레이드오프가 존재한다.

• 추적 가능성: PGM에서의 정확한 추론(exact inference)은 일반적으로 정확한 신념 전파(belief propagation)를 허용하기 위해 제한적인 분포 선택(예: 선형-가우시안)을 요구한다.
• 표현력: 비선형적이고 복잡한 의존성은 필요한 적분을 계산 불가능하게(intractable) 만드는 경우가 많다. 기존의 근사 방법들(예: 변분 추론, 몬테카를로 방법)은 모델 크기에 따라 확장성이 떨어지거나, 딥러닝의 근사 능력과 확률적 일관성을 통합하는 통일된 프레임워크를 제공하지 못하는 경우가 많다.

핵심 과제는 잘 정의된 우도(likelihood)를 가진 원칙적인 확률적 프레임워크를 유지하면서, 복잡하고 고차원적인 데이터에 대해 유연하고 비선형적인 잠재 구조를 학습하는 방법을 개발하는 것이다.

2. 방법론: RAMP

저자들은 RAMP(Recognition Parametrisation by Amortised Message Passing)를 제안한다. 이는 유연하고 비선형적인 아모티즈드 메시지 패싱 프레임워크를 학습함으로써 잠재 구조를 암묵적으로 정의하는 방법이다. RAMP는 인식 파라미터화 모델(Recognition-Parametrised Model, RPM) 패러다임을 기반으로 하며, 이를 트리 구조의 그래픽 모델에 적응시킨 것이다.

2.1 핵심 개념

• 인식 파라미터화(Recognition-Parametrisation): 생성 과정 $p(x|z)$를 파라미터화하는 대신, RAMP는 관측치를 사후 믿음(posterior beliefs)으로 매핑하는 인식 인자(recognition factors) $f(z|x)$를 파라미터화한다. 결합 분포는 다음과 같이 구성된다:
  $$p(Z, X) = p(Z) \prod_p \frac{f_p(Z|x_p)}{F_p(Z)} p_{emp}(x_p)$$
  여기서 $F_p(Z)$는 모델이 적절히 정의되도록 보장하는 정규화 상수이다.
• 아모티즈드 메시지 패싱(Amortised Message Passing): 트리 구조의 표준 신념 전파(BP)에서는 적분을 통해 메시지를 계산한다. RAMP는 이러한 적분을 학습된 아모티즈드 변환으로 대체한다.
  • 잠재 노드 $z_k$와 그 이웃 $z_j$에 대하여, 믿음 업데이트는 적분이 아닌 함수 $G_{j \to k}$에 의해 정의된다:
    $$f^k_j(z_k | X^k_j) = G_{j \to k} \left( f^j_0(z_j) \prod_{l \in \partial j \setminus k} \frac{f^j_l(z_j | X^j_l)}{f^j_0(z_j)} \right)$$
  • 이를 통해 네트워크는 명시적인 생성 인자나 추적 가능한 적분을 거치지 않고, 믿음의 변환을 직접 학습할 수 있다.

2.2 모델 아키텍처

• 트리 구조: RAMP는 잠재 변수 $Z$와 관측 변수 $X$가 트리를 형성하는 무방향 트리 구조의 그래픽 모델에서 작동한다. 관측치는 리프 노드(leaf nodes)에 국한된다.
• 노드별 RPM (Nodewise RPMs): 모델은 각 잠재 변수 $z_k$에 대한 여러 "노드별" RPM을 동시에 최적화함으로써 학습된다. 각 노드별 모델은 $z_k$에 의해 유도되는 조건부 독립 분할을 준수한다.
• 결합 최적화: 목적 함수는 모든 노드별 모델에 대한 자유 에너지(변분 하한)의 합이다:
  $$F = \frac{1}{K} \sum_k F_k$$
  이 결합 최적화는 아모티즈드 메시지 패싱 네트워크가 단순히 국소적인 서브트리 의존성뿐만 아니라 전역적인 트리 구조와 조건부 독립성을 포착하도록 보장한다.
• 지수 가족 파라미터화 (Exponential Family Parametrisation): 학습 목적의 추적 가능성을 보장하기 위해, 믿음은 지수 가족(예: 가우시안)의 구성원으로 표현된다. 메시지 패싱은 신경망($g_{j \to k}$)을 통한 **자연 파라미터(natural parameters)**의 변환으로 구현된다. 여기서 분포의 곱은 자연 파라미터의 합에 대응한다.

2.3 이론적 보장

본 논문은 데이터가 특정 조건부 독립 가정(Assumption 1)을 만족하는 트리 구조의 잠재 모델과 호환될 경우, 다음과 같은 사항을 입증한다:

1. 각 노드별 자유 에너지는 최적값에 도달한다.
2. 학습된 믿음 $f^k_j$는 관측치에 대한 충분 통계량(sufficient statistics)이 되어, 진정한 잠재 구조를 효과적으로 회복한다.
3. 방법론은 잠재 변수 간의 올바른 조건부 독립 구조를 회복한다 (Lemma 2).

3. 주요 기여

1. 딥러닝과 PGM의 새로운 통합: RAMP는 단순한 사후 확률이나 생성 모델의 근사를 넘어, 신경망이 메시지 패싱 연산자 자체를 아모티즈(amortise)하도록 하는 통합된 접근 방식을 제공한다.
2. 비선형 모델에서의 우도 기반 학습: 많은 딥 잠재 변수 모델들이 느슨한 근사에 의존하는 변분 하한에 의존하는 것과 달리, RMP 프레임워크로부터 유도된 적절한 우도 함수를 유지하며 비선형 메시지 패싱에서도 작동한다.
3. 오설정(Misspecification)에 대한 강건성: RAMP는 구조적 오설정(가정된 트리 토폴로지가 약간 변형되어도 올바른 잠재 변수를 학습함)과 분포적 오설정(비가우시안인 비선형 데이터 생성 프로세스를 처리함)에 대한 강건성을 보여준다.
4. 양방향 의미론 (Bidirectional Semantics): 시계열 응용 분야에서 RAMP는 확률적 의미론을 가진 양방향 추론(forward-backward)을 자연스럽게 구현하며, 표준 대조 학습(contrastive methods) 및 구조적 VAE보다 동적 상태(dynamical states)를 더 잘 회복한다.

4. 실험 결과

저자들은 세 가지 뚜렷한 작업에 대해 RAMP를 평가하였다:

• 계층적 선형/비선형 트리:

  • 선형-가우시안: RAMP는 정확한 추론과 일치하는 높은 충실도로 정확한 해를 회복했다.
  • 구조적 오설정: 변형된 트리 구조에서 학습되었을 때, RAMP는 로컬 분할이 올로 유지되는 노드들에 대해 실제 잠재 변수와 높은 상관관계를 유지했다. 이는 학습 신호가 조건부 독립 구조에 국한됨을 보여준다.
  • 비선형 데이터: 비선형 변환으로 생성된 데이터에 대해, RAMP는 블랙박스 변분 추론(BBVI) 및 지도 학습 기반 가우시안 근사보다 뛰어난 성능을 보이며, 실제 사후 확률이 비가우시안임에도 불구하고 잠재 변수의 표현을 성공적으로 학습했다.

• 비선형 동적 시스템 (진자, Pendulum):

  • 흔들리는 진자의 이미지를 학습하여, RAMP는 2D 잠재 공간 내에서 2D 위상 공간(각도 및 각속도)을 성공적으로 추론했다.
  • 이는 대조 예측 코딩(CPC) 및 구조적 VAE(SVAE)를 능가한 결과로, SVAE는 단일 프레임에서 직접 관찰되지 않는 상태 변수인 각속도를 실제 차원 제약 하에서 안정적으로 회복하는 데 실패했다.

• 포즈 추정 (Pose Estimation):

  • Leeds Sports Pose (LSP) 데이터셋에 적용하여, RAMP는 전역 위치 정보 없이 로컬 이미지 패치로부터 신체 관절 구성을 추론했다.
  • 추론된 잠재 변수는 관절을 연결하는 사지의 방향을 인코딩했다. 모델은 포즈 스케치를 성공적으로 재구성했으며, 학습된 트리 구조의 사전 확률을 활용하여 가려진 관절(예: 발목이 보이지 않는 경우) 문제를 해결했다.

5. 의의 및 주장

본 논문은 RMP가 적응형 신경망 구성 요소를 일관된 확률적 프레임워크로 통합하는 중요한 단계라고 주장한다. 그 의의는 다음과 같다:

• 식별 가능성 (Identifiability): 트리 그래프의 조건부 독립 구조를 활용함으로써, RAMP는 잠재 변수가 관측치가 유도하는 특정 분할에 기반하여 발견될 수 있음을 보장한다.
• 일관성 (Coherence): 내부 표현이 확률적 해석을 결여하는 일반적인 딥러닝 접근 방식과 달리, RAMP의 추론 절차는 모델을 직접 정의하므로 학습된 표현이 잘 정의된 우도와 확률적 의미론을 갖도록 보장한다.
• 확장성 및 유연성: 메시지 패싱을 아모티즈함으로써, RAMP는 정확한 추론이 불가능한 복잡하고 고차원적인 데이터 및 비선형 의존성으로 확장 가능하면서도, 구조화되지 않은 변분 근사의 함정을 피한다.

저자들은 현재의 연구가 식별성과 추론 일관성을 보장하기 위해 트리 구조 모델에 집중하고 있지만, 루프가 있는(loopy) 그래프에서의 신념 전파가 보여준 경험적 성공을 고려할 때, RAMP를 루프 구조로 확장하는 것이 유망한 향후 연구 방향임을 언급하였다.