기술 요약: 비대칭 상호 변분 학습을 통한 멀티모달 연속 추론

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 근본적인 **언어 공간 병목 현상(language-space bottleneck)**에 직면해 있습니다. 중간 추론 과정이 이산적인 자연어 토큰으로 제한될 때, 모델은 연속적이고 고차원적인 시각적 개념을 언어적 표현으로 변환해야 하는 압박을 받습니다. 이러한 이산화는 특히 미세한 공간적 추상화나 다단계 계획이 필요한 작업에서 인지적 뉘앙스의 손실, 추론 드리프트(reasoning drift), 그리고 환각(hallucination)을 유발합니다.

최 recent 연구들은 텍스트 대신 임베딩 공간에서 중간 단계를 수행하는 **연속 잠재 추론(continuous latent reasoning)**을 탐구해 왔으나, 기존 방법론들은 심각한 훈련-추론 불일치(train-inference mismatch) 문제를 겪고 있습니다.

• 훈련: 모델은 일반적으로 입력 $x$와 정답 $y$ 모두에 조건화된 타겟 인식 사후 확률 $q(Z|x, y)$를 사용합니다. 이를 통해 사후 확률은 참조 정답에 의존하여 잠재 상태를 구축함으로써 "정답 의존적 지름길(answer-dependent shortcuts)"을 활용할 수 있게 됩니다.
• 추론: 테스트 시에는 정답 $y$를 사용할 수 없습니다. 모델은 타겟 불가지론적 사전 확률 $p(Z|x)$에 의존해야 합니다.
• 불일치: 표준 변분 학습(ELBO를 통한)은 사전 확률이 사후 확률을 모방하도록 강제하기 위해 순방향 KL 발산을 사용합니다. 결과적으로 사전 확률은 정답으로부터 "유출된" 정보에 의해 형성된 잠재 상태를 근사하도록 학습됩니다. 추론 시, 사전 확률은 더 이상 보유하지 않은 정보에 의해 구조화된 잠재 공간을 탐색하려고 시도하게 되며, 이는 성능 저하로 이어집니다. 이러한 현상을 정답 유출(answer leakage) 또는 **사전 확률 오염(prior contamination)**이라고 합니다.

2. 방법론: 비대칭 상호 변분 학습 (AMVL)

저자들은 사전 확률과 사후 확률 사이의 **양방향 교정 목적 함수(bidirectional calibration objective)**를 통해 이 불일치를 해결하는 통합 프레임워크인 AMVL을 제안합니다. 대칭적인 동료 모델을 사용하는 일반적인 상호 학습과 달리, AMVL은 추론 시의 사전 확률(타겟 불가지론적)과 훈련 시의 사후 확률(타겟 인식적) 사이의 근본적인 비대칭성을 활용합니다.

핵심 메커니즘

AMVL은 표준 변분 목적 함수에 두 가지 보완적인 정규화 항을 도입합니다.

1. 순방향 사전 정렬 (Forward Prior Alignment, $L_{fwd}$):

   • 목적: $D_{KL}(sg[q_\phi(Z|x, y)] \parallel p_\theta(Z|x))$
   • 기능: 사후 확률에 스톱 그래디언트(stop-gradient)를 적용하여, 사전 확률 $p_\theta$가 사후 확률에 의해 추론된 잠재 상태를 일치시키도록 학습합니다. 이를 통해 사전 확률이 훈련 중에 발견된 유용한 추론 경로를 근사하도록 보장합니다.

2. 역방향 사후 정규화 (Reverse Posterior Regularization, $L_{rev}$):

   • 목적: $D_{KL}(sg[p_\theta(Z|x)] \parallel q_\phi(Z|x, y))$
   • 기능: 사전 확률에 스톱 그래디언트를 적용하여 사후 확률 $q_\phi$를 정규화합니다. 이 항은 사후 확률이 사전 확률의 밀도가 낮은 영역(즉, 추론 시 접근 불가능한 영역)으로 표류하는 것을 방지합니다. 이는 사후 확률이 "사후 정보(hindsight)"에 의존하는 좁은 정답 의존적 모드로 붕괴되는 것을 막아줍니다.

이론적 정당성

본 논문은 정답 유출을 사전 확률 오염으로 공식화하여 이론적 분석을 제공합니다.

• 표준 ELBO 학습 하에서, 사전 확률의 평균은 사후 확률으로부터 발생하는 평균적인 정답 의존적 편차($\bar{\delta}$)를 흡수하여 오염된 사전 확률을 생성합니다.
• 저자들은 AM-VL의 이중 KL 목적 함수가 이러한 오염을 줄인다는 것을 증명합니다(Proposition 2). 역방향 KL 항은 사후 확률이 사전 확률과 호환 가능한 영역에서 벗어나는 것을 억제하여, 외부의 잠재 감독 없이도 추론에 적합하도록 사전 확률을 교정합니다.

구현

AMVL은 최소한의 오버헤드로 표준 MLLM 아키텍처(특히 Qwen2.5-VL-7B) 내에 구현되었습니다.

• 잠재 통합: 프롬프트와 타겟 정답 사이에 $k$개의 플레이스홀더 토큰(<latent>)을 삽입합니다.
• 변분 헤드: 이 토큰들의 은닉 상태를 기반으로 대각 가우시안 분포의 평균과 로그 분산을 예측하는 경량 "LLM 네이티브" 헤드(SwiGLU 및 RMSNorm 사용)를 사용합니다.
• 디코딩: 훈련 중에는 사후 확률에서 샘플링된 값이 잠재 슬롯에 주입됩니다. 추론 중에는 사전 확률에서 샘플링된 값이 사용됩니다.
• 훈련 목적 함수: 차세대 토큰 예측(NTP), 순방향 KL, 역방향 KL을 결려한 복합 손실 함수를 사용하며, 훈련을 안정화하기 위해 특정 스케줄링 전략(순방향 KL을 먼저 웜업한 후 역방향 KL 도입)을 적용합니다.

3. 주요 기여

1. 핵심 장애물 식별: 본 논문은 변분 멀티모달 추론에서 정답 유출로 인한 훈련-추론 불일치가 효과적인 연속 잠재 추론의 중심 장벽임을 밝혀내어, 왜 표준 단방향 ELBO 학습이 실패하는지를 명확히 규명했습니다.
2. AMVL 프레임워크: 순방향 사전 정렬과 역방향 사후 정규화를 결합한 새로운 비대칭 상호 학습 프레임워크를 제안합니다. 이를 통해 수동으로 설계된 잠재 감독 신호(예: 재구성 타겟) 없이도 엔드투엔드 방식으로 연속적인 추론 공간을 발견할 수 있습니다.
3. 이론적 분석: 이중 KL 목적 함수가 정답 유출로 인한 사전 확률 오염을 감소시킨다는 점을 입증하는 공식적인 증명을 제공하여, 훈련-추론 불일치에 대한 원칙적인 해결책을 제시합니다.

4. 실험 결과

저자들은 미세한 인지, 복잡한 시각적 추론 및 분포 외(OOD) 강건성 벤치마크에서 AMVL을 평가했습니다.

• 벤치마크:
  • 미세 인지: V*, HRBench4K, HRBench8K.
  • 복잡한 추론: BLINK (객체 로컬라이제이션, 다중 뷰 추론, 시각적 유사성, 퍼즐 맞추기 등 포함).
  • OOD 강건성: VisualPuzzles.
• 베이스라인: 강력한 이산 추론 모델(Vision-R1, PAPO, PixelReasoner, DeepEyes) 및 연속 잠재 추론 베이스라인(LVR, Mull-Tokens, Monet)과 비교했습니다.
• 성능:
  • AMVL은 Qwen2.5-VL-7B 기반 모델 중 SOTA(최고 수준) 성능을 달야했습니다.
  • BLINK 벤치마크에서 AMVL은 베이스 모델 대비 평균 점수를 +10.83 포인트 향상시켰으며, Jigsaw 태스크에서는 최대 +32.00의 개별 태스크 상승을 기록했습니다.
  • V* 및 HRBench8K에서 AMVL은 베이스 모델 대비 유의미한 성능 향상(+7.85 및 +4.75)을 보였으며, 모든 이산 및 잠재 추론 베이스라인을 능가했습니다.
  • 절제 연구(Ablation Studies): 순방향 및 역방향 KL 항이 모두 필요함을 확인했습니다. 하나만 사용할 경우 최적의 성능을 내지 못했습니다. 또한 AMVL의 잠재 공간이 추론 시의 섭동(perturbation)에 강건하며 OOD 설정에서도 잘 일반화됨을 보여주었습니다.

5. 의의 및 주장

본 논문은 AMVL이 (언어 공간 병목 현상을 겪는) 이산 텍스트 기반 추론과 (훈련-추론 불일치를 겪는) 기존 잠재 추론 방식의 한계를 근본적으로 해결한다고 주장합니다.

• 원칙적인 접근법: 잠재 추론을 구조화된 확률적 추론 문제로 프레임화하고 양방향 교정을 사용함으로써, AMVL은 미리 지정된 감독 신호에 얽매이지 않고 최적의 추론 경로를 유기적으로 발견할 수 있게 합니다.
• 추론 호환성: 이 프레임워크는 연속적인 추론 표현이 훈련 중에 표현력이 높을 뿐만 아니라, 추론 시에도 잘 교정되고 안정적임을 보장하여, 테스트 시점에 존재하지 않는 "사후 정보"에 의존할 필요가 없도록 만듭니다.
• 일반화: 잠재 추론의 훈련-추론 호환성을 개선하는 것이 OOD 벤치마크인 VisualPuzzles에서의 우수한 성능에서 알 수 있듯이 더 강력한 일반화로 이어진다는 것을 결과가 시사합니다.

저자들은 AMVL이 이산적인 Chain-of-Thought 방식과 기존의 잠재 추론 방식 모두를 능가하는, 멀티모달 연속 추론을 위한 견고하고 자기 완결적인 메커니즘을 제공한다고 결론짓습니다.