기술 요약: 비전-언어 모델에서 결손 모달리티 간극 해소

문제 제기

비전-언어 모델 (VLM) 은 다중 모달 (이미지 - 텍스트) 데이터로 학습되었음에도 불구하고, 실제 세계 시나리오에서는 텍스트 전용 입력을 처리해야 하는 경우가 increasingly 증가하고 있습니다. 저자들은 이러한 환경에서 VLM 이 예측 정확도 저하뿐만 아니라, 더 중대하게는 **심각한 보정 불일치 (miscalibration)**를 겪는 치명적인 실패 모드를 식별했습니다.

실증적 분석에 따르면, 텍스트 전용 VLM 은 단순히 기반 언어 백본 (예: LLaVA 가 기본 Vicuna 와 유사하게 작동하는 것) 의 행동으로 '되돌아가는' 것이 아닙니다. 대신, 예측된 신뢰도 점수가 경험적 정확도의 급격한 하락에도 불구하고 높게 유지되는 체계적인 과신 (overconfidence) 을 보입니다. 이 현상은 결손된 시각적 콘텐츠가 고충실도 텍스트 설명으로 대체되더라도 지속되는데, 이는 문제가 단순히 의미 정보의 부족이 아니라 다중 모달 학습 분포와 텍스트 전용 추론 역동성 사이의 불일치로 인한 **인지적 단절 (cognitive rupture)**임을 시사합니다.

방법론: 잠재 상상 모듈 (LIM)

픽셀 단위 이미지 생성의 계산 비용을 들이지 않고 결손 모달리티 간극을 해결하기 위해, 저자들은 **잠재 상상 모듈 (Latent Imagination Module, LIM)**을 제안합니다.

핵심 아키텍처

LIM 은 텍스트 입력으로부터 직접 '상상된' 잠재 임베딩을 예측하도록 설계된 경량 교차 주의 (cross-attention) 모듈입니다. 이러한 임베딩은 결손된 시각 토큰을 대체하기 위해 동결된 VLM 백본에 주입됩니다.

• 입력: VLM 의 텍스트 계층에서 추출된 텍스트 임베딩 ($E_T$).
• 메커니즘: 모듈은 예상되는 시각 토큰 수에 해당하는 학습 가능한 잠재 쿼리 ($E_Q$) 세트를 초기화합니다. 이러한 쿼리는 텍스트 임베딩에 주의를 기울이는 교차 주의 레이어 스택을 통해 정제됩니다.
• 출력: VLM 의 비전 타워 (vision tower) 투영 레이어와 호환되는 합성 시각 특징 ($\hat{z}_V$).
• 추론: 합성된 특징은 결손된 이미지 대신 입력 시퀀스에 주입되어, 동결된 VLM 이 시각 신호가 존재하는 것처럼 추론을 진행할 수 있게 합니다.

최적화 전략

핵심 설계 선택 중 하나는 학습 목적 함수입니다. 예측된 임베딩과 실제 이미지 임베딩 간의 거리를 최소화하는 접근법 (텍스트 - 이미지 매핑의 1 대 다 특성으로 인해 '흐릿한' 평균을 초래할 수 있음) 과 달리, LIM 은 **작업 지향적 목적 함수 (task-oriented objective)**를 사용하여 엔드 - 투 - 엔드로 학습됩니다.

• 모듈은 텍스트와 상상된 특징을 기반으로 정답의 음의 로그 가능도를 최소화합니다: $-\log P(y | x_T, \hat{z}_V)$.
• 이는 모델이 픽셀 단위의 완벽한 재구성을 강제하는 대신, 결정 경계를 돕는 '충분한' 시각적 표현을 무엇이든 합성할 수 있게 합니다.
• VLM 백본은 동결된 상태로 유지되며, LIM 파라미터만 업데이트됩니다.

주요 기여

1. 결손 모달리티 간극의 식별: 저자들은 텍스트 전용 VLM 의 보정 불일치를 단순한 데이터 부족이 아니라, 모델이 언어 백본을 효과적으로 활용하지 못해 심각한 과신으로 이어지는 인지적 단절로 규정합니다.
2. 잠재 상상 모듈 (LIM): 교차 주의를 통해 텍스트로부터 작업 관련 잠재 임베딩을 추론하여 모달리티 간극을 해소하고, 비용이 많이 드는 픽셀 단위 생성을 피하는 새로운 아키텍처입니다.
3. 엔드 - 투 - 엔드 잠재 보정: 작업 지향적 잠재 완성 전략이 본질적으로 텍스트 전용인 작업과 이미지가 부분적으로 결손된 시나리오 모두에서 정확도와 보정성을 크게 향상시킨다는 것을 입증했습니다.

실험 결과

저자들은 LLaVA-1.5-7B 모델을 세 가지 실험 군에서 평가했습니다.

1. 도메인 내 텍스트 전용 보정

MMLU+ARC 텍스트 전용 스위트에서:

• 정확도: 기준선 (39.77%) 에서 **62.23%**로 향상되었습니다.
• 보정: 기대 보정 오차 (ECE) 가 0.4202 에서 0.0374로 급격히 감소했습니다.
• 비교: LIM 은 ECE 를 0.095 로 줄였으나 정확도를 향상시키지 못한 표준 사후 보정 방법인 온도 스케일링 (temperature scaling) 보다 성능이 우수했습니다.
• 효율성: LIM 은 유사한 VRAM 사용량을 유지하면서 확산 기반 이미지 재생성 (샘플당 2.52 초) 대비 추론 지연 시간을 12.26 배 단축했습니다 (샘플당 0.205 초).

2. 보지 못한 작업에 대한 일반화

LIM 은 추가 튜닝 없이 8 개의 보지 못한 텍스트 전용 벤치마크 (SST-2, COLA, LOGIQA, CommonSenseQA 등) 에서 테스트되었습니다.

• 결과: 모듈은 이질적인 NLP 작업 전반에서 보정성을 일관되게 향상시켰으며, 종종 정확도도 향상시켰습니다. 예를 들어, COLA 에서 정확도는 32.50% 에서 68.00% 로 증가했고, ECE 는 0.6119 에서 0.1047 로 감소했습니다.
• 시사점: LIM 은 학습 분포에 과적합되는 대신 결손 모달리티 간극에 대한 전이 가능한 보정을 학습합니다.

3. 쌍을 이룬 작업에서 결손 이미지에 대한 강건성

ScienceQA 데이터셋에서 이미지가 무작위로 제거된 시뮬레이션에서:

• 기준선: 제거율이 증가함에 따라 정확도는 하락하고 과신은 악화되었습니다.
• LIM: 강건성을 유지했습니다. 100% 제거율에서 LIM 은 전체 이미지 기준선과 비교 가능한 정확도 (56.77% 대 54.54%) 를 달성하면서 훨씬 더 나은 보정성 (ECE 0.0936 대 0.3054) 을 보였습니다.

제거 분석 (Ablation Studies)

통제 실험을 통해 개선 효과가 임의의 임베딩으로 결손 토큰 슬롯을 단순히 채우는 데서 기인하지 않음이 확인되었습니다. 영벡터, 공백 토큰, 무작위 노이즈, 빈 이미지와 같은 대체물은 성과를 재현하지 못했으며, 일부 경우에는 성능을 저하시켰습니다. 이는 혜택이 구조화된, 텍스트 조건부 잠재 완성에서 비롯됨을 검증합니다.

중요성과 주장

이 논문은 **잠재 모달리티 완성 (latent modality completion)**이 결손 모달리티 조건 하에서 신뢰할 수 있는 VLM 추론을 위한 실용적이고 원칙적인 접근법이라고 주장합니다.

• 신뢰성: 주요 기여는 신뢰도 예측을 안정화하는 것입니다. 잠재 상상을 통해 텍스트 전용 추론을 다중 모달 학습 분포에 정렬함으로써, LIM 은 현재 텍스트 전용 환경에서 VLM 을 괴롭히는 위험한 과신을 방지합니다.
• 아키텍처의 단순성: 별도의 LLM 으로 텍스트 쿼리를 라우팅하는 것 (시스템 복잡성과 잠재적 행동 불일치를 초래함) 과 달리, LIM 은 경량 모듈로 통합된 VLM 을 보강하여 단일 모델 아키텍처를 유지합니다.
• 효율성: 이 접근법은 생성적 증강 (확산) 에 대한 계산적으로 효율적인 대안을 제공하여 실시간 배포를 가능하게 합니다.

저자들은 텍스트 전용 환경에서 VLM 의 실패가 내부 표현의 체계적인 불일치이며, 잠재 상상을 통해 이 간극을 해소하는 것이 신뢰할 수 있는 다중 모달 시스템을 배포하는 데 필수적이라고 결론지었습니다.