1. 연구 배경 및 문제 정의 (Problem)

• 과신과 환각 (Overconfidence & Hallucination): 최근 시각 - 언어 모델 (VLM) 은 VQA 벤치마크에서 인간 수준의 성능을 달성했으나, 여전히 자신의 지식에 대한 불확실성을 제대로 인식하지 못합니다. 모델은 틀린 답변을 할 때도 높은 확신 (Confidence) 을 보이는 과신 현상이나, 사실과 다른 답변을 생성하는 환각 현상이 빈번합니다.
• 안전-중요 분야 (Safety-Critical Domains) 의 한계: 의료 진단이나 시각 장애인 보조와 같은 안전이 중요한 분야에서는 모델이 "모른다 (Abstain)"고 말할 수 있어야 합니다. 하지만 기존 모델은 틀린 답변을 할지라도 답변을 강행하는 경향이 있어 실제 적용에 위험합니다.
• 기존 방법의 한계:
  • 선택적 예측 (Selective Prediction): 모델이 불확실할 때 답변을 유보하는 프레임워크가 존재하지만, 기존 접근법은 추가적인 헤더 (Head) 나 외부 도구를 필요로 하여 오버헤드가 크거나, 베이스 모델의 신뢰성 자체를 개선하지 못합니다.
  • 기존 베이지안 방법: 대규모 트랜스포머 아키텍처에 적용하기에는 계산 비용이 너무 높거나 효과가 입증되지 않았습니다.

2. 제안 방법론 (Methodology)

저자들은 **변분 VQA (Variational VQA, VarVQA)**라는 새로운 프레임워크를 제안했습니다. 이는 대규모 VLM 을 훈련할 때 표준 최적화 알고리즘인 AdamW 대신 Improved Variational Online Newton (IVON) 최적화기를 사용합니다.

• 핵심 기술: IVON (Improved Variational Online Newton)
  • IVON 은 가중치에 대한 사후 분포 (Posterior Distribution) 를 학습하며, 단순히 가중치 값 (Mean) 만 업데이트하는 것이 아니라 **가중치의 분산 (Variance)**까지 함께 추정합니다.
  • 이는 AdamW 와 유사한 계산 비용으로 수행되지만, 모델의 불확실성을 정량화할 수 있는 분산 정보를 제공합니다.
• 추론 (Inference) 전략:
  • VarVQA Mean: 분산을 무시하고 평균 가중치만 사용하여 추론 (AdamW 와 동일한 계산 비용).
  • VarVQA Sampling: 학습된 사후 분포에서 여러 샘플 (MC Sampling) 을 추출하여 예측을 집계합니다. 이를 통해 더 정확한 불확실성 추정이 가능합니다.
• 새로운 리스크 회피 선택기 (Risk-Averse Selector, $g_{BPA}$):
  • 기존 예측 평균 (Predictive Averaging) 은 단순히 샘플들의 평균 확률을 사용하지만, 저자들은 **예측의 분산 (Variance)**을 고려한 새로운 선택 함수를 제안했습니다.
  • 공식: $g_{BPA}(x) = \bar{\mu}_{\kappa}(x) - \bar{\sigma}_{\kappa}(x)$
  • 이 방법은 높은 분산 (불확실성) 을 가진 예측에 페널티를 부여하여, 모델이 "모른다"고 판단할 때 더 보수적이고 안전한 결정을 내리게 합니다. 이는 베이즈 신뢰 구간 (Bayesian Credible Intervals) 의 개념을 차용한 것입니다.

3. 주요 기여 (Key Contributions)

1. 대규모 멀티모달 모델에 대한 변분 학습의 유효성 입증: IVON 최적화기를 사용하여 대규모 트랜스포머 기반 VLM (ViLT, BEiT-3) 을 성공적으로 훈련시켰으며, 이는 멀티모달 분야에서 변분 베이지안 학습이 선택적 예측에 효과적임을 처음 보여줍니다.
2. 향상된 불확실성 추정:
   • 보정 (Calibration): 기대 보정 오차 (ECE) 가 크게 감소하여 모델의 확신도가 실제 정확도와 더 잘 일치합니다.
   • 선택적 예측: 특히 낮은 오류 허용도 (Low Error Tolerance, 예: 1% 이하) 환경에서 기존 방법 (AdamW, MC Dropout) 대비 압도적인 성능 향상을 보입니다.
3. 샘플 효율성 (Sample Efficiency): MC Dropout 과 동일한 추론 비용 (샘플 수) 으로 VarVQA 가 더 나은 신뢰성을 제공합니다.
4. 새로운 리스크 회피 선택기: 출력 분산을 활용한 새로운 선택 함수 ($g_{BPA}$) 를 제안하여, 오류 비용이 높은 고위험 (High-Stakes) 시나리오에서 선택적 예측 성능을 일관되게 개선했습니다.

4. 실험 결과 (Results)

• 데이터셋: VQAv2 (VQA), AdVQA (적대적/OOD 데이터), NLVR2 (시각적 추론).
• 모델: ViLT, BEiT-3 (Base, Large).
• 주요 성과:
  • 정확도: VarVQA 는 AdamW 와 유사하거나 더 높은 정확도를 유지합니다.
  • 보정 (Calibration): VarVQA 는 ECE 가 낮아 모델이 틀릴 때 확신을 덜 갖는 경향이 있습니다. (예: BEiT-3 Large 에서 ECE 0.039 $\to$ 0.018).
  • 선택적 예측 (Selective Prediction):
    • C@1% (오류율 1% 이내일 때의 커버리지): VarVQA 는 AdamW 대비 VQAv2 에서 79%, NLVR2 에서 914% 향상되었습니다.
    • 고위험 시나리오: 오류 200 개 중 1 개만 허용하는 극도로 엄격한 조건에서 VarVQA 가 가장 큰 이점을 보였습니다.
  • OOD (Out-of-Distribution) 강건성: AdVQA 와 같은 분포 외 데이터가 혼합된 환경에서도 VarVQA 는 AdamW 보다 더 잘 보정되어 있으며, 신뢰성 있는 선택적 예측을 유지합니다.
  • MC Dropout 대비 우위: 동일한 추론 비용 (64 샘플) 으로 MC Dropout 보다 더 나은 선택적 예측 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: VarVQA 는 추가적인 모델 구성 요소나 별도의 훈련 단계를 거치지 않고, 모델 자체의 신뢰성을 "설계 단계 (Baked-in)"에서 개선합니다. 이는 의료, 자율주행 등 오류가 치명적인 분야에서 VLM 의 안전한 배포를 가능하게 합니다.
• 비용 효율성: 기존 베이지안 방법론의 높은 계산 비용을 극복하고, AdamW 와 유사한 훈련 비용으로 불확실성 추정이 가능한 모델을 제공합니다.
• 미래 방향: 추론 시 샘플링의 계산 부하를 줄이기 위해 분산 전파 (Variance Propagation) 를 통한 단일 패스 추론이나, 더 표현력 있는 사후 분포 (Full Covariance) 연구로 이어질 수 있음을 시사합니다.

요약하자면, 이 논문은 대규모 VLM 이 "자신이 무엇을 모르는지"를 알 수 있도록 하여, 오류가 허용되지 않는 환경에서도 신뢰할 수 있는 AI 시스템을 구축할 수 있는 변분 베이지안 학습의 강력한 가능성을 입증했습니다.