1. 문제 정의 (Problem Statement)

최근 비전 - 언어 모델 (VLM) 의 다양성과 성능이 급격히 증가하고 있으나, 단일 모델은 여전히 다음과 같은 한계를 가집니다:

• 비전 인식 실패: 이미지를 정확하게 추출하지 못하거나 객체를 잘못 식별하는 경우.
• 추론 부족: 시각 정보를 추출하더라도 질문과 연결하여 심층적인 추론을 하지 못하는 경우.
• 할루시네이션 (Hallucination): 모델이 보지 못한 객체를 생성하거나 알지 못하는 질문에 답변하는 등 불확실한 출력을 생성하는 문제.

기존의 앙상블 (Ensemble) 방법들은 주로 텍스트 기반의 투표 (Majority Voting) 나 외부 LLM 을 활용한 논쟁 (Debate) 방식에 의존하며, 시각 (Vision) 모달리티의 다양성을 고려하지 못하거나, 계산 비용이 매우 높고 프롬프트에 의존적인 문제가 있었습니다. 또한, 다양한 VLM 들의 조합 중 최적의 서브셋을 선택하는 과정이 지수적으로 증가하여 비효율적입니다.

2. 제안 방법론 (Methodology: V3Fusion)

저자들은 V3Fusion이라는 새로운 프레임워크를 제안하며, 이는 시각 및 언어 모달리티의 다양성을 최적화한 VLM 앙상블 방법입니다. 주요 구성 요소는 다음과 같습니다.

2.1. 시각적 이해 다양성 측정 (Visual-Understanding-Diversity)

• Focal-CKA (Focal Central Kernel Alignment): 각 VLM 의 시각 인코더 (Visual Encoder) 에서 추출된 임베딩 간의 유사성을 측정하기 위해 CKA 를 적용합니다.
• 핵심 아이디어: 단순히 모델 간의 유사성을 보는 것이 아니라, 특정 모델 (Focal Model) 을 기준으로 다른 모델들과의 시각적 불일치 (Disagreement) 를 측정합니다.
• 오류 기반 측정: 모델이 틀린 경우 (Negative Episodes) 에만 초점을 맞춰 Focal-CKA 를 계산함으로써, 모델들이 서로 다른 실수를 하는지 (Complementary Error Diversity) 를 정량화합니다.

2.2. Focal Diversity 및 앙상블 가지치기 (Ensemble Pruning)

• Focal Diversity Metric: 앙상블 내 구성 모델들의 오류 다양성 (Error Diversity) 을 정량화하는 지표입니다.
• 유전 알고리즘 (Genetic Algorithm, GA) 기반 최적화: $N$개의 후보 모델에서 최적의 서브셋을 찾는 조합의 수가 지수적으로 증가하는 문제를 해결하기 위해 GA 를 적용합니다.
• 목적: 성능을 저하시키지 않으면서도 불필요한 모델을 제거하여 계산 비용을 줄이고, 시각적 이해와 오류 패턴이 서로 다른 모델들의 최적 조합을 찾습니다.

2.3. 출력 융합 전략 (Output Fusion)

작업 유형에 따라 두 가지 다른 융합 모델을 사용합니다:

• V3Fusion-MLP (다중 선택형 질문, MCQ): 각 모델이 선택지 (Choices) 에 할당한 확률 분포 (Logits) 를 입력으로 받아, MLP 를 통해 학습합니다. 다수결 투표가 틀린 경우에도 모델들의 확률 패턴을 학습하여 정답을 예측할 수 있습니다.
• V3Fusion-LED (개방형 질문, OEQ): Longformer Encoder-Decoder (LED) 아키텍처를 사용하여, 각 베이스 모델의 출력 텍스트를 요약하고 통합하여 새로운 답변을 생성합니다. 이는 시퀀스 - 투 - 시퀀스 (Seq2Seq) 학습을 통해 다양한 모델의 지식을 결합합니다.

2.4. 검증 및 교정 (Verification & Rectification)

• 적응형 인식적 불확실성 (Adaptive Epistemic Uncertainty): 시스템의 불확실성을 동적으로 측정합니다. 베이지안 앙상블 개념을 차용하여, 모델 간 예측의 변동성 (Mutual Information) 을 계산합니다.
• 동적 임계값 (Adaptive Threshold): 가우시안 혼합 모델 (GMM) 을 사용하여 불확실성 분포를 분석하고, 임계값을 자동으로 설정합니다.
• 작동 방식: 불확실성이 임계값을 초과하는 샘플은 기각하고, 나머지 샘플은 융합된 답을 출력합니다. 기각된 샘플의 경우, 모든 베이스 모델의 로짓 (Logits) 을 평균내어 최선의 답을 재추출합니다.

3. 주요 기여 (Key Contributions)

1. 시각 - 언어 다양성 최적화: 기존 텍스트 기반 앙상블과 달리, **시각 임베딩의 불일치 (Focal-CKA)**와 오류 다양성을 정량화하여 모델 조합을 최적화하는 새로운 메트릭을 제안했습니다.
2. 효율적인 가지치기 알고리즘: 유전 알고리즘을 활용하여 대규모 모델 풀 (Pool) 에서 최적의 서브셋을 빠르게 탐색하고, 불필요한 모델을 제거하여 효율성을 극대화했습니다.
3. 자기 유지형 검증 시스템: 외부 LLM 이나 추가적인 감독 없이, 시스템 내부의 인식적 불확실성을 기반으로 할루시네이션을 감지하고 교정하는 폐쇄 루프 (Closed-loop) 시스템을 구축했습니다.
4. 성능 향상: 단일 최상위 모델이나 기존 앙상블 방법보다 뛰어난 성능을 달성하며, 특히 다수 모델이 틀린 경우에도 정답을 도출하는 능력을 입증했습니다.

4. 실험 결과 (Results)

저자들은 A-OKVQA, MMMU, MMMU-Pro, OCR-VQA 등 4 가지 주요 벤치마크에서 실험을 수행했습니다.

• 정확도 향상:
  • MMMU: 기존 최상위 VLM 대비 8.09% 정확도 향상.
  • MMMU-Pro: 4.87% 정확도 향상.
  • A-OKVQA & OCR-VQA: Generative 작업에서 Intern-VL2-8b 및 Qwen2.5-VL-7b 와 같은 최상위 모델들을 능가했습니다.
• 다수결 실패 상황 극복: 다수의 VLM 이 틀린 답변에 동의하는 경우에도, V3Fusion-MLP 는 확률 분포 패턴을 분석하여 정답을 선택하는 능력을 보였습니다.
• 효율성:
  • 가지치기 속도: 20 개의 모델 풀에서 최적 조합을 찾는 데 걸리는 시간을 99.66% 단축 (약 50,000 배 가속) 했습니다.
  • 학습 시간: V3Fusion-LED 는 베이스 모델을 파인튜닝하는 것보다 훨씬 짧은 시간 (약 35 분) 에 훈련되었으며, 더 적은 파라미터로 더 높은 성능을 냈습니다.
• 불확실성 검증: 적응형 임계값을 통해 검증된 샘플의 정확도가 크게 향상되었으며, 특히 어려운 샘플을 식별하고 교정하는 데 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 앙상블 분야에서 다음과 같은 중요한 의의를 가집니다:

• 모달리티 통합: 단순히 텍스트 출력만 비교하는 것을 넘어, 시각적 표현의 다양성을 앙상블의 핵심 요소로 도입하여 모델의 실제 이해도를 평가했습니다.
• 할루시네이션 완화: 외부 도구에 의존하지 않고 모델 내부의 불확실성 메커니즘을 활용하여 할루시네이션을 동적으로 감지하고 수정하는 방법을 제시했습니다.
• 실용성: 계산 비용을 줄이면서도 (가지치기), 다양한 모델의 장점을 결합하여 복잡한 시각 - 언어 추론 작업에서 단일 모델의 한계를 극복하는 효율적인 프레임워크를 제시했습니다.

결론적으로 V3Fusion 은 이질적인 VLM 들의 지식을 효과적으로 통합하고, 시각적 검증과 불확실성 관리를 통해 신뢰할 수 있는 고도화된 시각 추론 시스템을 구축하는 새로운 패러다임을 제시합니다.