기술 요약: 검색 증강 신뢰도 인식 추론을 통한 멀티모달 시스템의 시각적 환각 완화

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 시각-언어 이해 능력이 발전했으나, 결정적인 신뢰성 문제인 시각적 환각(visual hallucination) 문제를 겪고 있다. 이러한 시스템은 기저의 시각적 증거가 약하거나, 모호하거나, 의미론적으로 일관되지 않음에도 불구하고 유창하고 자신감 넘치는 자연어 응답을 생성하는 경우가 많다. 현재의 접근 방식들은 주로 표현 정렬(representation alignment)이나 검색 증강 생성(RAG)을 개선하는 데 집중하고 있으나, 인스턴스 수준의 예측 신뢰도를 정량화하는 메커즘은 부족하다.

신뢰할 수 있는 멀티모달 추론에는 중요한 격차가 존재한다. 즉, 시스템은 증거의 품질과 상관없이 모든 입력에 대해 답변을 내놓도록 강요받는 경우가 많다. 표준 신뢰도 점수(예: softmax 확률)는 종종 보정이 제대로 되지 않으며 실제 정확도를 반영하지 못해, 사용자가 틀리지만 자신감 있는 출력에 속게 만드는 "과잉 확신(overconfident)" 오류를 초래한다. 본 논문은 신뢰할 수 있는 시스템이란 단순히 답을 예측하는 것을 넘어, 그 답을 신뢰해도 되는지, 즉 강력한 증거와 불충분하거나 상충하는 데이터를 구분할 수 있어야 한다고 주장한다.

2. 방법론

저자들은 **검색 증강 신뢰도 인식 추론 프레임워크(Retrieval-Augmented Reliability-Aware Inference Framework)**를 제안한다. 이는 기존의 대규모 멀티모달 모델을 재학습시키지 않고도 외부 시각적 증거를 사용하여 예측을 검증하도록 설계된, 시각적 예측과 최종 응답 생성 사이에 삽입되는 사후(post-hoc) 레이어이다.

2.1 프레임워크 아키텍처

파이프라인은 네 가지 주요 단계로 구성된다:

1. 입력 인코딩 및 증거 검색:

   • 입력 이미지는 2048차원 임베딩을 생성하기 위해 분류 레이어가 제거된 사전 학습된 ResNet-50 특징 추출기를 사용하여 처리된다.
   • 코사인 유사도 기반 검색을 보장하기 위해 임베딩은 L2 정규화된다.
   • 참조 증거 데이터베이스는 ImageNet-100 학습 세트(약 130,000개의 이미지)로 구축된다.
   • 쿼리 이미지에 대해, 시스템은 FAISS를 사용하여 데이터베이스에서 상위-$k$개($k=5$)의 최근접 이웃을 검색한다.

2. 클래스 지원 추정 (Class-Support Estimation):

   • 단일 최근접 이웃에 의존하는 대신, 프레임워크는 검색된 집합 전체에 걸쳐 증거를 집계한다.
   • 유사도 가중치 적용 소프트맥스 함수는 유사도 점수($s_j$)를 기반으로 검색된 이웃들에게 가중치를 할당한다.
   • 클래스 지원 점수($S(c)$)는 각 클래스에 속하는 이웃들의 가중치를 합산하여 계산된다. 예측된 클래스는 가장 높은 총합 지원을 받은 클래스이다.

3. 신뢰도 신호 계산:
   시스템은 신뢰성을 추정하기 위해 여러 지표를 계산한다:

   • 유사도 강도 (Similarity Strength): 검색된 집합의 최상위 유사도($s_{top}$) 및 평균 유사도($s_{mean}$).
   • 클래스 지원 일치도 (Class-Support Agreement): 예측된 클래스의 주요 지원($E_1$) 대 강력한 경쟁 클래스의 이차 지원($E_2$).
   • 증거 마진 (Evidence Margin, $M$): 클래스 간의 분리도를 나타내는 $E_1 - E_2$.
   • 엔트로피 (Entropy, $H$): 검색된 증거의 클래스 분포에 대한 불확실성을 측정한다.
   • 종합 신뢰도 점수 (Aggregate Reliability Score, $R$): 주요 지원과 정규화된 유사도 강도의 가중 결합 ($R = 0.6E_1 + 0.4Q$).

4. 선택적 결정 게이팅 (Selective Decision Gating):
   계산된 신호에 따라 결정 게이트는 입력을 세 가지 상태 중 하나로 할당한다:

   • 수락 (ACCEPT): 증거가 강력하고 일관되며 불확실성이 낮은 경우 (예: $R \ge 0.85$, $H \le 0.30$, $M \ge 0.50$). 시스템은 자신감 있는 응답을 제공한다.
   • 주의와 함께 답변 (ANSWER WITH CAUTION): 증거가 부분적으로 뒷받침되지만 불확실한 경우 (예: $R \ge 0.70$, $M \ge 0.25$). 응답은 조심스러운 언어로 완화된다.
   • 기권/폴백 (ABSTAIN/FALLBACK): 증거가 약하거나 상충하거나 유사도 임계값 미만인 경우 (예: $s_{top} < \tau_{sim}$ 또는 $s_{mean} < \tau_{mean}$). 시스템은 확정적인 주장을 피한다.

2.2 응답 생성

멀티모달 응답 레이어(실험에서는 LLaVA 사용)가 최종 출력을 생성한다. 결정적으로, 언어 생성은 신뢰도 결정에 따라 조건화된다. 만약 게이트가 "기권(ABSTAIN)"을 선택하면, 시스템은 잠재적인 환각 라벨을 강요하는 대신 증거가 불충분함을 설명한다.

3. 주요 기여

1. 검색 증강 신뢰도 프레임워크: 예측 생성과 예측 수용을 분리하여, 외부 증거 데이터베이스를 통해 시각적 예측을 검증하는 새로운 추론 파이프라인을 제시한다.
2. 다중 신호 신뢰도 추정: 단순한 원시 신뢰도 점수보다 더 견고한 신뢰 추정을 만들기 위해 유사도 강도, 클래스 지원 일관성, 증거 마진, 엔트로피 기반 불확실성을 결합하는 전략을 제공한다.
3. 선택적 결정 메커즘: 시스템이 커버리지(coverage)와 신뢰도 사이의 균형을 맞출 수 있도록 하는 3단계 결정 게이트(수락, 주의, 기권)를 구현하여 과잉 확신 오류를 효과적으로 줄인다.
4. 사후 적용 가능성: 이러한 개선 사항이 대규모 멀티모달 모델을 재학습시키지 않고도 달성될 수 있음을 입증하여, 기존 시스템을 위한 실용적인 애드온으로서의 가치를 보여준다.

4. 실험 결과

프레임워크는 ImageNet-100 데이터셋(데이터베이스용 130k 학습 이미지, 테스트용 5k 검증 이미지)을 통해 평가되었다.

• 정확도 향상: 항상 답변을 하는 베이스라인 검색 시스템은 **85.84%**의 정확도를 기록했다. 제안된 신뢰도 인식 프레임워크는 89.04%의 커버리지에서 **수락된 예측 정확도(accepted prediction accuracy)**를 **88.88%**로 향상시켰다.
• 환각 감소: "수락된 오답률"(수락되어 사용자에게 반환된 잘못된 예측)이 베이스라인의 **14.16%**에서 제안된 방식의 **11.12%**로 감소하였으며, 이는 21.48%의 상대적 감소를 의미한다.
• 보정 (Calibration): 기대 보정 오차(Expected Calibration Error, ECE)가 **7.40%**에서 **5.87%**로 개선되어, 예측된 신뢰도와 실제 정확도 사이의 정렬이 더 나아졌음을 보여준다.
• 확신에 찬 오류 (Confident Errors): "확신에 찬 오답 케이스"(신뢰도 $\ge 0.85$인 잘못된 예측)의 수가 263개에서 226개로 감소했다.
• 증거 품질 분석: 수락된 샘플은 기권된 샘플에 비해 유의미하게 높은 신뢰도 점수, 유사도 마진 및 낮은 엔트로피를 보였으며, 이는 게이트가 모호하거나 약한 증거 사례를 효과적으로 필터링하고 있음을 확인시켜 준다.

5. 의의 및 주장

본 논문은 검색 증거, 신뢰도 추정, 그리고 선택적 결정 게이팅을 통합하는 것이 멀티모달 시각 추론의 신뢰성을 높이는 실용적인 사후 메커즘을 제공한다고 주장한다.

• 과잉 확신 완화: 프레임워크는 시각적 증거가 불충분한 경우를 식별함으로써 시스템이 확신에 찬 잘못된 출력을 생성할 위험을 성공적으로 줄인다.
• 재학습 불필요: 구조적 변경이나 추가 학습을 요구하는 방법들과 달리, 이 접근 방식은 사전 학습된 인코더와 기존 MLLM과 함께 작동한다.
• 해석 가능성: 검색된 최근접 이웃에 의존함으로써, 시스템은 예측을 지지하거나 거부하기 위한 해석 가능한 증거(시각적 예시)를 제공하여 투명성을 높인다.
• 트레이드오프 관리: 시스템은 커버리지(모든 질문에 답함)와 신뢰도(확신이 있을 때만 답함) 사이의 트레이드오프를 명시적으로 관리하며, 고위험 애플리케이션에서 사용자 신뢰를 우선시한다.

저자들은 현재 구현이 제어된 분류 설정(ImageNet-100)과 특정 인코더(ResNet-50)로 제한되어 있지만, 이 접근 방식이 증거가 확정적인 응답을 정당화하지 못할 때 답변을 유보할 수 있는, 더 안전하고 신뢰할 수 있는 멀티모달 AI 시스템을 향한 실행 가능한 경로를 보여준다고 결론짓는다.