Witness Evidence Portfolios: Single-Prefill Risk Detection for Closed Multimodal Answers

기술 요약: 증거 포트폴리오(Witness Evidence Portfolios, WEP)

문제 정의
멀티모달 거대 언어 모델(MLLM)의 신뢰할 수 있는 배포를 위해서는, 확신에 찬 시각적 답변을 신뢰할 것인지, 검토할 것인지, 아니면 더 강력한 시스템으로 라우팅할 것인지를 결정하는 메커니즘이 필요합니다. 표준 신뢰도 점수(후보 간 마진 기반)는 예측된 답변이 경쟁 답변들과 얼마나 떨어져 있는지는 나타내지만, 그 결정의 근거가 어디인지에 대해서는 밝혀내지 못합니다. 모델은 "이 이미지에 당근이 있습니까?"와 같은 질문에 대해 높은 확신을 가지고 "아니오"라고 답할 수 있지만, 그 결정을 뒷받받하는 내부 시각적 판독값이 실제 시각적 증거(예: 당근)가 아닌 무관한 영역(예: 차트 제목이나 배경)에 집중되어 있을 수 있습니다. 기존의 환각 탐지 또는 리스크 평가 방법들은 일반적인 내부 상태에 의존하거나, 이미지 섭동(perturbation), 추가 디코딩 패스, 또는 외부 검증기를 필요로 하는 경우가 많아, 원래의 추론 경로만을 사용하여 근거 없는 결정을 탐지하는 데 한계가 있습니다.

방법론: 증거 포트폴리오(Witness Evidence Portfolios, WEP)
WEP는 폐쇄형 답변(closed-answer) MLLM을 위해 설계된 화이트박스 리스크 탐지 프레임워크입니다. 이 방법은 역전파(backward pass), 이미지 섭동, 또는 외부 모델을 요구하지 않고, 답변을 생성하는 것과 동일한 순방향 패스(forward path)를 활용하여 단일 프리필(prefill) 패스 동안 작동합니다.

1. 질문 결합 증거 맵(Question-Bound Witness Maps):
   먼저 이 방법은 질문에 결합된 시각적 공간 내의 "증거(witnesses)"를 식별합니다. 질문 토큰 $j$에 대하여, 시각적 토큰 $v$에 대한 결합 분포 $B_j(v)$를 계산합니다. 이들은 최종 결정에 대한 토큰의 중요도에 따라 가중치를 두어 질문 증거 맵 $P_Q(v)$로 집계됩니다. 이는 질문과 관련된 영역과 일반적인 돌출 영역을 구분합니다. 또한 일반적인 시각적 중첩을 제어하기 위해 균등한 시각적 참조(uniform visual reference) $U(v)$를 정의합니다.

2. 추정된 부호화된 결정 증거(Estimated Signed Decision Evidence):
   WEP는 내부 시각적 토큰이 예측된 후보 마진(candidate margin)에 기여하는 바를 추정합니다. 후보 $y$에 대하여, 언임베딩 행렬(unembedding matrix)과 경쟁 로짓(competitor logits)을 기반으로 판독 방향 $d_y$를 정의합니다. 레이어 $\ell$에서의 소스 토큰 $s$의 기여도 $C_{\ell,y}(s)$는 내부 값 벡터(value vectors)를 이 방향으로 투영하여 계산됩니다. 이러한 기여도는 시각적 공간으로 역전송되어 부호화된 증거 맵 $E_{\ell,y}(v)$를 형성하며, 여기서 양수 값은 예측을 지지하고 음수 값은 예측에 반함을 의미합니다.

3. 경로 계열(Route Families):
   WEP는 이러한 증거 맵을 두 가지 해석 가능한 경로 계열로 요약합니다.

• 기원 경로(Provenance Routes): 부호화된 증거와 질문 결합 증거($P_Q$) 사이의 중첩을 균등 참조($U$)와 비교하여 측정합니다. 이는 증거가 요청된 특정 개체(예: "당근")와 일치하는지, 아니면 일반적인 이미지 영역과 일치하는지를 구체적으로 추적합니다. 잔차 점수(residual score)는 질문 특유의 증거와의 과잉 일치 정도를 포착합니다.
• 집중 경로(Concentration Routes): 부호화된 증거의 공간적 분포를 측정합니다. 정규화된 엔트로피를 계산하여 지지되는 증거가 좁게 집중되어 있는지(잠재적인 지름길 의존 가능성) 또는 상충하는 증거가 넓게 분산되어 있는지를 결정합니다.

4. 중첩 검증 및 포트폴리오 퓨전(Nested Validation and Portfolio Fusion):
   과적합을 방지하고 가장 신뢰할 수 있는 신호를 선택하기 위해, WEP는 중첩된 그룹 검증 프로세스를 채택합니다. 내부 폴드(inner fold)는 외부 폴드의 레이블에 접근하지 않고 오차 순위 성능을 기반으로 우수한 경로 계열(Provenance 또는 Concentration)을 선택합니다. 그런 다음 선택된 경로 계열로부터 희소한 top-$k$ 포트폴리오를 캘리브레이션 세트에 적합(fit)시킵니다. 마지막으로, 선택된 경로 점수들을 표준화하고 이를 베이스라인 후보 마진 신뢰도와 융합하여 최종 리스크 점수를 생성합니다.

주요 기여

• 부호화된 결정 증거 관점: 본 논문은 단순한 신뢰도 지표를 넘어, 내부 시각적 기여가 현재의 후보 마진을 지지하는지 혹은 반하는지를 평가하는 새로운 리스크 랭킹 관점을 도입합니다.
• 상호 보완적 분해: 부호-시각적 증거에 대한 두 가지 상호 보완적인 분해 방식인 기원(질문 특유의 정렬)과 집중(공간적 분포)을 제안하며, 최적의 계열을 선택하기 위한 저용량 선택기를 결합합니다.
• 효율적인 화이트박스 탐지: WEP는 희소한 행 재계산(sparse read-row recomputation)을 포함한 단일 계측 프리필 패스만을 사용하여 리스크 탐지를 달성하며, 이미지 섭동, 역전파, 또는 외부 검증기를 필요로 하지 않습니다.

결과
이 방법은 세 가지 MLLM 백본(Qwen3-VL-8B, LLaVA-1.5-7B, InternVL3.5-8B)과 네 가지 이진 답변 벤치마크(AMBER-D, Causal-HalBench, VSR, HallusionBench)에서 평가되었습니다.

• 성능: WEP는 12개의 모든 모델-데이터셋 쌍에서 평균 오차 정밀도(Average Precision, AP)를 0.134 개선했습니다. 12개 쌍 모두에서 긍정적인 이득을 보였으며, 12개 중 10개의 이미지 클러스터 부트스트랩 구간이 엄격하게 양수였습니다.
• 트리아지 유용성(Triage Utility): 낮은 리뷰 예산(1%, 5%, 10%)에서, WEP는 신뢰도 베이스라인에 비해 오류 탐지 정밀도를 크게 향상시켜, 오류를 리뷰 큐의 최상단에 효과적으로 집중시켰습니다.
• 절제 연구(Ablations):
  • 부호가 없는 증거(unsigned evidence)와 균등 경로 평균화는 미미한 이득만을 보였습니다.
  • 기원(Provenance)과 집중(Concentration) 계열은 각각 잘 작동했으나, 각 컨텍스트에 따라 최적의 계열을 적응적으로 선택하는 중첩 선택 전략에 의해 더 높은 성능을 보였습니다.
  • 추가 경로(예: Visual Contrastive Decoding)를 사용한 대조 실험은 엄격한 동일 예측 서브셋에서 WEP보다 낮은 성능을 보여, WEP의 효율성을 입증했습니다.
  • 증거 셔플링(evidence-shuffling) 대조 실험은 이득이 점수 분포의 변화가 아니라 일치하는 내부 증거에 의존함을 확인시켜 주었습니다.

의의 및 주장
본 논문은 WEP가 어떤 폐쇄형 멀티모달 답변을 검토하거나 라우팅할지 결정하기 위한 실용적이고 효과적인 신호로서 **질문 관련 시각적 기원(question-related visual provenance)**을 확립한다고 주장합니다. 후보 신뢰도에 부호화된 증거의 기원과 집중도를 더함으로써, WEP는 신뢰할 수 있는 MLLM 배포를 위한 검사 가능하고 오버헤드가 낮은 메커니즘을 제공합니다. 저자들은 이 방법이 선택적 라우팅을 위한 리스크 제어 계층을 대체하는 것이 아니라, 모델의 기존 추론 경로에서 직접 도출된 해석 가능한 질문 정렬 신호로 이를 보강하는 것임을 강조합니다. 결과는 내부 시각적 증거의 출처와 분포를 분석하는 것이 신뢰할 수 없는 답변이나 환각을 탐지하는 데 있어 신뢰도 점수를 보완하는 관점을 제공한다는 것을 시사합니다.