기술 요약: 멀티모달 공간 추론을 위한 시각적 신용 할당 (Visual Credit Assignment)

문제 정의

멀티모달 거대 언어 모델(MLLM)은 폐쇄형 예/아니오(yes/no) 질문을 사용하는 공간 추론 벤치마크(예: VSR, GSR-COCO)를 통해 점점 더 많이 평가되고 있습니다. 그러나 표준 정확도 지표는 두 가지 별개의 현상을 혼재시킵니다: 즉, 모델이 진정한 시각적 증거 덕분에 정답을 맞히는 것과, 강력한 텍스트 사전 지식(prior), 데이터셋 편향, 또는 지시 이행 습관 덕분에 정답을 맞히는 것입니다. 모델이 "TV가 고양이 위에 있는가?"라는 질문에 "예"라고 답하여 정답을 맞혔더라도, 해당 이미지는 텍스트 전용 프롬프트나 빈 이미지(blank image)보다 이 결정에 더 많은 근거를 제공하지 못할 수도 있습니다. 기존의 디바이어싱(debiasing) 및 카운터팩추얼(counterfactual) 방법들은 대개 언어적 사전 지식을 줄이거나 전반적인 정확도를 높이는 데 집중할 뿐, 관계의 일관성을 유지하면서 동시에 특정 고정된 공간적 결정이 이미지가 없는 제어군(no-image controls)과 비교했을 때 증분적인(incremental) 지원을 받는지 여부를 명시적으로 감사(audit)하지는 않습니다.

방법론: 시각적 신용 감사 (Visual Credit Audit, VCA)

본 논문은 VCA를 제안합니다. 이는 정답 여부(correctness), 추가적인 이미지 지원(additional image support), 그리고 관계 일관성(relation-consistent response)의 세 가지 구성 요소로 벤치마크 성공을 분리하는, 학습이 필요 없는(training-free) 결정 수준의 감사 프레임워크입니다. VCA는 고정된 이진 인터페이스(예: Yes/No)에서 작동하며, 매칭된 컨텍스트 하에서 로그 가능도 마진(log-likelihood margins)을 분석하며 MLLM을 동결(freeze)한 상태로 진행됩니다.

2축 감사 프레임워크

VCA는 두 가지 뚜렷한 추정량(estimands)을 식별합니다:

1. 상대적 이미지 의존도 (지원 축 - Support Axis):

   • 목표: 원래 이미지가 텍스트 전용($t$) 또는 빈 이미지($b$) 제어군보다 모델의 선언된 결정에 더 많은 지원을 제공하는지 결정합니다.
   • 지표: VCA 의존도 격차($G^{\text{img}}_i$)는 원래 이미지의 예측 정렬 지원($r_{i,o}$)과 제어군의 최대 지원($\max(r_{i,t}, r_{i,b})$) 간의 차이로 정의됩니다.
   • 정의: 만약 $G^{\text{img}}_i > 0$이면 결정은 "신용(credited)"을 받습니다 ($D_i=1$). 결정적으로, 이는 제어군이 반드시 반대되는 답을 지지해야 함을 요구하는 것이 아니라, 이미지가 제어군보다 더 많은 지원을 제공해야 함을 의미합니다.
   • 분해: 이는 정확도의 4개 셀 분해로 이어집니다:
     • D-CC (의존도 신용 정답 - Dependence-Credited Correct): 이미지 지원 우위가 있는 정답.
     • C-U (정답이지만 신용되지 않음 - Correct-but-Uncredited): 이미지가 텍스트/빈 제어군보다 이점을 제공하지 못하는 정답.
     • 지원 우위 오류 (Support-Advantaged Errors): 이미지가 실제로 제어군보다 더 강한 지원을 제공했음에도 발생한 오답 (기존 Gold-only 지표에서는 숨겨지는 범주).
     • 신용되지 않은 오류 (Uncredited Errors): 이미지 지원 우위가 없는 오답.

2. 관계 일관성 (상호작용 축 - Interaction Axis):

   • 목표: 모델이 고정된 픽셀 상에서 실제 공간 관계와 거짓 대안을 구별하는지 결정합니다.
   • 지표: 의미적 관계 대비(Semantic Relation Contrast, SRC)는 실제 관계 쿼리($q_{r+}$)의 마진을 거짓 대안들의 최대 마진($q_{r-}$)과 비교합니다.
   • PairCredit: 이미지 특유의 분리도($G_{\text{int}}$)가 제어군의 분리도를 초과하는지 측정합니다.
   • Joint (결합): 절대적인 관계 일관성과 쌍을 이룬 의존성을 모두 요구하는 결합 지표입니다.

진단적 개입 (Diagnostic Interventions)

이러한 추정량을 검증하고 널 컨트롤(null controls)의 한계(관계 반응성을 식별할 수 없음)를 해결하기 위해 저자들은 다음을 사용합니다:

• 매치된 이미지 순열 (Matched Image Permutation): 원래 이미지를 결정론적인 동일 분할의 무관한 이미지로 교체하여 D-CC를 보정합니다.
• 제어된 증거-소스 요인 설계 (Controlled Evidence-Source Factorial): 시각적 증거(관계 지지, 관계 반대, 중립)와 텍스트 증거(지지, 반대, 중립)를 변화시키는 $3 \times 3$ 설계를 사용하여 관계 반응성을 격리합니다.
• 인간 검수 편집 (Human-Audited Edits): 제어된 개입과 자연 이미지 변화 사이의 대응 관계를 확인하기 위해 108개의 기하학적으로 호환 가능한 자연 이미지 편집 세트를 사용합니다.

주요 기여

1. 라벨 프리 결정 수준 감사 (Label-Free Decision-Level Audit): 감사를 위한 정답 라벨(ground-truth labels)에 의존하지 않고, 선언된 결정에 신용을 할당하는 방법을 도입했습니다. 이는 정답 항목에 대한 골드 정렬 이득(gold-aligned gain)을 회복하는 동시에, 독특하게도 "지원 우위 오류"를 유지함으로써 완전한 정확도 분해를 제공합니다.
2. 한계 지원과 관계 반응의 분리: 널 컨트롤(텍스트/빈 이미지)이 관계 역전(relation reversal)에 대한 반응 여부를 식별할 수 없음을 입증했습니다. 본 논문은 결정이 "신용되지 않았더라도(uncredited)", 여전히 "관계 반응적(relation-responsive)"일 수 있음을 보여줍니다 (즉, 시각적 관계가 바뀌었을 때 올바르게 변함).
3. 포괄적 실증 분석: 4개의 오픈 MLLM(Qwen, InternVL, LLaVA, Ministral)과 2개의 벤치마크(VSR, GSR-COCO)에 대해 VSA를 적용하였으며, 모델당 1,800개의 요인 입력과 108개의 독립적인 편집 감사를 활용했습니다.

결과

• 신용되지 않은 정답의 유병률: 모델과 데이터셋 전반에 걸쳐, 정답 결정의 **12.73%에서 26.25%**가 "신용되지 않은(uncredited)" 상태(C-U)였습니다. 즉, 이미지가 텍스트 전용 또는 빈 제어군보다 추가적인 지원을 제공하지 못했습니다.
• 이미지 특이성: 매치된 이미지 순열은 모든 실행에서 D-CC를 21.25 ~ 47.80 포인트 감소시켰으며, 95% 신뢰 구간이 엄격하게 0보다 컸습니다. 이는 원래 이미지의 이점이 단순히 어떤 이미지가 존재하기 때문이 아니라, 그 내용에 특이적임을 확인시켜 줍니다.
• 신용되지 않은 경우의 관계 반응성: 정답이지만 신용되지 않은 결정들 중, 요인 설계 설정에서 **81.57% ~ 100.00%**의 모델이 관계 역전에 올바르게 반응했습니다. 또한, 이러한 신용되지 않은 결정의 **32.11%**가 관계가 역전될 때 이진 답변을 뒤집었으며, 이는 이들이 순수하게 텍스트에 의해 유도된 것이 아님을 증명합니다.
• 자연적 대응성: 인간이 검수한 자연 이미지 편집에서, 소스-정답이지만 신용되지 않은 결정의 **25.00%**가 가시성(visibility)과 함께 성공적으로 뒤집혔습니다. 이는 신용되지 않은 사례들이 절차적 렌더링뿐만 아니라 자연 이미지에서도 반응형으로 존재함을 확인시켜 줍니다.
• 분해: 이 프레임ка크는 집계된 정확도가 모델이 시각적 증거를 활용하는 방식의 상당한 편차를 가리고 있음을 드러냅니다. 예를 들어, GSR-COCO에서 Qwen은 90.91%의 정확도를 달로하지만, 오직 78.18%의 사례만이 정답이면서 동시에 이미지에 의해 지원되었습니다.

의의 및 주장

본 논문은 VCA가 정확도만으로는 제공할 수 없는 벤치마크 성공의 필수적인 분해를 제공한다고 주장합니다.

• 정확도를 넘어: "정답 여부"와 "시각적 지원"은 별개의 차원이라고 주장합니다. 모델은 정확할 수 있지만 사전 지식에 의존할 수 있고(C-U), 부정확할 수 있지만 시각적 증거를 올바르게 활용할 수도 있습니다(지원 우위 오류).
• 방법론적 엄밀성: "한계 지원" 추정량과 "관계 반응성" 추정량을 분리함으로써, VCA는 기존의 널 컨트롤 방법에서 발견되는 혼동을 피합니다. 이는 널 컨트롤이 관계 특이적 시각 반응을 식별하기에는 불충분함을 보여줍니다.
• 실용적 유용성: VCA는 사후적(post-hoc) 동반 도구로서 정확도에 대한 "계층적 보고(layered report)"를 제공하며, 모델의 공간 추론 개선이 진정한 시각적 증거에서 기인한 것인지 아니면 더 강한 답변 사전 지식에서 기인한 것인지 진단하는 데 도움을 줍니다. 이는 정확도를 대체하려는 것이 아니라 정확도의 해석을 정교화하려는 것입니다.
• 한계: 저자들은 VCA가 지정된 제어 조건 하에서의 상대적 지원을 측정하는 것이지, 내부적인 인과 경로(causal pathways)나 픽셀 수준의 속성(pixel-level attribution)을 측정하는 것은 아님을 겸허히 밝힙니다. 이는 고정된 강제 선택(forced-choice) 인터페이스를 위해 설계되었으며, 제약이 없는 개방형 생성(open-ended generation)을 직접 다루지는 않습니다.