기술 요약: VISTAQA

문제 제기

현재 멀티모달 대규모 언어 모델 (MLLM) 의 평가는 텍스트 답변의 정확성과 시각적 증거 기반 (grounding) 사이에 근본적인 단절이 존재합니다. 표준 벤치마크는 주로 텍스트 정확도를 통해 성능을 평가하며, 적절한 시각적 증거에 기반하지 않은 답변 (할루시네이션) 이나 모델이 시각적 지각 대신 언어적 사전 지식을 의존할 때조차도 정답을 생성하는 모델을 보상합니다. 반면, 기존 기반 벤치마크는 종종 텍스트 답변을 지원하는 명시적 증거로서가 아닌 주요 예측 대상으로 분할 마스크를 취급하거나, 텍스트와 위치 파악을 별도의 데이터셋에서 독립적인 지표로 평가합니다. 이러한 공동 평가의 부재는 추론과 기반의 결합을 해결되지 않은 과제로 남겨두며, 안전이 중요한 분야에서 해석 가능성과 신뢰성을 위한 필수 조건인 모델의 응답이 실제로 이미지에 기반하고 있는지 판단하지 못하게 합니다.

방법론

VISTAQA 벤치마크

이러한 격차를 해소하기 위해 저자들은 시각적 질문 답변 (VQA) 에서 자유 형식 답변의 정확성과 픽셀 수준의 증거 기반을 공동으로 평가하도록 설계된 포괄적인 벤치마크인 VISTAQA를 소개합니다.

• 데이터셋 구성: VISTAQA 는 1,157 개의 전문가 큐레이션 샘플로 구성됩니다. 저자들은 복잡한 이미지 - 질문 - 마스크 삼중체를 생성하는 데 자동 생성 파이프라인이 신뢰할 수 없다고 판단하여, VISTAQA 는 도메인 적합 이미지 소싱, 하이브리드 마스크 생성, LLM 지원 질문 생성, 다중 라운드 인간 검증을 포함한 엄격한 다단계 파이프라인을 통해 구축되었습니다.
• 범위: 이 벤치마크는 6 가지 작업 유형(식별, 속성, OCR, 공간, 계수, 비교) 과 6 가지 시각적 도메인(실내, 실외, 자율 주행, 로봇 공학, 과학, 수학) 을 포괄합니다.
• 할루시네이션 인식: 샘플의 약 27%(314 개) 는 질의된 개체가 부재하거나 질문이 답변 불가능한 할루시네이션 인식 사례로 특별히 설계되어, 모델이 유효한 시각적 증거의 부재를 올바르게 식별하도록 요구합니다.
• 주석: 각 샘플에는 질문, 참조 답변, 그리고 해당 답변을 지지하는 데 필요한 시각적 증거를 지정하는 분할 마스크가 포함됩니다.

GROVE 평가 지표

본 논문은 공동 정확성을 강제하도록 설계된 통합 지표인 GROVE(GROunded eVidence Evaluation) 를 소개합니다.

• 공동 민감도: 텍스트 답변과 해당 증거 마스크가 모두 유효할 때만 예측이 완전히 정확하다고 간주됩니다.
• 메커니즘: GROVE 는 각 샘플별로 평활화된 텍스트 및 마스크 점수의 기하평균을 계산합니다.
  • 텍스트 점수 ($S_a$): 문자열 매칭이 아닌 의미적 정확성을 평가하기 위해 LLM-as-a-judge 프로토콜 (Qwen 2.5-14B 사용) 을 통해 결정되는 이진 정확성 신호 (0 또는 1) 입니다.
  • 마스크 점수 ($S_m$): 지면 진실 (ground truth) 과의 교집합 비율 (IoU) 을 사용하여 예측된 분할 마스크의 충실도를 측정하며, 누락된 예측과 불필요한 예측 모두를 패널티로 부과하기 위해 최대 인스턴스 수로 정규화됩니다. 또한 개체가 존재하지 않을 때 빈 예측을 보상함으로써 할루시네이션 사례를 처리합니다.
  • 평활화: 점수 붕괴 (단일 실패가 전체 점수를 0 으로 만듦) 를 방지하기 위해 기하평균을 계산하기 전에 두 점수 모두에 바닥 매개변수 $\epsilon$(경험적으로 0.1 로 설정) 을 적용합니다: $S = \sqrt{S'_a \cdot S'_m}$.
• 설계 목표: 이 공식은 한 차원 (텍스트 또는 마스크) 이 다른 차원의 결함을 보상할 수 없도록 하여, 모델이 단일 모달리티에서만 탁월한 성과를 내어 높은 점수를 얻는 것을 방지합니다.

주요 기여

1. VISTAQA 벤치마크: 명시적 할루시네이션 시나리오를 포함하여 6 가지 다양한 작업과 도메인에 걸쳐 픽셀 수준의 시각적 증거에 명시적으로 기반한 정답의 자유 형식 답변을 생성하도록 요구하는 최초의 체계적인 벤치마크입니다.
2. GROVE 지표: 기하평균 접근법을 통해 두 모달리티의 동시 만족을 강제하여 답변 정확성과 기반 충실도를 공동으로 측정하는 통합 평가 지표입니다.
3. 포괄적 평가: 전용 추론 분할 모델 (예: LISA, SESAME, GLaMM) 과 최첨단 MLLM 과 분할 모델을 짝지은 하이브리드 파이프라인 (예: Qwen3-VL + SAM3, GPT-5.4 + SAM3) 을 포함한 최첨단 베이스라인에 대한 광범위한 실험입니다.

실험 결과

저자들은 VISTAQA 에서 14 개의 모델을 미세 조정 없이 평가했습니다. 결과는 답변 정확도와 시각적 증거 정렬 사이에 상당한 격차가 있음을 강조합니다.

• 낮은 전체 성능: 가장 강력한 시스템조차 GROVE 하에서는 제한된 성능을 보입니다. 최상위 모델인 GPT-5.4-T + SAM3는 GROVE 점수가 불과 **45.53%**에 불과했습니다.
• 모달리티 격차: 일부 하이브리드 파이프라인이 상대적으로 높은 개별 텍스트 정확도 (예: >60%) 또는 마스크 IoU 점수를 달성했지만, 공동 GROVE 점수는 여전히 낮았습니다. 이는 정답과 정확한 증거가 종종 다른 샘플에서 발생하며, 모델이 두 가지를 일관되게 정렬하지 못함을 나타냅니다.
• 작업 및 도메인 과제:
  • 공간 추론과 OCR이 가장 까다로운 작업으로 나타났습니다.
  • 수학은 모든 모델 계열에서 일관되게 가장 어려운 도메인이었으며, 이는 픽셀에 상징적 추론을 기반하기 위해 필요한 추상화 때문일 가능성이 높습니다.
  • 할루시네이션 견고성: 분할 모델은 유효한 개체가 존재하지 않을 때도 마스크를 예측하는 경향이 있는 반면, 일부 하이브리드 파이프라인은 "마스크 없음"을 과도하게 예측하여 유효한 샘플에서 할루시네이션 감지와 기반 품질 간의 트레이드오프를 초래했습니다.
• 기반 복잡성: 모델은 단일 인스턴스에서 다중 인스턴스 기반 시나리오로 이동할 때 일반적으로 성능이 저하되었으며, 전용 기반 모델이 가장 심각한 감소를 보였습니다.

중요성과 주장

본 논문은 VISTAQA 와 GROVE 가 현재 멀티모달 추론의 근본적인 한계를 드러낸다고 주장합니다: 텍스트적 정확성만으로는 응답이 실제로 이미지에 기반하고 있는지 판단할 수 없습니다.

• 격차 드러내기: 이 벤치마크는 가장 진보된 MLLM 조차도 동시에 정답과 올바른 시각적 증거를 정렬하는 데 어려움을 겪음을 보여줍니다. 전통적인 VQA 또는 분할 벤치마크에서의 높은 성능은 신뢰할 수 있는 기반 추론을 보장하지 않습니다.
• 평가 엄격성: 모달리티 간의 보상을 방지함으로써 GROVE 는 할루시네이션이 심각한 결과를 초래할 수 있는 자율 주행 및 로봇 공학과 같은 안전이 중요한 응용 분야에 특히 모델 능력을 더 엄격하게 평가합니다.
• 미래 방향: 저자들은 VISTAQA 가 기반 멀티모달 평가에 대한 향후 연구의 기초 역할을 한다고 보며, 추론할 뿐만 아니라 시각적 증거로 추론을 명시적으로 정당화할 수 있는 모델의 필요성을 강조합니다.

본 논문은 벤치마크의 정적 성격이 비디오 또는 다중 이미지 기반을 다루지 않으며, 현재 모델이 이러한 삼중체를 자율적으로 생성하는 데 신뢰할 수 없기 때문에 고품질 샘플 구축이 여전히 노동 집약적임을 지적하며 한계를 인정합니다.