DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams

"DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

**다이어그램 질문 응답 (DQA)**은 모델이 구조화된 시각적 표현 (예: 차트, 지도, 회로도, 인포그래픽) 을 해석하도록 요구합니다. 최근 비전 - 언어 모델 (VLM) 이 표준 DQA 벤치마크에서 높은 정확도를 달성하고 있지만, 중요한 한계가 존재합니다: 정답이 반드시 충실한 추론을 보장하지는 않습니다.

현재 모델들은 종종 다음에 의존합니다:

• 텍스트 상관관계: 질문의 언어 패턴이나 데이터셋 편향을 기반으로 답을 추측합니다.
• 데이터셋 인공물: 시각적 증거를 해석하는 대신 우연한 상관관계를 학습합니다.
• 구속 (Grounding) 부재: 답을 검증하는 데 필요한 특정 시각적 영역 (레이블, 축, 연결선, 데이터 포인트) 을 식별하지 못합니다.

이러한 "블랙박스" 행동은 모델이 다이어그램의 구조를 진정으로 이해하는지, 아니면 단순히 그럴듯한 답을 환각하고 있는지 신뢰성 있게 평가하는 것을 방해합니다. 예측을 뒷받침하는 시각적 증거를 명시적으로 국소화하는 능력인 증거 기반 추론을 평가하는 표준화된 벤치마크가 부족합니다.

2. 방법론

A. DRAGON 벤치마크

저자들은 증거 기반 추론을 평가하도록 설계된 다중 도메인 벤치마크인 DRAGON을 소개합니다.

• 데이터 구성: 이 데이터셋은 6 개의 확립된 DQA 데이터셋에서 수집된 11,664 개의 주석 달린 질문 인스턴스를 통합합니다:
  • AI2D (과학 다이어그램)
  • ChartQA (차트/그래프)
  • Circuit-VQA (회로도)
  • InfographicsVQA (인포그래픽)
  • MapIQ 및 MapWise (지리 지도)
• 주석 작업: 표준 QA 와 달리 모델의 임무는 단순히 답하는 것이 아니라, 답을 정당화하는 데 필요한 시각적 요소에 해당하는 **경계 상자 (bounding boxes)**를 예측하는 것입니다.
• 증거 유형: 정답 주석에는 답을 담은 영역, 텍스트 레이블, 범례, 축, 연결선, 화살표, 공간적으로 관련된 구조가 포함됩니다.
• 구축 파이프라인:
  1. 영역 초기화: 기존 주석을 사용하거나 템플릿 기반 영역 전이 (호모그래피 추정 및 비례 스케일링 사용) 를 통해 사전에 경계 상자가 없는 다이어그램에 대한 후보 영역을 생성합니다.
  2. 인간 검증: 주석자들은 DIAGRAMS 도구를 사용하여 답에 필요한 최소 시각적 증거를 나타내는 "골드 증거 집합 ($B^*$)"을 보장하기 위해 영역을 검증, 정교화하거나 추가합니다.
  3. 품질 관리: 주석자 간 일치도는 완전 시각적 추론 (CVR) (전체 체인 커버리지) 과 핵심 증거 정렬 (CEA) (주요 요소 구속) 을 사용하여 측정됩니다.

B. 평가 프레임워크

저자들은 추론 구조가 구속 (grounding) 에 미치는 영향을 테스트하기 위해 세 가지 다른 프롬프트 전략을 사용하여 VLM 을 평가합니다:

1. EDGE (Grounding 을 통한 증거 탐지): 이미지, 질문, 답을 받은 직후 모델이 경계 상자를 즉시 예측하는 직접적인 단일 단계 프롬프트 접근법입니다.
2. SAGE (선택 및 증거 구속): 2 단계 접근법입니다.
   • 1 단계: 모델이 텍스트로 관련 시각적 요소를 나열합니다 (예: "2019 년 막대", "Y 축 레이블").
   • 2 단계: 모델이 나열된 요소에 대한 경계 상자를 예측합니다.
3. VERGE (구속된 증거 검증 및 정교화): 자기 수정 접근법입니다. 모델은 초기 예측을 생성한 후 (EDGE 와 같이), 이미지와 자신의 예측을 다시 검토하여 좌표를 수정하거나, 누락된 증거를 추가하거나, 상자의 밀도를 정교화합니다.

C. 지표

성능은 다음을 사용하여 측정됩니다:

• 최대 쌍별 IoU (MPIoU): 예측된 상자 중 하나와 정답 상자 중 하나 사이의 최상 중첩 (어떤 관련 영역이든 찾을 수 있는 능력을 측정).
• 구속 IoU (GIoU): 모든 예측된 상자의 합집합과 모든 정답 상자의 합집합 사이의 IoU (전체 추론 체인의 커버리지를 측정).
• F1 점수: 상자 수준의 정밀도와 재현율.

3. 주요 기여

1. 새로운 평가 작업: 증거 기반 추론을 도입하여 답의 정확도에서 시각적 정당화의 국소화로 초점을 전환했습니다.
2. DRAGON 데이터셋: 추론 증거에 대한 세밀한 경계 상자 주석이 포함된 2,445 개의 인스턴스로 구성된 인간이 검증한 다중 도메인 테스트 세트입니다.
3. 체계적 분석: 프롬프트 전략이 모델의 시각적 증거 구속 능력에 미치는 영향을 분해하기 위한 프레임워크 (EDGE, SAGE, VERGE) 를 설계했습니다.
4. 실증적 발견: 높은 답의 정확도가 강력한 증거 구속과 상관관계가 없음을 입증하여 현재 VLM 능력의 근본적인 격차를 드러냈습니다.

4. 실험 결과

이 연구는 8 개의 최첨단 VLM(Claude Opus 4.6, Kimi K2.5, Gemini 3 Pro 및 InternVL3.5 와 Qwen3.5 와 같은 오픈 가중치 모델 포함) 을 평가했습니다.

• 약한 구속 성능: 가장 잘 수행되는 모델조차도 증거 구속에서 어려움을 겪습니다.
  • 최고의 F1 점수는 낮았습니다: ChartQA 에서 9.5, Circuit-VQA 에서 5.7, InfographicsVQA 에서 4.0입니다.
  • MapIQ 와 AI2D 만 중간 정도의 성공을 보였습니다 (예: Claude Opus 4.6 은 MapIQ 에서 약 21.8 의 F1 점수에 도달했습니다).
• 국소화 대 커버리지 격차: 모델은 완전한 추론 체인을 포착하는 것보다 어떤 관련 영역을 찾는 데 더 능숙합니다.
  • MPIoU(대략적인 국소화) 는 GIoU 및 F1(완전한 증거) 보다 일관되게 훨씬 높습니다.
  • 예시: Claude Opus 4.6 은 MapIQ 에서 53.7 의 MPIoU 를 달성했지만 F1 은 21.8 에 불과했습니다. 이는 관련 영역을 찾았지만 중요한 지원 증거를 놓쳤음을 나타냅니다.
• 프롬프트 민감성:
  • 프롬프트 전략 (EDGE, SAGE, VERGE) 은 성능에 상당한 영향을 미치지만, 단일 전략이 모든 도메인을 지배하지는 않습니다.
  • VERGE는 종종 국소화 (MPIoU) 를 개선하지만, 완전한 증거 커버리지 (F1) 를 크게 개선하는 경우는 드뭅니다.
  • 프롬프트는 모델이 영역을 찾는 데 도움이 되지만, 누락된 증거 문제를 해결하지는 못합니다.
• 모델 차이:
  • 클로즈드 소스 모델(예: Claude Opus 4.6) 은 모든 도메인에서 오픈 가중치 모델보다 훨씬 뛰어난 성능을 발휘합니다.
  • 예시: MapIQ 에서 Claude Opus 4.6(F1: 21.8) 은 InternVL3.5-38B(F1: 2.0) 보다 압도적으로 우수한 성능을 보였습니다.
• 도메인 난이도:
  • Circuit-VQA와 InfographicsVQA는 밀집된 구조, 관계적 의존성, 시각적 혼란으로 인해 가장 어려운 도메인입니다.
  • MapIQ와 AI2D는 더 명확한 공간 배치와 명시적인 레이블로 인해 상대적으로 쉽습니다.

5. 중요성 및 결론

DRAGON은 멀티모달 AI 평가의 중요한 맹점을 해결합니다. 모델이 시각적 증거에 근거하지 않고도 정답을 낼 수 있음을 입증함으로써, 모델이 시각적 이해 대신 텍스트적 사전 지식을 이용하는 "단축 학습 (shortcut learning)"의 위험을 강조합니다.

주요 시사점:

• 정확도보다 충실성: 향후 DQA 연구는 답의 정확도와 함께 **추론의 충실성 (구속)**을 우선시해야 합니다.
• 벤치마킹 표준: DRAGON 은 단순한 답 매칭을 넘어 모델이 예측을 시각적 증거와 명시적으로 연결할 수 있는지 평가하는 표준화된 테스트베드를 제공합니다.
• 향후 방향: 저자들은 훈련 방법 (예: 강화 학습) 이 인간이 검증한 영역과 일치하는 증거 기반 추론을 생성하는 모델을 명시적으로 보상해야 한다고 제안합니다.

요약하자면, DRAGON 은 현재 VLM 이 다이어그램 질문에 답하는 데 능숙하지만, 이러한 답을 정당화하는 데 필요한 시각적 추론 능력을 입증하는 데는 크게 실패하고 있음을 보여줍니다. 이는 이러한 모델을 평가하고 훈련하는 방식의 전환이 필요함을 시사합니다.