The Automatic Verification of Image-Text Claims (AVerImaTeC) Shared Task

1. 문제 정의 (Problem Definition)

• 배경: 기존의 자동 사실 확인 (AFC) 연구는 주로 텍스트 기반 주장에 집중해 왔으나, 온라인 허위 정보는 이미지와 텍스트가 결합된 멀티모달 형태로 급증하고 있습니다.
• 한계점:
  • 기존 데이터셋은 대부분 인위적으로 생성된 (Synthetic) 데이터로, 실제 세계의 복잡한 상황과 분포 차이가 있어 모델의 실제 성능을 반영하지 못합니다.
  • 실제 세계 기반 데이터셋은 검증에 필요한 핵심 정보 (맥락, 참조 등) 가 누락되거나, 명시적인 증거 (Evidence) 주석이 부족하여 추론 과정을 평가하기 어렵습니다.
  • 시간적 누출 (Temporal Leakage) 문제: 검증 시점에 존재하지 않았던 정보가 모델 학습에 포함될 수 있는 문제가 발생합니다.
• 목표: 실제 fact-checking 기사에서 추출한 이미지 - 텍스트 주장에 대해, 적절한 증거를 검색하고 이를 기반으로 정확한 판정 (Verdict) 을 내리는 시스템을 개발하는 것입니다.

2. 방법론 및 데이터셋 (Methodology & Dataset)

2.1 AVerImaTeC 데이터셋

• 구성: 1,297 개의 실제 fact-checking 기사에서 추출한 이미지 - 텍스트 주장으로 구성됩니다.
• 주석 (Annotation): 각 주장에 대해 검증 과정을 질문 - 답변 (QA) 쌍의 시퀀스로 분해하고, 웹에서 검색된 증거로 지원합니다.
  • 시간적 제약: 모든 증거는 주장 날짜 이전에 출판된 것으로 제한하여 시간적 누출을 방지합니다.
  • 멀티모달 증거: 증거는 텍스트와 이미지로 구성되며, 이미지 증거는 텍스트 토큰 ([IMG_1] 등) 과 Base64 인코딩된 이미지로 표현됩니다.
  • 판정 클래스: 지지 (Supported), 반박 (Refuted), 증거 부족 (Not Enough Evidence), 상충/체리피킹 (Conflicting/Cherry-picking) 의 4 가지 클래스를 포함합니다.

2.2 지식 저장소 (Knowledge Store)

• 목적: 참가자들이 비용이 많이 드는 웹 검색 API 에 의존하지 않도록 하기 위해 제공된 선별된 지식 저장소입니다.
• 구성:
  • 텍스트 증거: 주장의 텍스트 및 이미지 성분 검증에 필요한 문서 (Google Search API 사용, 역이미지 검색 기반).
  • 이미지 증거: 역이미지 검색 (RIS) 을 통해 수집된 관련 이미지.
  • 노이즈 포함: 검증에 불필요하거나 모순되는 증거 (Adversarial evidence) 도 포함되어 실제 검색 환경의 난이도를 시뮬레이션합니다.

2.3 평가 지표 (Evaluation)

• AVerImaTeC 점수: 단순한 판정 정확도가 아닌, 조건부 판정 정확도입니다.
  • 시스템이 내린 판정이 '정답'으로 간주되려면, 해당 판정을 뒷받침하는 **증거 점수 (Evidence Score)**가 임계값 (0.3) 을 넘어야 합니다.
  • 이는 올바른 결론뿐만 아니라 올바른 근거를 제시했는지를 평가합니다.
• 기타 지표: 증거 회수율 (Recall), 질문 생성 점수, 정당화 (Justification) 점수 등을 보조 지표로 사용합니다.

3. 주요 기여 및 시스템 분석 (Key Contributions & System Analysis)

3.1 참가 시스템의 주요 기술적 통찰

14 개의 개발 단계 팀과 6 개의 테스트 단계 팀이 참여했으며, 상위 팀들은 다음과 같은 공통적인 전략을 사용했습니다.

• 검색 (Retrieval) 강화:

  • 이단계 검색 (Two-stage Retrieval): 희소 검색 (BM25) 으로 후보를 좁히고, 밀집 검색 (Dense Retrieval, e.g., mxbai-embed-largev1) 으로 의미적 유사성을 재랭킹하는 방식을 보편적으로 사용했습니다.
  • 멀티모달 검색: ColPali, SigLIP 등 멀티모달 임베딩 모델을 사용하여 이미지와 텍스트 간의 관계를 효과적으로 검색했습니다.
  • 스크래핑 기술 고도화: HUMANE 팀은 Playwright 를 사용하여 기존 지식 저장소의 빈 항목이나 저품질 콘텐츠를 보충하여 텍스트 증거 양을 24.4% 증가시켰습니다.
  • 다중 역이미지 검색 (RIS): Google Lens 와 Google Cloud Vision 등을 병행하여 이미지 관련 웹 페이지의 누락을 방지했습니다.

• 질문 생성 및 답변 (QA):

  • 모든 팀이 멀티모달 LLM (MLLM) 을 사용하여 검증 관련 질문을 생성했습니다.
  • Few-shot Learning: HUMANE 과 AIC CTU 팀은 학습 데이터를 활용한 few-shot 프롬핑으로 더 핵심적인 질문을 생성했습니다.
  • 반복적 QA (Iterative QA): HUMANE 과 REVEAL 팀은 이전 QA 결과를 기반으로 다음 질문을 생성하는 반복적 구조를 도입하여 복잡한 추론을 지원했습니다.

• 판정 (Verdict Prediction):

  • 개별 증거의 입장을 평가하는 것이 아니라, **모든 검색된 증거를 통합하여 공동 추론 (Joint Reasoning)**을 수행하는 방식이 유효했습니다.
  • 모든 4 가지 판정 클래스 (희귀 클래스 포함) 를 명시적으로 모델링했습니다.

3.2 인간 평가 (Human Evaluation)

• 자동 평가 방법과 인간 평가 간의 정합성을 분석하기 위해 100 개의 주장에 대해 인간 어노테이터가 평가했습니다.
• 결과: 인간 어노테이터 간의 일치도는 높았으나, 자동 평가 점수와 인간 평가 점수 간의 상관관계는 제한적이었습니다.
• 이유: 특히 HUMANE 팀처럼 텍스트만 증거로 제시한 경우, 인간 어노테이터는 이미지 증거의 부재를 불필요하다고 판단하는 반면, 자동 평가는 멀티모달 참조 증거와 비교하여 점수를 낮게 매기는 등 멀티모달 증거 표현의 불일치가 주요 원인으로 지적되었습니다.

4. 결과 (Results)

• 성능: 테스트 단계의 모든 시스템이 제공된 베이스라인 (0.1136) 을 능가했습니다.
• 우승 팀 (HUMANE): AVerImaTeC 점수 0.5455를 기록하여 1 위를 차지했습니다.
  • 고급 스크래핑 기술과 정교한 검색 파이프라인, 그리고 Gemini-2.5-Pro 와 같은 폐쇄형 모델의 활용이 주효했습니다.
• 성능 격차: 상위 팀 (HUMANE, ADA-AGGR) 은 이벤트/속성 (Event/Property) 및 미디어 분석 (Media Analysis) 유형의 주장에서 높은 성능을 보였으나, 인과 관계 (Causal) 주장이나 증거 부족 (NEE) 판정에서는 여전히 낮은 성능을 보였습니다.
• 모델 유형: 상위 팀들은 대부분 성능이 뛰어난 폐쇄형 모델 (Closed-source models) 을 사용했으나, ADA-AGGR 팀은 오픈 가중치 모델의 파인튜닝을 시도하며 가능성을 보여주었습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 실제 적용 가능성: 인위적 데이터가 아닌 실제 fact-checking 기반 데이터셋을 통해 멀티모달 허위 정보 검증의 실질적인 난이도를 제시했습니다.
• 기술적 교훈:
  1. 고급 스크래핑의 중요성: 단순한 텍스트 추출을 넘어 브라우저 자동화 도구를 활용한 콘텐츠 수집이 필수적입니다.
  2. 다중 검색 엔진의 필요성: 단일 역이미지 검색 엔진의 한계를 극복하기 위해 여러 엔진을 병행해야 합니다.
  3. 오픈 소스 모델의 발전 필요: 현재는 폐쇄형 모델이 우세하지만, 오픈 소스 모델의 파인튜닝과 훈련 데이터 활용을 통해 성능 격차를 줄이는 연구가 필요합니다.
• 남은 과제:
  • 정보 추구 질문 (Information-seeking queries) 생성의 필수성 여부.
  • 검색된 증거를 QA 단계를 통해 정제할 필요성.
  • 반복적 QA 의 효과성.
  • 멀티모달 증거 평가를 위한 인간 평가와 더 정합적인 자동 평가 방법론 개발.

이 논문은 이미지 - 텍스트 주장 검증 분야에서 시스템 설계의 방향성을 제시하고, 향후 연구가 해결해야 할 핵심적인 기술적, 평가적 과제를 명확히 정의했다는 점에서 중요한 의의를 가집니다.