기술 요약: RW-Post 및 AgentFact

문제 제기

소셜 미디어의 확산은 조작되거나 재사용된 이미지가 오해의 소지가 있는 텍스트를 강화하는 설득력 있는 다중 모달 허위 정보의 전파를 가속화하여 공중보건과 사회 행동에 중대한 위험을 초래하고 있습니다. 최근 생성형 AI의 발전은 기만적 콘텐츠 제작 비용을 낮췄지만, 기존 자동화된 검증 시스템은 중요한 한계에 직면해 있습니다. 현재 접근 방식은 종종 좁은 하위 작업 (예: 문맥이 벗어난 이미지 감지 또는 딥페이크 감지) 에 초점을 맞추거나, 얕은 증거 활용을 기반으로 하는 대규모 언어 모델 (LLM) 과 대규모 비전 - 언어 모델 (LVLM) 에 의존합니다. 주요 과제는 **정확성 (faithfulness)**입니다. 모델은 종종 환각된 추론이나 증거 오용을 포함하는 유창한 근거를 생성하며, 검증 가능한 출처에 기반을 두지 못합니다. 더 나아가, 이 분야는 인간 사실 확인 기사에서 파생된 실제 세계 다중 모달 주장, 감사 가능한 추론 흔적, 그리고 명시적으로 연결된 증거를 함께 제공하는 벤치마크가 부족합니다.

방법론

1. RW-Post: 게시물 정렬형 다중 모달 사실 확인 벤치마크

기존 데이터셋의 격차를 해소하기 위해 저자들은 설명 가능하고 증거 기반인 다중 모달 사실 확인을 위해 설계된 RW-Post 벤치마크를 소개합니다.

• 데이터 구축: 이 데이터셋은 2017 년부터 2024 년까지의 13,000 건의 Snopes 사실 확인 기사에서 구축되었습니다. 저자들은 HTML 기사를 "태그가 지정된 URL 이 포함된 텍스트" 표현으로 재포맷하기 위해 LLM 지원 추출 및 감사 파이프라인을 사용합니다. 이는 링크의 문맥적 위치를 보존하여 LLM 이 원본 소셜 미디어 게시물, 이미지, 추론 흔적 및 증거를 신뢰성 있게 추출할 수 있도록 합니다.
• 주석 및 품질 관리:
  • 재레이블링: 일관성을 보장하기 위해 원래 Snopes 라벨은 5 가지 상위 범주 (True, False, Unproven, Mixture, Outdated) 로 통합되었습니다.
  • 필터링: 자동화 및 인간 검증 단계를 통해 텍스트가 부족하거나 해상도가 낮은 이미지, 또는 "레이블 누출" (예: 'fake'또는 'false'와 같은 워터마크가 포함된 이미지) 이 포함된 기사는 제거됩니다.
  • 증거 정렬: 데이터셋은 추론 핵심 포인트를 안정적인 ID 와 URL 을 가진 특정 증거 항목 (텍스트, 이미지, 비디오) 에 명시적으로 연결합니다.
• 평가 체계: RW-Post 는 세 가지 상호 보완적인 평가 모드를 지원합니다:
  1. 클로즈드북 (Closed-book): 모델은 게시물 텍스트와 이미지만 관찰합니다.
  2. 증거 제한 (Evidence-bounded): 모델은 게시물과 데이터셋에서 가져온 고정된 오라클 증거 항목 세트를 받습니다.
  3. 오픈웹 (Open-web): 모델은 표준화된 누출 통제 프로토콜 하에 (기존 사실 확인 사이트와 게시일 이후 소스를 필터링하여) 웹 검색을 통해 증거를 검색합니다.

2. AgentFact: 참조 검증 파이프라인

저자들은 오픈웹 검증을 위한 참조 기준선으로 기능하는 모듈식 에이전트 기반 프레임워크인 AgentFact를 제안합니다. 이는 검증 작업을 5 가지 전문 에이전트가 반복적인 검색 - 추론 워크플로우에서 작동하도록 분해합니다:

1. 전략 계획 에이전트 (Agent-SP): 추론 단계, 검증 목록 및 검색 의도를 포함하는 검증 계획을 생성합니다.
2. 텍스트 증거 검색 에이전트 (Agent-TR): 웹 증거를 검색하고 결과를 필터링하며 출처 신뢰도를 평가합니다 (출처를 신뢰할 수 있음, 신뢰할 수 없음, 풍자, 불확실로 분류).
3. 이미지 검색 및 분석 에이전트 (Agent-IR): 시각적 불일치 (거의 동일한 이미지, 동일 사건 이미지, 시각적 위조, 잘못된 캡션 포함) 를 감지하기 위해 역이미지 검색을 수행합니다.
4. 추론 에이전트 (Agent-R): 주장, 게시물 문맥 및 검색된 증거를 통합하여 단계별 추론을 수행하고 진실성 라벨 및 신뢰도 점수를 생성합니다.
5. 설명 생성 에이전트 (Agent-EG): 추론과 증거를 명시적인 인용문이 포함된 구조화된 설명으로 종합합니다.

주요 기여

1. RW-Post 벤치마크: 주장과 원본 게시물을 정렬하고 감사 가능한 추론 흔적 및 출처 기반 증거를 제공하는 실제 세계 다중 모달 사실 확인 벤치마크를 도입했습니다. 이는 감시를 위한 명시적인 증거 - 추론 정렬을 제공하는 최초의 벤치마크입니다.
2. 추출 파이프라인: 인간이 작성한 사실 확인 기사에서 추론과 증거를 추출하고 감사하기 위한 새로운 LLM 지원 파이프라인으로, 고품질 구조화된 주석을 보장합니다.
3. AgentFact 프레임워크 및 기준선: 참조 검증 에이전트로서의 AgentFact 제공과 통합된 클로즈드북, 증거 제한, 오픈웹 프로토콜 하에서 강력한 오픈소스 및 클로즈드소스 LVLM 들의 벤치마킹을 제공합니다.

실험 결과

저자들은 RW-Post, Mocheg, CLAIMREVIEW2024+, NewsCLIPpings 등 여러 데이터셋에 대해 AgentFact 와 다양한 LVLM 기준선 (LLaVA-1.5, Qwen2-VL-Chat, GPT-4o-mini) 을 평가했습니다.

• 오픈웹 성능: AgentFact 는 Macro-F1, Weighted-F1 및 정확도 측면에서 RW-Post 와 CLAIMREVIEW2024+ 에서 사실 확인 시스템 중 가장 좋은 성과를 거두었으며, LEMMA 와 DEFAME 와 같은 검색 증강 기준선보다 우수한 성능을 보였습니다.
• 증거의 영향: RW-Post 에 대한 통제된 평가에서 증거 제공 (증거 제한 설정) 은 모든 모델의 성능을 크게 향상시켰습니다. 예를 들어, GPT-4o-mini 의 Weighted-F1 은 클로즈드북 (25.4) 에서 증거 제한 (85.1) 으로 증가했습니다.
• 시각적 그라운딩 과제: 입력에 이미지를 추가하는 것 (T+I 또는 T+I+E) 은 텍스트만 있거나 텍스트 + 증거 입력에 비해 제한적이거나 부정적인 향상을 보였습니다. 이는 현재 LVLM 들이 텍스트 증거와 시각적 신호를 효과적으로 통합하는 데 어려움을 겪으며, 증거가 있을 때에도 이미지 검증을 활용하지 못하는 경우가 많음을 시사합니다.
• 정확성과 환각: 인간 평가 결과, 실제 진실 (ground-truth) 근거는 매우 정확하지만 모델 출력은 추론 및 증거 사용에 대한 환각을 겪는 것으로 나타났습니다. AgentFact 는 정확성 점수에서 LEMMA 를 크게 앞섰지만, 여전히 인간 주석보다는 뒤처졌습니다.
• 형식 준수: 오픈소스 LVLM 들은 GPT-4o-mini 에 비해 형식 성공률 (FSR) 이 현저히 낮아, 구조화된 증거 기반 출력 생성이 오픈 모델에게 여전히 단순하지 않은 과제임을 나타냅니다.

중요성 및 주장

이 논문은 RW-Post 가 다중 모달 검증 연구에 상당한 "여유분 (headroom)"을 드러낸다고 주장합니다. 실험은 현재 모델들이 정확한 증거 그라운딩과 시각적 정보 추론에 어려움을 겪고 있지만, 증거 제한 평가가 정확성과 정확성 모두를 크게 향상시킨다는 것을 보여줍니다. 저자들은 RW-Post 가 얕은 매칭을 넘어 엄격하고 감사 가능한 사실 확인으로 나아가기 위해 시각적 그라운딩과 증거 활용을 체계적으로 진단하는 데 필요한 테스트베드를 제공한다고 주장합니다. 이 연구는 신뢰할 수 있는 증거가 검증 성능의 지배적 요인임을 강조하는 반면, 견고한 다중 모달 반박과 문맥적 그라운딩은 여전히 해결되지 않은 과제임을 지적합니다. 데이터셋과 코드는 증거 인식 다중 모달 사실 확인에 대한 향후 연구를 촉진하기 위해 공개되었습니다.