기술 요약: RW-Post – 야생 환경에서 검증 가능한 증거 기반 멀티모달 사실 확인

1. 문제 제기

소셜 미디어의 확산은 이미지와 동영상이 조작되거나 재사용되어 오해의 소지가 있는 텍스트를 강화하는 설득력 있는 멀티모달 허위 정보의 확산을 가속화하여, 공중보건과 사회적 행동에 중대한 위험을 초래하고 있습니다. 생성형 AI 가 사실과 다른 현실적인 콘텐츠 제작 비용을 더욱 낮추고 있는 반면, 기존 자동 검증 시스템은 다음과 같은 중대한 한계에 직면해 있습니다:

• 얕은 증거 활용: 현재 접근 방식은 종종 얕은 매칭에 의존하거나 검증 가능한 출처에 대한 충실한 근거를 결여하고 있습니다.
• 검증 가능한 벤치마크 부재: 실제 세계의 멀티모달 주장, 검증 가능한 추론 흔적, 그리고 명시적으로 연결된 증거를 함께 제공하는 벤치마크가 부족합니다.
• 맥락 손실: 많은 데이터셋은 정확한 검증을 위해 필수적인 원래 소셜 미디어 게시물의 맥락을 보존하지 못합니다.
• 평가 간극: 기존 방법들은 특히 오픈 웹 환경에서 검증 가능한 출처에 의해 지지되지 않는 유창하지만 환각된 추론을 생성하는 '충실성 (faithfulness)' 문제와 씨름하고 있습니다.

2. 방법론

A. RW-Post 벤치마크

저자들은 검증 가능한 주석이 달린 실제 세계 멀티모달 사실 확인을 위해 설계된 게시물 정렬 텍스트 - 이미지 벤치마크인 RW-Post를 소개합니다.

• 데이터 구축: 이 데이터셋은 2017 년부터 2024 년까지의 13,000 건의 Snopes 사실 확인 기사에서 파생되었습니다.
• 추출 파이프라인: LLM 보조 추출 및 감사 파이프라인이 HTML 기사를 '태그된 URL 이 포함된 텍스트' 표현으로 변환합니다. 이는 링크의 맥락적 위치를 보존하여 모델이 원래 게시물, 이미지, 추론, 외부 증거를 구분할 수 있게 합니다.
• 주석 구조: 각 인스턴스는 다음을 연결합니다:
  1. 원래 소셜 미디어 게시물 (텍스트 및 이미지).
  2. 구조화된 추론 흔적 (논리와 핵심 포인트).
  3. 인간이 작성한 사실 확인 기사에서 파생된 명시적으로 연결된 증거 항목 (안정적인 ID 와 출처 URL 포함).
• 품질 관리: 파이프라인에는 멀티모달 관련성 필터링 (이미지가 관련 없는 주장 제거), 워터마크 누출 필터링 ('가짜'또는 '거짓'라벨이 있는 이미지 제거), 그리고 추론과 증거의 정합성을 보장하기 위한 인간 검증을 포함합니다.
• 평가 체계: RW-Post 는 세 가지 상호 보완적인 평가 설정을 지원합니다:
  1. 클로즈드북: 모델은 게시물과 이미지만 관찰합니다.
  2. 증거 한정: 모델은 게시물과 고정된 오라클 증거 항목 세트를 받습니다.
  3. 오픈웹: 모델은 표준화된 누출 통제 프로토콜 (기존 사실 확인 사이트와 게시일 이후 출처 필터링) 하에 웹 검색을 통해 증거를 검색합니다.

B. 참조 검증 파이프라인: AgentFact

기준선을 확립하기 위해 저자들은 전략 계획, 증거 검색, 시각 분석, 추론, 그리고 설명 생성을 통합하는 모듈형 에이전트 기반 검증 프레임워크인 AgentFact를 제안합니다.

• Agent-SP (전략 계획): 검증 계획, 검증 목록 및 검색 의도를 생성합니다.
• Agent-TR (텍스트 증거 검색): 텍스트 증거를 검색하고 필터링하며 출처 신뢰도 (신뢰할 수 있음, 신뢰할 수 없음, 풍자, 불확실) 를 평가합니다.
• Agent-IR (이미지 검색 및 분석): 시각적 조작, 잘못된 캡션, 딥페이크를 탐지하기 위해 역이미지 검색을 수행합니다.
• Agent-R (추론): 검색된 증거에 근거하여 추론을 검증 계획 단계별로 실행하고 신뢰도를 평가합니다.
• Agent-EG (설명 생성): 명시적인 증거-ID 인용을 포함한 구조화된 설명을 생성합니다.
• 작업 흐름: 이 시스템은 증거 획득과 증거 기반 추론을 번갈아 수행하며 진실성 예측에 도달할 때까지 반복적인 검색 - 추론 루프에서 작동합니다.

3. 주요 기여

1. RW-Post 벤치마크: 기존 데이터셋이 원래 맥락이나 검증 가능한 증거 링크를 결여하고 있는 격차를 해소하는, 게시물 정렬 주장, 추론 흔적, 그리고 출처 기반 증거를 특징으로 하는 설명 가능한 멀티모달 사실 확인을 위한 새로운 벤치마크입니다.
2. 추출 파이프라인: 인간이 작성한 사실 확인 기사에서 추론과 증거를 추출하고 감사하기 위한 LLM 보조 파이프라인으로, 구조화되고 검증 가능한 주석을 보장합니다.
3. AgentFact 프레임워크 및 기준선: 통제된 클로즈드북, 증거 한정, 그리고 오픈웹 프로토콜 하에서 강력한 오픈소스 대형 비전 - 언어 모델 (LVLM) 을 종합적으로 벤치마킹한 참조 검증 에이전트입니다.

4. 실험 결과

A. 오픈웹 엔드투엔드 성능

• 사실 확인 (3 클래스): AgentFact 는 RW-Post, ClaimReview2024+, Mocheg 에서 Macro-F1, Weighted-F1, 정확도 측면에서 사실 확인 시스템 중 최고의 성능을 달성했습니다. LEMMA 나 DEFAME 과 같은 검색 증강 기준선보다 클래스 불균형을 훨씬 잘 처리함을 보여주었습니다.
• OOC 탐지 (이진): NewsCLIPpings 데이터셋에서 전문 OOC 탐지기 (CCN, Sniffer) 가 범용 사실 확인 시스템보다 우수한 성능을 보였으며, 이는 오픈웹 사실 확인과 대비되는 맥락 이탈 탐지의 고유한 특성을 강조합니다.

B. 통제된 벤치마킹 (LVLMs)

• 증거 영향: 증거 제공 (T+E) 은 모든 모델의 성능을 크게 향상시켰습니다. 예를 들어, GPT-4o-mini 의 Weighted-F1 은 클로즈드북 (25.4) 에서 증거 한정 (85.1) 으로 급격히 상승했습니다. 오픈소스 LVLM(LLaVA-1.5, Qwen2-VL-Chat) 도 유의미한 향상을 보였으나 여전히 클로즈드소스 기준선에는 훨씬 미치지 못했습니다.
• 시각적 근거화 과제: 입력에 이미지를 추가 (T+I 또는 T+I+E) 하는 것은 증거 한정 설정에서 제한적이거나 심지어 부정적인 효과를 낳았습니다. 이는 현재 LVLM 이 제공된 맥락에서 시각적 분석을 근거화하지 못하고 종종 텍스트 증거와 시각적 신호를 효과적으로 통합하지 못함을 시사합니다.
• 반박과 불확실성: 모델들은 지지되는 주장 (True) 을 확인하는 데는 더 잘 수행했으나, 허위 정보를 거부 (False) 하거나 '미확인' (Unproven) 사례를 처리하는 데는 더 어려움을 겪어, 보정된 기피 (abstention) 의 어려움을 나타냈습니다.
• 형식 준수: 오픈소스 LVLM 은 GPT-4o-mini(100%) 에 비해 형식 성공률 (50–86%) 이 현저히 낮아, 구조화되고 증거 기반의 출력을 생성하는 것이 여전히 만만치 않은 과제임을 나타냈습니다.

C. 설명 가능성 및 인간 평가

40 개의 샘플 인스턴스에 대한 인간 평가는 다음을 드러냈습니다:

• 진실: 인간이 주석한 추론은 거의 완벽한 충실성 점수 (0.94–1.00) 를 달성했습니다.
• 모델 성능: AgentFact 는 추론 충실성, 증거 활용, 라벨 정당화 측면에서 LEMMA 를 유의미하게 능가했습니다 (p < 10⁻⁵).
• 실패 모드: 사례 연구는 '약한 맥락적 근거화'를 강조했는데, 여기서 모델들은 관련 있어 보이는 텍스트를 검색했지만 이미지의 실제 사건 수준 맥락 (예: 특정 사건 또는 참여자 오인식) 을 포착하지 못했습니다.

D. 제거 분석

**텍스트 증거 검색 에이전트 (Agent-TR)**를 제거하면 가장 큰 성능 저하가 발생하여 이를 가장 중요한 구성 요소로 확인했습니다. 전략 계획 에이전트나 이미지 분석 에이전트를 제거해도 측정 가능한 감소가 발생하여 모듈형 에이전트의 상호 보완적 역할을 검증했습니다.

5. 중요성 및 주장

이 논문은 RW-Post가 증거 인식 멀티모달 사실 확인 연구 발전을 위한 필수적인 테스트베드를 제공한다고 주장합니다. 실험은 현재 모델들이 상당한 '여유분 (headroom)'을 가지고 있음을 보여줍니다:

• 증거가 지배적입니다: 신뢰할 수 있는 증거 근거화는 성능의 주요 동인입니다. 증거가 없으면 강력한 모델조차도 어려움을 겪습니다.
• 시각적 근거화는 어렵습니다: 작업의 멀티모달 특성에도 불구하고, 현재 LVLM 은 텍스트 증거와 결합될 때 시각적 신호를 효과적으로 활용하지 못하며 종종 표면 수준의 텍스트 매칭에 의존합니다.
• 충실성이 중요합니다: 이 벤치마크는 현재 시스템에서 환각된 추론과 증거 오용의 만연성을 드러내어, 추론과 검증 가능한 출처 간의 연결을 감사하는 평가 프로토콜의 필요성을 강조합니다.

저자들은 증거 한정 평가가 정확성과 충실성을 향상시키지만, 특히 시각적 근거화와 불확실성 처리와 관련하여 야생 환경에서의 견고한 멀티모달 검증은 여전히 열려 있는 과제라고 결론지었습니다.