Resumen Técnico: RW-Post – Verificación de Hechos Multimodal Auditable y Basada en Evidencia en el Mundo Real

1. Declaración del Problema

La proliferación de las redes sociales ha acelerado la difusión de desinformación multimodal persuasiva, donde imágenes y videos son manipulados o reaprovechados para reforzar textos engañosos, lo que plantea riesgos significativos para la salud pública y el comportamiento social. Si bien la inteligencia artificial generativa reduce aún más el costo de producir contenido engañoso realista, los sistemas de verificación automatizada existentes enfrentan limitaciones críticas:

• Uso Superficial de la Evidencia: Los enfoques actuales a menudo dependen de coincidencias superficiales o carecen de una fundamentación fiel en fuentes verificables.
• Falta de Puntos de Referencia Auditable: Existe una escasez de puntos de referencia que proporcionen conjuntamente afirmaciones multimodales del mundo real, trazas de razonamiento auditable y evidencia vinculada explícitamente.
• Pérdida de Contexto: Muchos conjuntos de datos no preservan el contexto original de la publicación en redes sociales, lo cual es crítico para una verificación precisa.
• Brechas en la Evaluación: Los métodos existentes luchan con la "fidelidad", donde los modelos generan justificaciones fluidas pero alucinatorias no respaldadas por fuentes verificables, particularmente en entornos de web abierta.

2. Metodología

A. El Punto de Referencia RW-Post

Los autores introducen RW-Post, un punto de referencia alineado con publicaciones de texto e imagen diseñado para la verificación de hechos multimodal en el mundo real con anotaciones auditable.

• Construcción de Datos: El conjunto de datos se deriva de 13,000 artículos de verificación de hechos de Snopes (2017–2024).
• Pipeline de Extracción: Un pipeline de extracción y auditoría asistido por un LLM convierte los artículos HTML en una representación de "texto con URL etiquetadas". Esto preserva la posición contextual de los enlaces, permitiendo que el modelo distinga entre la publicación original, imágenes, razonamiento y evidencia externa.
• Estructura de Anotación: Cada instancia vincula:
  1. La publicación original en redes sociales (texto e imagen).
  2. Trazas de razonamiento estructuradas (lógica y puntos clave).
  3. Elementos de evidencia vinculados explícitamente (con IDs estables y URLs de origen) derivados de artículos de verificación de hechos escritos por humanos.
• Control de Calidad: El pipeline incluye filtrado de relevancia multimodal (eliminando afirmaciones donde las imágenes son irrelevantes), filtrado de fugas de marcas de agua (eliminando imágenes con etiquetas de "falso" o "falsedad") y validación humana para asegurar la alineación entre razonamiento y evidencia.
• Régimen de Evaluación: RW-Post admite tres configuraciones de evaluación complementarias:
  1. Libro Cerrado: Los modelos observan solo la publicación y la imagen.
  2. Evidencia Acotada: Los modelos reciben la publicación más un conjunto fijo de elementos de evidencia oráculo.
  3. Web Abierta: Los modelos recuperan evidencia mediante búsqueda web bajo un protocolo estandarizado y controlado contra fugas (filtrando sitios conocidos de verificación de hechos y fuentes con fechas posteriores a la publicación).

B. Pipeline de Verificación de Referencia: AgentFact

Para establecer líneas base, los autores proponen AgentFact, un marco de verificación modular basado en agentes que integra planificación de estrategias, recuperación de evidencia, análisis visual, razonamiento y generación de explicaciones.

• Agent-SP (Planificación de Estrategia): Genera un plan de verificación, incluyendo listas de validación e intenciones de búsqueda.
• Agent-TR (Recuperación de Evidencia Textual): Recupera y filtra evidencia textual, evaluando la fiabilidad de la fuente (confiable, no confiable, sátira, incierto).
• Agent-IR (Recuperación y Análisis de Imágenes): Realiza búsquedas inversas de imágenes para detectar manipulación visual, subtítulos erróneos y deepfakes.
• Agent-R (Razonamiento): Ejecuta el plan de verificación paso a paso, fundamentando el razonamiento en la evidencia recuperada y evaluando la confianza.
• Agent-EG (Generación de Explicación): Produce una explicación estructurada con citas explícitas de IDs de evidencia.
• Flujo de Trabajo: El sistema opera en un buque iterativo de recuperación–razonamiento, alternando entre la adquisición de evidencia y el razonamiento fundamentado en evidencia hasta alcanzar una predicción de veracidad.

3. Contribuciones Clave

1. Punto de Referencia RW-Post: Un nuevo punto de referencia para la verificación de hechos multimodal explicable que presenta afirmaciones alineadas con publicaciones, trazas de razonamiento y evidencia fundamentada en fuentes, abordando la brecha en los conjuntos de datos existentes que carecen de contexto original o enlaces de evidencia auditable.
2. Pipeline de Extracción: Un pipeline asistido por LLM para extraer y auditar razonamiento y evidencia de artículos de verificación de hechos escritos por humanos, asegurando anotaciones estructuradas y verificables.
3. Marco AgentFact y Líneas Base: Un agente de verificación de referencia y una evaluación exhaustiva de potentes Modelos de Lenguaje y Visión Grandes (LVLM) de código abierto bajo protocolos controlados de libro cerrado, evidencia acotada y web abierta.

4. Resultados Experimentales

A. Rendimiento de Extremo a Extremo en Web Abierta

• Verificación de Hechos (3 clases): AgentFact logró el mejor rendimiento entre los sistemas de verificación de hechos en RW-Post, ClaimReview2024+ y Mocheg en términos de Macro-F1, F1 Ponderado y Precisión. Demostró un manejo superior del desequilibrio de clases en comparación con líneas base aumentadas por recuperación como LEMMA y DEFAME.
• Detección de Fuera de Contexto (OOC) (Binario): En el conjunto de datos NewsCLIPpings, detectores especializados de OOC (CCN, Sniffer) superaron a los sistemas de verificación de hechos de propósito general, destacando la naturaleza distinta de la detección fuera de contexto frente a la verificación de hechos en web abierta.

B. Evaluación Controlada (LVLMs)

• Impacto de la Evidencia: Proporcionar evidencia (T+E) mejoró sustancialmente el rendimiento de todos los modelos. Por ejemplo, el F1 Ponderado de GPT-4o-mini saltó de 25.4 (libro cerrado) a 85.1 (evidencia acotada). Los LVLM de código abierto (LLaVA-1.5, Qwen2-VL-Chat) también vieron ganancias significativas, pero permanecieron muy por debajo de las líneas base de código cerrado.
• Desafíos de Fundamentación Visual: Agregar imágenes a la entrada (T+I o T+I+E) produjo ganancias limitadas o incluso negativas en configuraciones de evidencia acotada. Esto sugiere que los LVLM actuales luchan por integrar efectivamente señales visuales con evidencia textual, a menudo fallando en fundamentar el análisis visual en el contexto proporcionado.
• Refutación e Incertidumbre: Los modelos tuvieron mejor desempeño al confirmar afirmaciones respaldadas (Verdadero) que al rechazar desinformación (Falso) o manejar casos "No Probado", indicando dificultades en la abstención calibrada.
• Cumplimiento de Formato: Los LVLM de código abierto mostraron tasas de éxito de formato significativamente más bajas (50–86%) en comparación con GPT-4o-mini (100%), lo que indica que generar salidas estructuradas y fundamentadas en evidencia sigue siendo un desafío no trivial.

C. Explicabilidad y Evaluación Humana

La evaluación humana de 40 instancias muestreadas reveló:

• Verdad Terrena: Las justificaciones anotadas por humanos alcanzaron puntuaciones de fidelidad casi perfectas (0.94–1.00).
• Rendimiento del Modelo: AgentFact superó significativamente a LEMMA en fidelidad del razonamiento, uso de evidencia y justificación de etiquetas (p < 10⁻⁵).
• Modos de Fallo: Los estudios de caso destacaron una "fundamentación contextual débil", donde los modelos recuperaron texto que sonaba relevante pero no lograron capturar el verdadero contexto a nivel de evento de las imágenes (por ejemplo, identificando incorrectamente el evento específico o los participantes).

D. Estudio de Ablación

Eliminar el Agente de Recuperación de Evidencia Textual (Agent-TR) causó la mayor caída de rendimiento, confirmando que es el componente más crítico. Eliminar el Agente de Planificación de Estrategia o el Agente de Análisis de Imágenes también resultó en disminuciones medibles, validando los roles complementarios de los agentes modulares.

5. Significado y Afirmaciones

El artículo afirma que RW-Post proporciona una plataforma de pruebas necesaria para avanzar en la investigación sobre la verificación de hechos multimodal consciente de la evidencia. Los experimentos demuestran un "margen de mejora" sustancial para los modelos actuales:

• La Evidencia es Dominante: La fundamentación de evidencia confiable es el principal impulsor del rendimiento; sin ella, incluso los modelos fuertes luchan.
• La Fundamentación Visual es Difícil: A pesar de la naturaleza multimodal de la tarea, los LVLM actuales no logran utilizar efectivamente las señales visuales cuando se combinan con evidencia textual, dependiendo a menudo de coincidencias de texto superficiales.
• La Fidelidad Importa: El punto de referencia expone la prevalencia de razonamiento alucinatorio y uso indebido de evidencia en los sistemas actuales, enfatizando la necesidad de protocolos de evaluación que auditen el vínculo entre el razonamiento y las fuentes verificables.

Los autores concluyen que, si bien la evaluación acotada por evidencia mejora la precisión y la fidelidad, la verificación multimodal robusta en el mundo real sigue siendo un desafío abierto, particularmente en lo que respecta a la fundamentación visual y el manejo de la incertidumbre.