FactAppeal: Identifying Epistemic Factual Appeals in News Media

1. El Problema: La Brecha en la Verificación de Hechos

El artículo aborda una limitación crítica en la investigación actual sobre detección y verificación de hechos (fact-checking). Aunque existen avances significativos en la identificación de afirmaciones falsas o verdaderas (ej. FEVER, SciFact), la mayoría de los métodos existentes analizan el contenido de las afirmaciones de forma aislada.

El problema central es que ignoran las estructuras epistémicas que otorgan credibilidad y fuerza persuasiva a una afirmación. En los medios de comunicación, la validez de un hecho no depende solo de su contenido, sino de cómo se ancla a fuentes externas (testimonios, expertos, evidencia directa). El trabajo propone llenar esta brecha definiendo una nueva tarea: la Identificación de Apelaciones Epistémicas.

2. Metodología y Propuesta

A. La Tarea: Identificación de Apelaciones Epistémicas

Se define como la capacidad de un sistema para:

1. Determinar si una oración contiene una afirmación factual (sobre el estado del mundo externo).
2. Identificar si dicha afirmación se apoya en una fuente externa o evidencia.
3. Clasificar la naturaleza de esa apelación (tipo de fuente, método de cita, credenciales, etc.).

B. El Dataset: FACTAPPEAL

Para avanzar en esta tarea, los autores presentan FACTAPPEAL, un nuevo recurso de datos con las siguientes características:

• Volumen: 3,226 oraciones en inglés extraídas de artículos de noticias (2020-2022).
• Anotación: Nivel de fragmento (span-level), lo que permite diferenciar dentro de una misma oración entre la afirmación factual, la fuente y los atributos de la fuente.
• Esquema de Etiquetado: Incluye etiquetas para:
  • Hechos sin apelación: Afirmaciones factuales sin fuente citada.
  • Hechos con apelación: Afirmaciones que citan una fuente.
  • Tipo de Fuente: Clasificación jerárquica basada en la proximidad al evento (Interno vs. Externo) y la naturaleza (Humano vs. No humano). Las categorías incluyen:
    • Internos: Participante activo, Testigo, Evidencia directa, Funcionario.
    • Externos: Experto, Documento de experto, Reporte de noticias.
  • Atributos: Si la fuente es nombrada o anónima, su rol/título, y el método de cita (cita directa vs. indirecta/parafraseo).
  • Contexto: Destinatario de la información, tiempo y lugar de la apelación.

C. Evaluación y Modelado

Los autores evaluaron dos estrategias de modelado en el conjunto de prueba:

1. Modelos Codificadores (Encoders): Clasificación multietiqueta a nivel de token utilizando modelos como RoBERTa, DeBERTa v3 y ModernBERT.
2. Modelos Generativos (Decoders): Modelos de lenguaje grandes (LLMs) entrenados para generar la oración anotada en formato XML a partir de la oración cruda. Se probaron modelos en el rango de 2B a 9B parámetros (Gemma 2, Llama 3.1, Mistral).

3. Resultados Clave

• Rendimiento General: El modelo de mejor desempeño fue Gemma 2 9B, alcanzando una puntuación Macro-F1 de 0.73.
• Comparación de Arquitecturas:
  • Los modelos generativos (especialmente los de mayor tamaño) superaron ligeramente a los codificadores tradicionales.
  • Los modelos codificadores mostraron una mayor variabilidad en el rendimiento según la categoría de la etiqueta y una correlación más fuerte entre la frecuencia de las etiquetas y el puntaje F1 (lo que sugiere que les cuesta más generalizar en clases minoritarias).
  • Los modelos generativos demostraron ser más robustos para capturar las relaciones complejas y anidadas de las apelaciones epistémicas.
• Análisis de Etiquetas:
  • Las etiquetas más comunes son "Hecho sin apelación" y "Cita indirecta".
  • Las fuentes más frecuentes son participantes activos, documentos de expertos y reportes de noticias.
  • Las categorías más difíciles de detectar incluyen "Evidencia directa" y "Participante activo" debido a su menor frecuencia en los datos.

4. Contribuciones Principales

1. Nuevo Dataset y Tarea: FACTAPPEAL es el primer recurso que no solo detecta hechos, sino que desglosa la estructura epistémica subyacente (quién dice qué, cómo y con qué autoridad).
2. Esquema de Anotación Granular: Proporciona una taxonomía detallada de las fuentes de autoridad epistémica, diferenciando entre conocimiento basado en experiencia directa (testigos, participantes) y conocimiento basado en experiencia experta (científicos, informes).
3. Avance en Modelado: Demuestra que los modelos generativos de lenguaje (LLMs) son superiores a los enfoques tradicionales de codificadores para tareas que requieren razonamiento estructural complejo sobre la credibilidad y la atribución.
4. Herramienta para Ciencias Sociales: Ofrece un marco computacional para estudiar cómo los medios construyen la verdad, lo cual es vital para la filosofía política, la epistemología social y el análisis de la polarización.

5. Significado e Impacto

Este trabajo es fundamental para el futuro de la verificación automatizada de hechos. Al entender cómo se justifica una afirmación (la fuente y su credibilidad), los sistemas de IA pueden:

• Mejorar la detección de desinformación al identificar apelaciones a fuentes falsas o poco fiables.
• Analizar la dinámica del discurso público y cómo se construyen los consensos o desacuerdos.
• Proporcionar herramientas para que los verificadores humanos trabajen más rápido, priorizando afirmaciones que carecen de apelaciones epistémicas o que dependen de fuentes dudosas.

Limitaciones: El dataset se limita al nivel de oración (no párrafos completos), es solo en inglés y cubre un periodo temporal específico (2020-2022), lo que sugiere direcciones para futuras investigaciones en contextos multilingües y de mayor escala.