Resumen Técnico: ChronoFact – Verificación de Hechos Temporales basada en Líneas de Tiempo

Planteamiento del Problema

La proliferación de la desinformación digital incluye una categoría significativa de afirmaciones temporales: declaraciones que contienen elementos temporales explícitos (p. ej., "en 1953") o implícitos (p. ej., "antes de otro evento"). Los sistemas de verificación de hechos existentes a menudo fallan al verificar con precisión estas afirmaciones porque se centran en la veracidad de eventos individuales de forma aislada, descuidando el orden cronológico y las relaciones temporales entre eventos.

Las limitaciones actuales incluyen:

• Omisión de la Secuencia: Los sistemas pueden validar eventos individuales como verdaderos, pero omitir que su secuencia en la afirmación contradice la evidencia (p. ej., afirmar que las negociaciones ocurrieron después de los bombardeos cuando la evidencia muestra lo contrario).
• Gestión de la Complejidad: Los métodos existentes tienen dificultades con afirmaciones que involucran eventos superpuestos (eventos que ocurren simultáneamente) o eventos recurrentes (el mismo evento sucediendo en múltiples momentos distintos).
• Escasez de Datos: Los conjuntos de datos actuales (p. ej., T-FEVER, T-FEVEROUS) consisten principalmente en afirmaciones de un solo evento o carecen de dependencias cronológicas estrictas, lo que impide capturar la complejidad de las narrativas temporales del mundo real.

Metodología: El Marco de Trabajo ChronoFact

ChronoFact es un marco novedoso diseñado para verificar afirmaciones temporales mediante la construcción y comparación de líneas de tiempo coherentes tanto para la afirmación como para la evidencia. El sistema opera a través de los siguientes módulos:

1. Extracción y Codificación de Eventos

• Extracción de Eventos: El sistema utiliza el modelo GENRE para recuperar documentos relevantes de Wikipedia y la Etiquetación de Roles Semánticos de AllenNLP para extraer eventos tanto de la afirmación como de la evidencia. Cada evento se enriquece con información central y argumentos temporales.
• Codificador de Eventos: Los eventos se tokenizan y procesan utilizando un modelo flan-T5.
  • Representaciones de Tokens: Se generan embeddings de tokens estándar.
  • Codificación Temporal: Para los tokens de fecha, se aplica un pooling de medias seguido de una codificación posicional basada en la distancia desde la fecha más temprana en el contexto.
  • Representación Final: Una combinación de representaciones a nivel de evento (token CLS) y a nivel de token.

2. Codificador de Atención Multinivel

Para determinar la relevancia de los eventos de la evidencia respecto a los eventos de la afirmación, el marco computa puntuaciones de atención en tres niveles distintos:

• Nivel de Token: Similitud de coseno entre todos los pares de tokens.
• Nivel de Evento: Similitud de coseno entre las representaciones CLS de los eventos de la afirmación y de la evidencia.
• Nivel de Tiempo: Similitud de coseno entre las representaciones de media de las fechas.
  La puntuación de atención final es el promedio de estos tres niveles, utilizado para ponderar los eventos de la evidencia para la clasificación posterior.

3. Módulos de Clasificación

El marco emplea tres clasificadores interconectados:

• Clasificador de Eventos de la Afirmación: Predice la veracidad (Soporte, Refutación, Información Insuficiente) de cada evento individual de la afirmación basándose en los $k$ eventos de evidencia más relevantes, ponderados por las puntuaciones de atención.
• Clasificador de Orden Cronológico: Esta es una innovación central. Evalúa si la secuencia de los eventos de la afirmación se alinea con la línea de tiempo de los eventos de la evidencia.
  • Los eventos de la evidencia se ordenan por relevancia y se reordenan con los eventos de la afirmación utilizando GPT para establecer una secuencia cronológica.
  • Dos Bi-LSTMs codifican las secuencias reordenadas de los eventos de la afirmación y de la evidencia.
  • Un clasificador final predice si el orden cronológico de la afirmación es respaldado o refutado por la evidencia.
• Clasificador de la Afirmación: Agrega las salidas del clasificador de eventos y del clasificador de orden cronológico para determinar la veracidad global de la afirmación.

4. Estrategia de Entrenamiento

El modelo se entrena utilizando una función de pérdida compuesta:

• Pérdida de Entropía Cruzada ($L_{cross}$): Pérdida estándar para predecir etiquetas de eventos individuales, orden cronológico y la etiqueta general de la afirmación.
• Pérdida de Lógica Difusa ($L_{soft}$): Fuerza la consistencia lógica utilizando t-normas de Gödel. Asegura que la afirmación global sea "Soportada" solo si todos los eventos constituyentes son soportados y el orden cronológico es correcto. Si cualquier evento es refutado o el orden es incorrecto, la afirmación es "Refutada".
• Pérdida Total: Una combinación ponderada $L = (1-\mu)L_{cross} + \mu L_{soft}$.

Principales Contribuciones

1. Marco de Trabajo ChronoFact: Un enfoque sistemático que va más allá de la verificación de eventos aislados para evaluar la exactitud cronológica de toda la narrativa de la afirmación. Maneja explícitamente eventos superpuestos y recurrentes organizando la evidencia en líneas de tiempo.
2. Dataset ChronoClaims: Un nuevo conjunto de datos de referencia que contiene 40,249 afirmaciones de entrenamiento, 3,544 de validación y 3,735 de prueba. Presenta estructuras temporales complejas, incluyendo:
   • Afirmaciones con 3 a 5 eventos.
   • Expresiones temporales tanto explícitas como implícitas.
   • Escenarios con eventos superpuestos y recurrentes.
3. Razonamiento Multinivel: La integración de mecanismos de atención a nivel de token, evento y tiempo para capturar simultáneamente la relevancia semántica y temporal.

Resultados Experimentales

El marco fue evaluado en ChronoClaims, T-FEVER, T-FEVEROUS y T-QuanTemp.

• Rendimiento en ChronoClaims: ChronoFact logró una puntuación F1 macro de 85.49%, superando significativamente a los modelos de referencia del estado del arte (p. ej., TACV con 63.42%, GPT-4o con 61.93%).
  • Demostró una robustez superior a medida que aumentaba el número de eventos (3, 4 y 5 eventos), mostrando un declive de rendimiento menor en comparación con otros modelos.
  • Sobresalió en el manejo de tipos de eventos superpuestos (84.86% F1) y recurrentes (80.89% F1), donde otros modelos tuvieron dificultades.
• Generalización: En T-FEVER y T-FEVEROUS, ChronoFact logró el mejor rendimiento (56.29% y 47.78% de F1 macro, respectivamente), a pesar de que estos conjuntos de datos tienen características diferentes (p. ej., enfoque en un solo evento).
• Estudios de Ablación: Eliminar el Clasificador de Orden Cronológico resultó en la caída de rendimiento más significativa (p. ej., de 85.49% a 76.88% en ChronoClaims), confirmando que verificar la secuencia de eventos es crítico para la exactitud.

Significado y Reivindicaciones

Los autores afirman que ChronoFact aborda una brecha crítica en la detección de desinformación: la incapacidad de los sistemas actuales para razonar sobre la secuencia de los eventos. Al tratar la verificación de hechos como un problema de alineación de líneas de tiempo en lugar de una colección de verificaciones de hechos independientes, el marco evita falsos positivos donde los hechos individuales son verdaderos pero la narrativa es cronológicamente imposible.

El documento enfatiza que, si bien trabajos existentes (como TACV) utilizan información temporal para la recuperación o el razonamiento de eventos individuales, a menudo fallan al verificar la consistencia cronológica entre la afirmación y la evidencia. La capacidad de ChronoFact para detectar discrepancias en el orden de los eventos (como se muestra en los estudios de caso que involucran a Yossi Yona y Davie Dodds) y manejar dinámicas temporales complejas (superposiciones y recurrencias) representa un avance sustancial en el campo de la verificación de hechos automatizada.