From Fragments to Facts: A Curriculum-Driven DPO Approach for Generating Hindi News Veracity Explanations

Resumen Técnico: DeFactoX

1. El Problema

La proliferación de noticias falsas (desinformación) representa una amenaza crítica para la integridad periodística y la estabilidad social, especialmente en idiomas con recursos limitados como el hindi. A pesar de contar con más de 600 millones de hablantes, el hindi carece de herramientas automatizadas robustas para la verificación de hechos y la generación de explicaciones creíbles.

• Brecha actual: La mayoría de los sistemas de detección de desinformación y generación de explicaciones se centran en idiomas de alto recurso (inglés, chino).
• Limitaciones de los LLMs: Los Modelos de Lenguaje Grandes (LLMs) preentrenados, entrenados en conjuntos de datos generalizados, luchan para evaluar la veracidad de noticias en hindi y generar explicaciones contextualmente relevantes y basadas en hechos. A menudo carecen de coherencia, precisión factual y alineación con el razonamiento humano.
• Necesidad: Existe una necesidad urgente de desarrollar métodos escalables que no solo predigan la veracidad, sino que generen explicaciones humanas, coherentes y confiables en hindi.

2. Metodología: El Marco DeFactoX

Los autores proponen DeFactoX, un marco unificado que integra Aprendizaje Curricular (Curriculum Learning) con Optimización Directa de Preferencias (DPO), mejorado mediante una función de pérdida personalizada llamada Hin-DPO.

A. Creación del Conjunto de Datos de Preferencia Sintético

• Entrada: Se utilizan artículos de noticias reales de sitios de verificación de hechos (como OneIndia, Vishvas News, Aaj Tak).
• Respuestas Preferidas (Positivas): Explicaciones escritas por humanos y verificadas. Se estandarizaron las explicaciones de noticias "verdaderas" (que a menudo carecían de afirmaciones explícitas de veracidad) para que coincidan con la estructura de razonamiento de las noticias falsas, asegurando consistencia.
• Respuestas Rechazadas (Negativas): Se generaron utilizando tres LLMs de vanguardia (GPT-4o-mini, Mistral-7B, Gemini-1.5-flash) con un prompt simple. El objetivo fue capturar intencionalmente las limitaciones inherentes de los LLMs (alucinaciones, sesgos superficiales, falta de profundidad) para servir como ejemplos negativos.
• Estructura: Cada muestra contiene una explicación preferida y tres rechazadas (ratio 1:3).

B. Aprendizaje Curricular (Curriculum Learning)
Para guiar el entrenamiento progresivamente, las explicaciones rechazadas se clasifican según su calidad utilizando una función de puntuación ($f_s$) que combina BERTScore, ROUGE-L y METEOR.

• Niveles de dificultad:
  • Rank-0 (Fácil): Explicaciones claramente diferentes de la verdad.
  • Rank-1 (Moderado): Similitud media.
  • Rank-2 (Difícil): Explicaciones muy similares a las preferidas, requiriendo distinciones finas.
• Estrategia: El modelo se entrena primero en casos fáciles y progresa hacia los más difíciles, imitando el aprendizaje humano para mejorar la robustez.

C. Hin-DPO: Función de Pérdida Mejorada
Se extiende el DPO estándar introduciendo dos parámetros novedosos en la función de pérdida para mejorar la alineación:

1. Actuality (Actualidad): Una métrica que cuantifica la corrección factual. Utiliza un LLM con acceso a búsqueda web para evaluar la precisión de las afirmaciones factuales en la respuesta. Se utiliza para amplificar la probabilidad de respuestas factuales y penalizar las incorrectas.
2. Finesse (Refinamiento): Una medida basada en la varianza para detectar alucinaciones. Se generan múltiples respuestas estocásticas para la misma entrada; una alta varianza en las distribuciones de probabilidad indica inestabilidad y probabilidad de alucinación. Este parámetro actúa como factor de escala en la pérdida, penalizando respuestas inestables.

La función de pérdida modificada ($L_{Hin-DPO}$) integra estos factores para priorizar explicaciones que sean simultáneamente factualmente correctas y consistentes.

3. Contribuciones Clave

1. DeFactoX: El primer marco automatizado para la generación de explicaciones basadas en la veracidad de noticias en hindi.
2. Hin-DPO: Una variante de DPO que incorpora las métricas Actuality y Finesse para abordar específicamente los problemas de precisión factual y alucinación en la generación de texto.
3. Conjunto de Datos Sintético de Preferencia: Creación de un dataset de ranking en hindi donde las explicaciones humanas son las preferidas y las de LLMs (con sus fallos naturales) son las rechazadas, facilitando el entrenamiento por preferencia.
4. Estrategia de Aprendizaje Curricular: Demostración de que entrenar progresivamente desde ejemplos fáciles a difíciles mejora significativamente la capacidad del modelo para distinguir matices en la veracidad.

4. Resultados y Análisis

El marco se evaluó en cinco modelos base: tres LLMs (Gemma-2-9B, Llama-3.1-8B, Mistral-7B) y dos PLMs (mBART, mT5).

• Métricas Automáticas:
  • Hin-DPO superó consistentemente a las líneas base (Base, Base+SFT) y a las variantes estándar de DPO en todas las métricas: ROUGE-1/2/L, METEOR y BERTScore.
  • Por ejemplo, en el modelo Llama-3.1-8B, Hin-DPO logró un aumento de +2.57 en ROUGE-1 y +3.75 en BERTScore en comparación con el DPO estándar.
  • La inclusión de Actuality y Finesse por separado ya mejoró los resultados, pero su combinación en Hin-DPO ofreció el mejor rendimiento.
• Predicción de Veracidad: El modelo también mejoró la precisión en la clasificación binaria (Fake/Real), alcanzando un 81.2% de precisión y 78.9% de F1-score en Llama-3.1-8B.
• Evaluación Humana: Tres evaluadores calificaron las explicaciones en una escala de 0 a 5. Hin-DPO obtuvo las puntuaciones más altas (4.23 en Llama y 4.12 en Gemma), superando a DPO y SFT, lo que confirma una mejor alineación con el juicio humano en términos de precisión factual, alineación de razonamiento y calidad expresiva.
• Estudio Ablativo: La eliminación del Aprendizaje Curricular resultó en un rendimiento inferior, validando que la progresión de dificultad es crucial para la estabilidad del aprendizaje.

5. Significado e Impacto

• Avance en Idiomas de Bajo Recurso: Este trabajo demuestra que es posible crear sistemas robustos de verificación de hechos para idiomas como el hindi, donde los datos etiquetados son escasos, mediante la generación de datos sintéticos de preferencia y técnicas de alineación avanzadas.
• Calidad de la Explicación: Más allá de la detección binaria, DeFactoX genera explicaciones que los usuarios pueden entender y confiar, lo cual es vital para combatir la desinformación en contextos sociales y políticos.
• Escalabilidad: El enfoque basado en datos sintéticos y optimización de preferencias ofrece una metodología escalable que puede adaptarse a otros idiomas de bajo recurso.
• Limitaciones: El trabajo reconoce la dependencia de datos de verificación de hechos de alta calidad (aún limitados en hindi) y el costo computacional de calcular la métrica Finesse (requiere múltiples generaciones). Además, la evaluación se limitó a modelos de menos de 10 mil millones de parámetros.

En conclusión, DeFactoX representa un paso significativo hacia la democratización de herramientas de verificación de hechos, combinando la precisión factual con la coherencia humana a través de una arquitectura de aprendizaje innovadora.