Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

Resumen Técnico: F-DPO

1. El Problema: Desalineación entre Preferencia y Facticidad

Los métodos de alineación actuales, como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y la Optimización Directa de Preferencias (DPO), han mejorado la capacidad de los Grandes Modelos de Lenguaje (LLMs) para seguir instrucciones. Sin embargo, presentan un defecto crítico: tienden a reforzar las alucinaciones.

• Causa raíz: Las etiquetas de preferencia humana a menudo favorecen respuestas que son fluidas, confiantes y bien estructuradas, incluso si son factualmente incorrectas.
• Fallo de DPO estándar: Cuando un par de preferencias tiene una respuesta "elegida" (winner) que es fluida pero falsa, y una respuesta "rechazada" (loser) que es factual pero menos elaborada, el DPO estándar aprende a maximizar la probabilidad de la respuesta falsa, exacerbando el problema de las alucinaciones.
• Limitaciones de enfoques previos: Las soluciones existentes para mejorar la facticidad suelen requerir modelos de recompensa auxiliares, anotaciones a nivel de token, o pipelines de entrenamiento multi-etapa, lo que incrementa significativamente la complejidad computacional y la infraestructura necesaria.

2. Metodología: F-DPO (Optimización Directa de Preferencias Consciente de la Facticidad)

Los autores proponen F-DPO, una extensión simple pero efectiva del DPO que corrige la desalineación entre preferencia y facticidad utilizando únicamente etiquetas binarias de facticidad (factual vs. alucinado). El método se basa en dos mecanismos principales:

A. Transformación de Etiquetas (Label Flipping)
Antes del entrenamiento, el método aplica una regla determinista para corregir pares de preferencias mal ordenados:

• Se calcula la diferencia de facticidad ($\Delta h = h_{loser} - h_{winner}$), donde $h=0$ es factual y $h=1$ es alucinado.
• Si la respuesta elegida es menos factual que la rechazada ($\Delta h < 0$), se invierten las etiquetas: la respuesta factual se convierte en la "elegida" y la alucinada en la "rechazada".
• Esto elimina la configuración donde el modelo es incentivado a aprender una respuesta falsa, asegurando que la respuesta seleccionada sea siempre al menos tan factual como la rechazada.

B. Margen Consciente de la Facticidad (Factuality-Aware Margin)
Se introduce un término de penalización en la función de pérdida de DPO para enfatizar los pares donde existe una diferencia clara de facticidad:

• La nueva función de margen se define como: $m_{fact} = m_{DPO} - \lambda \cdot \Delta h$.
• Donde $\lambda$ es un hiperparámetro de penalización y $\Delta h$ es la diferencia de facticidad.
• Efecto: Cuando la respuesta elegida es factual y la rechazada es alucinada ($\Delta h = 1$), la pérdida aumenta, forzando al modelo a asignar una probabilidad significativamente mayor a la respuesta factual. Si ambas respuestas tienen la misma facticidad ($\Delta h = 0$), el objetivo se reduce al DPO estándar.

Pipeline de Datos:
El enfoque construye un conjunto de datos de preferencias consciente de la facticidad mediante:

1. Uso del corpus Skywork Reward-Preference.
2. Asignación de etiquetas binarias de facticidad mediante un evaluador automático (GPT-4o-mini).
3. Generación sintética de variantes alucinadas para equilibrar las configuraciones de datos.
4. Aplicación de la transformación de etiquetas y mezcla de datos.

3. Contribuciones Clave

1. Propuesta de F-DPO: Un método de una sola etapa que integra etiquetas binarias de facticidad en DPO mediante inversión de etiquetas y un margen condicional, sin necesidad de modelos de recompensa externos.
2. Eficiencia Computacional: Elimina la necesidad de modelos de recompensa auxiliares, anotaciones a nivel de token o entrenamiento multi-etapa, manteniéndose en el nivel de respuesta (response-level).
3. Validación Empírica: Demostración de mejoras consistentes en la facticidad y reducción de alucinaciones en 7 modelos LLM de código abierto (desde 1B hasta 14B parámetros), incluyendo familias como Qwen, LLaMA y Gemma.

4. Resultados Experimentales

Los resultados muestran que F-DPO supera consistentemente tanto a los modelos base como al DPO estándar:

• Reducción de Alucinaciones: En el modelo Qwen3-8B, F-DPO redujo la tasa de alucinaciones en 5 veces (de 0.424 a 0.084) y mejoró la puntuación de facticidad en un 50% (de 5.26 a 7.90).
• Rendimiento en Modelos Grandes: En Qwen2.5-14B, se logró una tasa de alucinación de solo 0.008, una mejora de casi un orden de magnitud respecto al modelo base.
• Generalización Fuera de Distribución (OOD): En la prueba TruthfulQA, F-DPO mejoró la precisión de opción múltiple (MC1) en un 17% (de 0.500 a 0.585) y la precisión MC2 en un 49% (de 0.357 a 0.531) en comparación con el modelo base.
• Eficiencia de Datos: El método es robusto con conjuntos de datos más pequeños; usar solo el 25% de los datos de entrenamiento mantuvo un rendimiento de facticidad cercano al máximo (8.40 vs 8.86 con datos completos).
• Calidad de Respuesta: A diferencia de otros métodos que sacrifican la utilidad, F-DPO mantuvo o mejoró la "ayuda" (helpfulness) y redujo la tasa de respuestas inadecuadas en la mayoría de los modelos.

5. Significado e Impacto

El trabajo de F-DPO es significativo por varias razones:

• Simplicidad y Escalabilidad: Demuestra que se puede corregir la alucinación sin la complejidad de los sistemas de recompensa tradicionales, haciendo que la alineación basada en facticidad sea accesible para más investigadores y organizaciones.
• Corrección de Sesgos de Preferencia: Aborda directamente el problema de que los humanos (o evaluadores automáticos) a menudo prefieren la fluidez sobre la verdad, proporcionando un mecanismo automático para corregir estos errores en los datos de entrenamiento.
• Aplicabilidad en Dominios Críticos: Al reducir drásticamente las alucinaciones, F-DPO hace que los LLMs sean más seguros y confiables para aplicaciones de alto riesgo como medicina, derecho y finanzas, donde la precisión factual es innegociable.
• Equilibrio Facticidad-Utilidad: Proporciona evidencia de que es posible mejorar la veracidad sin sacrificar la capacidad del modelo para ser útil y conversacional, desafiando la noción de que la alineación estricta degrada inevitablemente el rendimiento.

En conclusión, F-DPO establece un nuevo estándar para la alineación de LLMs, demostrando que una supervisión explícita de la facticidad, implementada de manera eficiente, es esencial para mitigar las alucinaciones y generar sistemas de IA más confiables.