Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation

Título: Comprensión de las Alucinaciones Factuales Inducidas por Nuevos Conocimientos en LLMs: Análisis e Interpretación

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) adquieren conocimiento factual durante su pre-entrenamiento, pero a menudo requieren Fine-Tuning Supervisado (SFT) para adaptarse a nuevas instrucciones o dominios. Un problema crítico identificado en trabajos previos es que introducir nuevos conocimientos durante esta fase de ajuste fino puede inducir alucinaciones factuales. Esto significa que el modelo no solo falla al recordar la nueva información, sino que también degrada su rendimiento en información que ya conocía previamente, generando afirmaciones incorrectas pero plausibles. Sin embargo, las manifestaciones específicas de este fenómeno y sus mecanismos subyacentes no estaban bien comprendidos.

2. Metodología

Para abordar esta brecha, los autores diseñaron un enfoque controlado y sistemático:

• Dataset Sintético Controlado (Biography-Reasoning): Crearon un conjunto de datos sintético centrado en entidades biográficas (personas) con cuatro atributos (año de nacimiento, año de fallecimiento, carrera y universidad). Estos atributos definen cuatro "tipos de conocimiento".
• Tareas: Diseñaron 16 tareas en total: 4 de Preguntas y Respuestas (QA) directas y 12 de razonamiento (Razonamiento Único, Comparativo y Novel/Inédito).
• Diseño Experimental:
  • Separaron los datos en subconjuntos de "conocimiento conocido" (usado para pre-entrenamiento continuo o CPT) y "conocimiento desconocido" (nuevo).
  • Entrenaron modelos (principalmente Qwen2.5-1.5B, con validación en Llama3.2-1B, Qwen3-8B y Qwen2.5-32B) con diferentes proporciones de datos nuevos.
  • Evaluaron el rendimiento en tareas del mismo tipo, tipos diferentes y en un conjunto de datos fuera de distribución (Wiki/ENTITYQUESTIONS).
• Análisis de Interpretabilidad: Analizaron los patrones de atención del modelo (attention weights) en las capas intermedias y tardías del transformador para entender cómo cambia la focalización en las entidades clave (nombres de personas) al aprender nuevos datos.
• Propuesta de Solución (KnownPatch): Introdujeron un método de entrenamiento que inyecta una pequeña cantidad de datos de "conocimiento conocido" en las etapas finales del entrenamiento para restaurar los patrones de atención.

3. Contribuciones Clave

1. Análisis de Alta Granularidad: Desglosaron el problema no solo por tarea, sino por tipo de conocimiento. Descubrieron que la familiaridad dentro de un tipo específico es más crítica que la proporción global de datos nuevos. Si un tipo de conocimiento está compuesto enteramente por datos nuevos, incluso una pequeña cantidad de estos datos dispara alucinaciones severas, afectando también a tareas no relacionadas.
2. Mecanismo de Atención: Demostraron que aprender nuevos conocimientos debilita significativamente la atención del modelo hacia las entidades clave en la pregunta (ej. el nombre de la persona), desplazando la atención hacia el contexto circundante. Esto lleva a una dependencia excesiva del contexto y a la generación de información falsa.
3. Propagación por Similitud Léxica: Identificaron que las alucinaciones se propagan entre tareas principalmente a través de la similitud léxica (superposición de tokens en el contexto) y no por la similitud semántica. Los contextos que comparten palabras clave con las tareas de entrenamiento nuevas son más propensos a sufrir alucinaciones.
4. Método de Mitigación (KnownPatch): Propusieron una técnica simple pero efectiva: inyectar una pequeña fracción de datos conocidos (5-20%) al final del entrenamiento. Esto restaura la atención hacia las entidades clave y mitiga drásticamente las alucinaciones, generalizando bien a datos fuera de distribución.

4. Resultados Principales

• Degradación del Rendimiento: El entrenamiento con datos desconocidos reduce la precisión en las tareas del mismo tipo en más del 50% y causa una degradación significativa en tareas de otros tipos y en conjuntos de datos reales (Wiki).
• Efecto de "Tipo Completo": Cuando un tipo de conocimiento (ej. "Universidad") se entera solo con datos nuevos, el modelo sufre alucinaciones mucho más graves que cuando hay una mezcla de datos conocidos y nuevos, incluso si la cantidad total de datos nuevos es baja.
• Correlación Atención-Alucinación: Existe una correlación directa: a medida que disminuye la atención en las entidades clave, aumentan las alucinaciones. La restricción de la atención mediante una pérdida de divergencia KL (KL-divergence) confirma que mantener la atención en las entidades reduce las alucinaciones.
• Eficacia de KnownPatch: La inyección de solo un 5-20% de datos conocidos al final del entrenamiento recupera el rendimiento casi al nivel del modelo base entrenado solo con datos conocidos, restaurando los patrones de atención centrados en la entidad.
• Generalización: Los hallazgos se mantuvieron consistentes a través de diferentes tamaños de modelos (desde 1.5B hasta 32B) y arquitecturas.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Desmitifica la causa de las alucinaciones: Atribuye el problema no solo a la "confusión" de datos, sino a un cambio estructural en la atención del modelo hacia las entidades clave, lo que ofrece una vía clara para la intervención.
• Propone una solución práctica: En lugar de filtrar masivamente los datos de entrenamiento (lo cual es costoso y difícil), sugiere que una pequeña "parche" de datos conocidos al final del entrenamiento es suficiente para estabilizar el modelo.
• Ilustra la propagación de errores: Muestra que las alucinaciones no están aisladas; se propagan a través de la similitud léxica, lo que implica que los modelos pueden "olvidar" o distorsionar conocimientos antiguos al aprender nuevos conceptos que comparten vocabulario.
• Implicaciones para el SFT: Ofrece una guía para el ajuste fino de LLMs, sugiriendo que la gestión de la familiaridad de los datos por tipo es crucial para mantener la fiabilidad factual.

En resumen, el paper demuestra que la introducción de nuevos conocimientos desestabiliza la atención del modelo, pero esta desestabilización puede ser revertida eficazmente mediante una estrategia de entrenamiento híbrido controlado al final del proceso.