💬 NLP

Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

Este artículo investiga la correlación entre los conflictos de conocimiento y las alucinaciones en los modelos de lenguaje de gran tamaño mediante el análisis de las representaciones internas a través de diferentes capas, encontrando que, si bien ambos fenómenos están relacionados conceptualmente, los patrones de alucinación no pueden explicarse completamente mediante las representaciones de conflicto de conocimiento, resaltando así el valor de las herramientas de interpretabilidad de grano fino para comprender el comportamiento de los LLM.

Autores originales: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Publicado 2026-06-09

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Modelos de Lenguaje Extensos (LLM) son bibliotecarios increíblemente cultos que han memorizado una biblioteca masiva de libros. Sin embargo, hay un inconveniente: no pueden actualizar sus estantes. Si un libro en su biblioteca está desactualizado o si se les entrega una nota nueva que contradice lo que han memorizado, podrían confundirse.

Este artículo investiga dos formas específicas en las que esta confusión puede salir mal:

La "Alucinación": El bibliotecario inventa con confianza un hecho o da una respuesta que suena real pero que en realidad es errónea.
El "Conflicto de Conocimiento": Al bibliotecario se le entrega una nota (contexto) que dice "El cielo es verde", pero su memoria dice "El cielo es azul". Tiene que decidir a cuál de los dos confiar.

La Gran Pregunta

Los investigadores querían saber: ¿Son estos dos problemas lo mismo?

Sospechaban que cuando un bibliotecario "alucina", es porque internamente está librando un "conflicto de conocimiento". En otras palabras, pensaban que el cerebro del bibliotecario estaba zumbando de confusión (conflicto) justo antes de inventar una mentira (alucinación). Si esto fuera cierto, podríamos construir un sistema de alarma simple: si detectamos el "zumbido de confusión", sabremos que una mentira se avecina.

Cómo lo Probaron

Para probar esto, los investigadores actuaron como "escáneres cerebrales" (una técnica llamada sondeo o probing). No cambiaron a los bibliotecarios; simplemente echaron un vistazo dentro de sus cabezas en diferentes etapas del pensamiento (las capas ocultas, las capas de atención y las capas de lógica) para ver si podían detectar las señales de confusión o de mentira.

Utilizaron dos "bibliotecarios" (modelos de IA) diferentes:

LLaMA-3-8B: Intentaron ver si las "señales de confusión" de este bibliotecario podían predecir cuándo mentiría.
Falcon-7B: Intentaron ver si las "señales de mentira" de este bibliotecario podían predecir cuándo estaba confundido.

Lo que Encontraron

Los resultados fueron un poco sorprendentes. Es como revisar un detector de humo y descubrir que la alarma para "fuego" no suena cuando alguien quema una tostada, y la alarma para "tostada quemada" no suena cuando comienza un incendio.

Confusión $\neq$ Mentira: Cuando observaron las señales de "confusión" dentro del modelo, no pudieron usarlas para predecir cuándo el modelo alucinaría. Los patrones internos de estar confundido eran diferentes de los patrones de inventar cosas.
Mentira $\neq$ Confusión: Inversamente, las señales que usualmente indican que el modelo está mintiendo no ayudaron a detectar cuándo el modelo enfrentaba un conflicto de conocimiento.

La Conclusión: Incluso si parece que las alucinaciones son causadas por conflictos de conocimiento, el artículo muestra que, dentro del "cerebro" del modelo, estos son en realidad dos procesos distintos. No puedes usar uno para encontrar el otro. Son fenómenos distintos.

Una Buena Noticia

Aunque no encontraron el vínculo que buscaban, sí descubrieron que su "escáner cerebral" (la herramienta de sondeo) funciona de manera muy consistente. Funciona tan bien en inglés como en italiano, español, chino y muchos otros idiomas. Esto significa que la herramienta en sí es confiable, incluso si la teoría específica sobre el vínculo entre el conflicto y la alucinación no fue probada.

En Resumen

Los investigadores esperaban encontrar un único "detector de humo" que pudiera detectar tanto la confusión como la mentira en los modelos de IA. Descubrieron que el cerebro de la IA maneja estos dos problemas de manera diferente. Aunque están relacionados en el mundo real, dentro del código de la computadora, no se ven iguales. Esto nos indica que necesitamos herramientas más complejas para entender y corregir los errores de la IA, en lugar de buscar simplemente una causa simple.

Resumen Técnico: Análisis de la Correlación entre Alucinaciones y Conflictos de Conocimiento en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) enfrentan limitaciones significativas en tareas intensivas en conocimiento, debido principalmente a sus datos de entrenamiento fijos y estáticos que no pueden actualizarse tras el entrenamiento. Cuando los modelos encuentran información fuera de su conocimiento paramétrico o en conflicto con este, suelen generar "alucinaciones": salidas factualmente incorrectas, inconsistentes o inverificables. Una hipótesis prevaleciente sugiere que estas alucinaciones surgen de conflictos de conocimiento internos, donde el conocimiento paramétrico almacenado por el modelo choca con las pistas contextuales proporcionadas en la entrada. Sin embargo, la relación específica entre las representaciones internas de los conflictos de conocimiento y los comportamientos de alucinación sigue siendo insuficientemente explorada. Aunque trabajos previos han desarrollado con éxito técnicas de sondeo para detectar conflictos de conocimiento (Zhao et al.) y alucinaciones (Snyder et al.) de forma independiente, no está claro si estos dos fenómenos comparten una codificación interna común o si uno puede ser utilizado para predecir al otro.

Metodología y Diseño Experimental
Este estudio emplea un marco basado en sondeo (probing-based framework) para investigar la correlación bidireccional entre los conflictos de conocimiento y las alucinaciones. Los autores hipotetizan que, si las alucinaciones son causadas por conflictos de conocimiento, el patrón de activación interna de una salida alucinada debería ser detectable por un clasificador entrenado para identificar conflictos de conocimiento, y viceversa.

El diseño experimental involucra dos direcciones distintas:

De Conflictos de Conocimiento a Alucinaciones:
- Modelo: LLaMA-3-8B.
- Entrenamiento: Se entrenaron modelos de sondeo de conflicto de conocimiento ( $KC_{a,i}$ ) utilizando Regresión Logística en el conjunto de datos NQ-Swap (un conjunto de datos sintéticos de pares de preguntas y respuestas en conflicto) para detectar señales de conflicto en las activaciones de las capas ocultas, de atención y MLP.
- Evaluación: Estos detectores de conflicto entrenados se aplicaron a las activaciones extraídas de Mu-SHROOM, HaluEval y HaluBench (conjuntos de datos que contienen pares de preguntas y respuestas alucinadas). El objetivo era determinar si el detector de conflicto podía predecir con precisión la presencia de alucinaciones.
De Alucinaciones a Conflictos de Conocimiento:
- Modelo: Falcon-7B.
- Entrenamiento: Se entrenaron modelos de sondeo de alucinaciones ( $H_l, H_{a,i}$ ) utilizando clasificadores de alimentación hacia adelante (feed-forward) en el conjunto de datos TriviaQA para detectar señales de alucinación en los logits de salida y en las activaciones intermedias (atención y MLP).
- Evaluación: Estos detectores de alucinaciones se aplicaron al conjunto de datos NQ-Swap para determinar si la presencia de un conflicto de conocimiento podía ser predicha por el detector de alucinaciones.

Resultados Clave
El análisis empírico arrojó los siguientes hallazgos:

Falta de una Correlación Fuerte: Contrario a la hipótesis de que las alucinaciones son directamente reducibles a los conflictos de conocimiento, el estudio encontró que no existe una correlación significativa entre las representaciones internas de ambos fenómenos.
- Al sondear las alucinaciones utilizando modelos de conflicto de conocimiento (LLaMA-3-8B), la precisión fluctuó pero se mantuvo baja (a menudo cerca de los niveles del azar, con un AUROC cercano a 0.5). Notablemente, el rendimiento disminuyó en las capas intermedias (15–25), donde los conflictos de conocimiento se detectan típicamente con mayor precisión de forma aislada.
- Por el contrario, al sondear los conflictos de conocimiento utilizando modelos de alucinación (Falcon-7B), los detectores operaron a niveles del azar (precisión $\approx$ 0.5, AUROC $\approx$ 0.5) en todas las capas. Esto contrasta con el estudio de referencia de Snyder et al., donde la detección de alucinaciones mejoraba en las capas posteriores; aquí, la tendencia fue insignificante.
Especificidad de la Activación: El estudio observó que las activaciones ocultas en LLaMA-3-8B eran menos informativas para la detección de conflictos que las activaciones de atención o MLP. En Falcon-7B, se observó la tendencia opuesta respecto a la literatura previa, con las activaciones de atención superando en ocasiones a las de MLP en este contexto de tareas cruzadas específico.
Robustez a través de los Idiomas: A pesar de la falta de correlación entre los fenómenos, la metodología de sondeo en sí misma demostró ser robusta. Al aplicarse al conjunto de datos multilingüe Mu-SHROOM (que cubre 14 idiomas), los modelos de sondeo mantuvieron un rendimiento estable a través de diferentes idiomas, lo que indica que la técnica no está fuertemente sesgada hacia estructuras lingüísticas específicas.

Significancia y Contribuciones
El artículo contribuye a la comprensión general de la interpretabilidad de los LLM al proporcionar evidencia empírica sistemática de que las alucinaciones y los conflictos de conocimiento no están fuertemente alineados a nivel de representaciones internas.

Desacoplamiento de Fenómenos: Los hallazgos desafían la suposición intuitiva de que las alucinaciones son causada única o primordialmente por conflictos de conocimiento internos. Esto sugiere que las alucinaciones pueden surgir de mecanismos más complejos y ortogonales que no son capturados totalmente por las señales de detección de conflictos.
Validación Metodológica: Aunque la hipótesis de correlación no fue respaldada, el estudio valida la utilidad del sondeo como una herramienta robusta para analizar el comportamiento interno de los modelos a través de diferentes tipos de activación (oculta, atención, MLP) e idiomas.
Direcciones Futuras: Los autores enfatizan la necesidad de desacoplar estos fenómenos en investigaciones futuras para desarrollar estrategias de mitigación más dirigidas. Proponen extender estas metodologías de sondeo a dominios de alto riesgo como la salud digital, la educación y la gestión de recursos humanos, señalando al mismo tiempo la importancia crítica de las consideraciones éticas respecto al sesgo y la mala interpretación de los resultados de sondeo en contextos multilingües y sensibles.

El código fuente para la reproducción de estos experimentos está disponible públicamente, facilitando la investigación posterior sobre la mecánica interna de los LLM.