💬 NLP

From Out-of-Distribution Detection to Hallucination Detection: A Geometric View

Este artículo propone replantear la detección de alucinaciones en modelos de lenguaje de gran tamaño como un problema de detección de fuera de la distribución, demostrando que esta perspectiva geométrica permite entrenar detectores de una sola muestra y sin necesidad de entrenamiento que identifican eficazmente las alucinaciones en tareas de razonamiento.

Autores originales: Litian Liu, Reza Pourreza, Yubing Jian, Yao Qin, Roland Memisevic

Publicado 2026-06-05

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Litian Liu, Reza Pourreza, Yubing Jian, Yao Qin, Roland Memisevic

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran problema: Cuando la IA inventa cosas

Imagina a un estudiante muy inteligente (el Modelo de Lenguaje Grande, o LLM) tomando un examen. A veces, este estudiante sabe la respuesta y la acierta. Pero otras veces, el estudiante no sabe la respuesta y, aun así, escribe con confianza algo que suena plausible pero que en realidad es completamente inventado. En el mundo de la IA, llamamos a esto alucinación.

Detectar cuándo la IA está mintiendo es difícil. Los métodos existentes son como contratar a un profesor aparte para calificar el trabajo del estudiante (lo cual es costoso y lento) o pedirle al estudiante que tome el mismo examen diez veces para ver si obtiene respuestas diferentes (lo cual es computacionalmente pesado y confuso para tareas de razonamiento complejo).

La nueva idea: Tomar prestado de la "Detección de Fuera de Distribución" (OOD)

Los autores de este artículo han tenido una idea ingeniosa: Tratemos las alucinaciones como a un extraño en una fiesta.

En informática, existe un problema muy estudiado llamado Detección de Fuera de Distribución (OOD, por sus siglas en inglés). Imagina a un guardia de seguridad en un club que conoce exactamente cómo lucen los miembros habituales. Si entra un extraño con un disfraz extraño, el guardia sabe: "Oye, esta persona no pertenece aquí".

En el mundo antiguo: El guardia de seguridad (la IA) está entrenado para reconocer rostros específicos (datos de entrenamiento). Si aparece un rostro nuevo, el guardia sigue intentando adivinar quién es, pero en realidad solo está adivinando locamente. Esto es una "alucinación" del clasificador.
La visión del artículo: Los autores se dieron cuenta de que, cuando una IA alucina, está haciendo esencialmente lo mismo: está intentando responder una pregunta para la que realmente no fue entrenada, o está saliéndose de su "zona de confort" de conocimiento.

Así que, en lugar de construir un nuevo detector desde cero, se preguntaron: ¿Podemos usar las herramientas del guardia de seguridad para atrapar a la IA mintiendo?

La solución: Una visión geométrica (La analogía del "Mapa")

El artículo propone observar los pensamientos internos de la IA no como texto, sino como puntos en un mapa gigante.

El Mapa: Imagina que el cerebro de la IA es una enorme habitación multidimensional. Cada palabra que puede decir tiene un "vector de peso" (una bandera) plantado en la habitación.
El Viaje: A medida que la IA escribe una frase, mueve un punto (que representa su pensamiento actual) a través de esta habitación.
Los dos detectores: Los autores adaptaron dos herramientas de "guardia de seguridad" para vigilar este punto:
- Herramienta A: El detector de "Abrazos" (NCI)
  - La analogía: Imagina que la IA está intentando abrazar la bandera que representa la palabra que acaba de elegir. Si la IA tiene confianza, el punto está justo al lado de la bandera y el "abrazo" es estrecho.
  - La alucinación: Si la IA está alucinando, el punto está lejos de la bandera. El "abrazo" es débil o inexistente. El artículo llama a esto Proximidad de Características (Feature Proximity). Si el punto está demasiado lejos de la bandera, es una mentira.
- Herramienta B: El detector de "Paredes" (fDBD)
  - La analogía: Imagina que la habitación está dividida en zonas por paredes invisibles. Cada zona pertenece a una palabra específica. Si estás en la zona de "Gato", la IA piensa "Gato".
  - La alucinación: Si la IA está alucinando, su punto está tambaleándose justo cerca de la pared, cerca de la zona de "Perro" o de la zona de "Pájaro". No está segura de en qué lado de la pared se encuentra. El artículo llama a esto Distancia a la Frontera de Decisión (Distance to Decision Boundary). Si el punto está demasiado cerca de una pared, es una mentira.

Los desafíos y cómo los resolvieron

Los autores sabían que no podían simplemente copiar y pegar estas herramientas de otros campos porque la IA es enorme y compleja. Tuvieron que solucionar tres grandes problemas:

1. El problema del "Mapa Faltante" (Estadísticas de Entrenamiento)

El problema: Para saber si un punto está "lejos" de una bandera, el guardia de seguridad suele necesitar un mapa de dónde suelen estar todos los puntos buenos. Pero los datos de entrenamiento de la IA son masivos, secretos y demasiado grandes para mapearlos.
La solución: En lugar de dibujar un mapa a partir de los datos, usaron magia matemática. Calcularon un "punto neutral" basado en la propia estructura interna de la IA. Es como si el guardia de seguridad se diera cuenta de que: "No necesito un mapa del club; simplemente sé que el centro de la pista de baile es donde todos se quedan cuando no están seguros". Esto les permitió detectar mentiras sin necesidad de los datos de entrenamiento originales.

2. El problema de las "Demasiadas Banderas" (Vocabulario Masivo)

El problema: Una IA tiene cientos de miles de palabras posibles (banderas). Comprobar la distancia a cada una de las paredes de la habitación por cada palabra es demasiado lento.
La solución: Decidieron revisar solo las paredes de las 1,000 palabras más probables. Es como si el guardia de seguridad solo se preocupara por las personas que están cerca de la salida, ignorando a las personas en la parte trasera de la sala que claramente no se van a ir. Esto hizo que el detector fuera rápido y preciso.

3. El problema de la "Aleatoriedad" (Decodificación Estocástica)

El problema: A veces la IA elige palabras de forma aleatoria (como lanzando dados) en lugar de elegir la mejor absoluta. Esto hace que el "punto" salte de un lado a otro, lo que podría confundir al guardia de seguridad.
La solución: Descubrieron que incluso si la IA salta un poco, la posición promedio del punto a lo largo de toda la frase sigue diciendo la verdad. Si la IA está alucinando, el punto pasará demasiado tiempo cerca de las paredes, incluso si salta de un lado a otro. El detector funciona perfectamente incluso con esta aleatoriedad.

Los resultados

El artículo probó estas nuevas herramientas de "Guardia de Seguridad" en tareas de razonamiento difíciles (como acertijos matemáticos y lógicos).

Sin entrenamiento adicional: No necesitaron enseñarle nada nuevo a la IA.
Disparo único (Single Shot): Solo necesitaron observar la respuesta una vez (no hubo necesidad de pedirle a la IA que repitiera la pregunta 10 veces).
Mejor precisión: Estas herramientas geométricas detectaron las alucinaciones mucho mejor que los métodos anteriores, incluso cuando la IA estaba siendo creativa o aleatoria.

Resumen

El artículo dice: Deja de intentar construir un nuevo detector de mentiras. En su lugar, observa la geometría interna de la IA. Si los pensamientos de la IA están lejos de las "banderas" de las palabras que eligió, o si se está tambaleando justo al lado de las "paredes" de otras palabras, probablemente esté mintiendo. Al usar estas reglas geométricas simples, podemos atrapar las alucinaciones de la IA de forma rápida, barata y precisa.

Resumen Técnico: De la detección de fuera de distribución a la detección de alucinaciones: Una visión geométrica

Planteamiento del problema
La alucinación en los Modelos de Lenguaje de Gran Escala (LLM) sigue siendo una barrera crítica para su despliegue seguro y fiable, particularmente en tareas de razonamiento. Los métodos de detección existentes enfrentan limitaciones significativas: los enfoques supervisados requieren el entrenamiento de clasificadores separados, los cuales son sensibles a los cambios de distribución y conllevan altos costos; mientras que los métodos sin entrenamiento (training-free) suelen depender de la generación de múltiples muestras para medir discrepancias, lo que impone una carga computacional prohibitiva durante la inferencia. Además, estos enfoques de múltiples muestras tienen dificultades en tareas de razonamiento donde la diversidad de rutas de razonamiento válidas hace que comparar salidas sea conceptualmente difícil. Existe una necesidad apremiante de algoritmos de detección de alucinaciones que sean sin entrenamiento y basados en una sola muestra, que sean efectivos en escenarios de razonación.

Metodología
Los autores proponen reformular la detección de alucinaciones como un problema de detección de Fuera de Distribución (OOD, por sus siglas en inglés). Al tratar la predicción del siguiente token en los LLM como una tarea de clasificación, adaptan dos detectores OOD geométricos ligeros —NCI (inspirado en el Colapso Neuronal) y fDBD (basado en la rapidez de la Frontera de Decisión)— al contexto de los LLM.

Marco Geométrico:
- NCI (Proximidad de Características): Mide la proximidad del vector de características de la penúltima capa al vector de pesos del token más confiable. Una menor proximidad indica una mayor incertidumbre (posible alucinación).
- fDBD (Distancia a la Frontera de Decisión): Mide la distancia desde la característica de la penúltima capa hacia las fronteras de decisión de los tokens alternativos. Una distancia menor a una frontera indica una mayor incertidumbre.
Adaptaciones para LLMs:
Para cerrar la brecha entre la detección OOD estándar y la alucinación en LLM, los autores abordan tres desafíos específicos:
- Estimación de Estadísticas de Entrenamiento: Los métodos OOD estándar requieren la media de las características de entrenamiento ( $\mu_G$ ), lo cual es impracticable de calcular para los masivos y propietarios corpora de entrenamiento de los LLM. Los autores derivan un proxy analítico para $\mu_G$ (el "Punto más Cercano Neutro en la Decisión") minimizando la varianza del logit a través del vocabulario utilizando los pesos y sesgos de la cabeza de lenguaje. Esto elimina la necesidad de acceder a los datos de entrenamiento.
- Eficiencia en Vocabularios Masivos: Calcular directamente las distancias a todos los tokens en un vocabulario grande (por ejemplo, 100k+) es computacionalmente costoso e introduce ruido de tokens irrelevantes. Los autores proponen restringir el cálculo de la distancia a un subconjunto de los $k$ tokens más probables alternativos, reduciendo significativamente la complejidad computacional mientras se mantiene la calidad de la señal.
- Robustez a la Decodificación Estocástica: Aunque los detectores OOD suelen definirse para la decodificación determinista (greedy), los LLM suelen utilizar el muestreo estocástico. Los autores hipotetizan y demuestran que las señales de incertidumbre geométrica siguen siendo robustas a nivel de secuencia, ya que el estado de incertidumbre interna del modelo tiende a alinearse con los tokens generados a lo largo de una tarea de razonamiento.
Mecanismo de Detección:
El método calcula una puntuación de incertidumbre en cada paso de decodificación, promedia estas puntuaciones a lo largo de la secuencia generada y aplica un umbral para determinar si ha ocurrido una alucinación. El enfoque es completamente sin entrenamiento y opera sobre una sola muestra generada.

Contribuciones Clave

Reformulación: El trabajo establece un vínculo teórico y práctico entre la detección de OOD y la detección de alucinaciones en LLM, aprovechando las propiedades geométricas del espacio latente del modelo.
Proxy Analítico: La derivación de una solución analítica para la media de características de entrenamiento permite la aplicación de técnicas OOD sin acceso a los datos de entrenamiento, resolviendo un importante cuello de botella de escalabilidad.
Adaptación Eficiente: La introducción de una estrategia de selección de tokens top-k para fDBD hace que el cálculo de la distancia a la frontera de decisión sea factible para vocabularios grandes.
Eficiencia de Muestra Única: Los métodos propuestos logran un sólido rendimiento de detección sin el costo computacional de generar múltiples muestras o entrenar modelos auxiliares.

Resultados
Se realizaron experimentos extensos en múltiples conjuntos de datos (CSQA, GSM8K, AQuA) y arquitecturas de modelos (Llama-3.2-3B-Instruct, Qwen-2.5-7B-Instruct).

Rendimiento: Tanto NCI como fDBD superaron consistentemente a las bases sólidas, incluyendo Perplejidad, Probabilidad Predictiva y varios métodos de múltiples muestras (por ejemplo, SelfCheckGPT, Entropía Semántica). Por ejemplo, en CSQA con Llama-3.2-3B, fDBD (con $k$ seleccionado) alcanzó un AUROC de 69.24, comparado con el 63.23 de la Perplejidad.
Generalización: Los métodos demostraron un rendimiento robusto a través de diferentes escalas de modelos y tipos de razonamiento (sentido común y matemático).
Decodificación Estocástica: Los detectores mantuvieron un alto rendimiento a través de varias temperaturas de decodificación (0.2 a 1.0), validando su aplicabilidad más allá de la decodificación greedy.
Eficiencia: Los métodos incurrieron en una latencia mínima (un aumento de aproximadamente 0.5–0.8 ms/token) en comparación con la inferencia estándar, lo que los hace adecuados para aplicaciones en tiempo real.

Significancia
El artículo afirma que reformular la detección de alucinaciones como un problema de detección de OOD proporciona un "camino prometedor y escalable hacia la seguridad de los modelos de lenguaje". Al utilizar medidas de incertidumbre geométrica adaptadas de la visión por computadora y la literatura de OOD, los autores demuestran que es posible detectar alucinaciones en tareas de razonamiento de manera efectiva sin los altos costos computacionales o de entrenamiento asociados con los métodos existentes. Este enfoque ofrece una solución práctica y sin entrenamiento que puede integrarse en los flujos de inferencia actuales de los LLM para mejorar la fiabilidad.