💬 NLP

From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction

Este estudio valida una taxonomía de alucinaciones geométricas en GPT-2 mediante inducción controlada, demostrando que las brechas de cobertura (Tipo 3) son el único modo de fallo geométricamente distintivo, mientras que los otros tipos no se separan y los análisis a nivel de token inflan artificialmente la significancia estadística.

Autores originales: Matic Korun

Publicado 2026-03-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Matic Korun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot escritor muy inteligente, pero que a veces alucina: inventa cosas que no son ciertas o se pierde en el camino. Los científicos quieren saber por qué y cómo ocurren estos errores para poder arreglarlos.

Este estudio es como un experimento de laboratorio donde un investigador (Matic Korun) decidió "provocar" intencionalmente errores en un robot escritor (GPT-2) para ver qué pasa dentro de su "cerebro" (sus datos matemáticos) en ese momento.

Aquí tienes la explicación sencilla, usando analogías:

1. El Mapa de los Errores (La Taxonomía)

El investigador tenía un mapa teórico que decía que hay tres tipos de errores, como si fueran tres formas diferentes de perderse en una ciudad:

Tipo 1 (El Sueño Lúcido): El robot no tiene contexto. Es como si le preguntaras "¿Qué hay en la mesa?" sin decirle qué mesa es. El robot, al no tener pistas, empieza a decir cosas genéricas y aburridas, como un turista que camina sin rumbo fijo hacia el centro de la ciudad.
Tipo 2 (La Confusión de Destinos): El robot tiene contexto, pero se equivoca de calle. Es como si le dijeras "El banco anunció..." y el robot, en lugar de pensar en el banco de dinero, piensa en el banco de un río. Se cree muy seguro de su respuesta, pero está en el lugar equivocado.
Tipo 3 (El Vacío): El robot se encuentra con algo que nunca ha visto antes. Es como pedirle que te explique "la física cuántica de los pasteles de zanahoria". No tiene datos sobre eso. Se queda en blanco, sin saber a dónde ir, porque no existe un "barrio" en su ciudad para ese concepto.

2. El Experimento: ¿Dónde miramos?

El investigador hizo dos tipos de pruebas para ver cómo reaccionaba el cerebro del robot:

Prueba A (La Foto Estática): Miró las palabras tal como están guardadas en el diccionario del robot, sin contexto. Es como mirar la foto de una palabra en un diccionario.
Prueba B (La Película en Vivo): Miró el cerebro del robot mientras escribía, en el momento exacto en que elegía la siguiente palabra. Es como ver la película de sus pensamientos en tiempo real.

3. Los Resultados Sorprendentes

Lo que funcionó (El Error Tipo 3)

Cuando el robot se encontró con el Vacío (Tipo 3), ¡el experimento funcionó!

En la foto estática: Las palabras que elegía eran más "raras" y tenían una firma matemática muy clara. Era como si el robot, al no saber qué decir, eligiera palabras que brillaban más fuerte o más débil que las normales.
En la película en vivo: Aunque el robot seguía escribiendo, su "confianza interna" (medida por la fuerza de sus pensamientos) bajaba. Era como si el robot supiera que estaba en terreno desconocido y se volviera más tímido o inseguro.

Conclusión: El error de "no saber de qué hablar" es el más fácil de detectar matemáticamente.

Lo que falló (Los Errores Tipo 1 y 2)

Cuando el robot estaba "soñando" (Tipo 1) o "confundido pero seguro" (Tipo 2), no hubo diferencia.

Matemáticamente, sus cerebros se veían idénticos.
La analogía: Es como intentar distinguir si una persona está caminando sin rumbo o si está caminando hacia la tienda equivocada, pero solo mirando sus zapatos. ¡Los zapatos son los mismos! El robot no cambia su "forma de caminar" interna en estos casos.

4. La Trampa Estadística (El Efecto "Pseudoreplicación")

Este es un punto muy importante. El estudio descubrió que si miras cada palabra individualmente (como si contaras cada paso de un viaje), parece que hay una diferencia enorme. Pero si miras el viaje completo (el prompt), esa diferencia desaparece.

Analogía: Imagina que tienes un amigo que habla muy rápido. Si escuchas cada sílaba, parece que está gritando. Pero si escuchas la frase completa, te das cuenta de que solo está susurrando.
El estudio demostró que mirar palabra por palabra infla los resultados (los hace parecer 4 a 16 veces más importantes de lo que son). Es una ilusión óptica estadística.

5. ¿Qué significa todo esto? (La Gran Lección)

El robot sabe cuando "no sabe": Cuando el robot se enfrenta a algo totalmente nuevo (Tipo 3), su cerebro se debilita un poco. Es como si dijera: "Oye, esto no está en mi mapa".
El robot NO sabe cuando se equivoca: Cuando el robot está confundido (Tipo 2) o aburrido (Tipo 1), su cerebro parece normal. No hay señales de alarma. Es como un actor que actúa muy bien en una escena falsa; el público no nota que es falso.
El problema de tamaño: El robot usado en este estudio es pequeño (124 millones de parámetros). Es posible que robots más grandes (los actuales) tengan señales más claras para los errores Tipo 1 y 2, pero este robot pequeño no pudo mostrarlas.

En resumen

El investigador logró crear un mapa para detectar cuando un robot no tiene información (es fácil de ver), pero descubrió que es muy difícil detectar cuando un robot tiene información pero la usa mal o no tiene contexto.

Además, advirtió a todos los científicos: "¡Cuidado! No confíen en los resultados si miran palabra por palabra, porque pueden estar viendo fantasmas estadísticos. Tienen que mirar el contexto completo."

Es un paso gigante para entender cómo funcionan las mentes artificiales y cómo evitar que nos cuenten mentiras convincentes.

1. Problema y Contexto

Las alucinaciones en los Modelos de Lenguaje Grandes (LLM) son un obstáculo central para su despliegue fiable. Mientras que los métodos existentes detectan alucinaciones a posteriori (ej. auto-consistencia), este trabajo busca validar una taxonomía geométrica de alucinaciones propuesta en un trabajo previo (Korun, 2026).

La taxonomía clasifica los fallos de generación en tres tipos basados en su firma en el espacio de embeddings:

Tipo 1 (Deriva del centro): Bajo contexto débil, la generación colapsa hacia el centroide del embedding.
Tipo 2 (Convergencia al pozo equivocado): El modelo se adhiere a un clúster localmente coherente pero contextualmente incorrecto.
Tipo 3 (Brechas de cobertura): La consulta requiere combinaciones semánticas ausentes en el entrenamiento, resultando en una falta de estructura de clúster que apoye la consulta.

El objetivo del artículo es determinar si estas firmas geométricas predichas son detectables mediante inducción controlada en el modelo GPT-2 (124M parámetros).

2. Metodología

El estudio emplea un diseño estadístico de dos niveles con un protocolo de estabilidad multi-ejecución riguroso.

Modelo: GPT-2-small (124M parámetros, 12 capas, 768 dimensiones). Se eligió por su reproducibilidad exacta en CPU y por ser el único modelo decodificador en el estudio previo de 11 modelos.
Diseño Experimental:
- Se diseñaron 15 prompts por condición (Total: 45 prompts) para inducir específicamente cada tipo de alucinación.
- Condiciones:
  - Tipo 1: Prompts semánticamente vacíos (ej. "El", "Hay").
  - Tipo 2: Prompts ambigüos entre dominios bien definidos (ej. "El banco anunció...").
  - Tipo 3: Combinaciones técnicas novedosas y no vistas en el entrenamiento (ej. "La refractometría xenoplasmática...").
- Espacios de Representación: Se compararon dos espacios:
  1. Embeddings Estáticos: Posición fija en el espacio del vocabulario.
  2. Estados Ocultos Contextuales: El estado de la última capa en el momento de la selección del token.
- Protocolo de Estabilidad: Cada experimento se ejecutó 20 veces con diferentes semillas de generación para cuantificar la estabilidad de los resultados, evitando conclusiones basadas en una sola realización estocástica.
Métricas Geométricas:
- $H(v)$ : Pertenencia suave al clúster (similitud coseno con centroides).
- $\|v\|$ : Norma del embedding (magnitud).
- $max\_sim$ : Máxima similitud con un solo clúster.
Análisis Estadístico: Se utilizó la unidad de inferencia por prompt ( $N=15$ por grupo) para evitar la pseudoreplicación. Se reportaron medianas de p-valores, tasas de significancia y tamaños del efecto (r de biserial de rango) a través de las 20 ejecuciones.

3. Contribuciones Clave

Primera prueba de inducción controlada: Vincula tipos de alucinación con firmas geométricas específicas, cuantificando la estabilidad a través de 20 ejecuciones independientes.
Validación del Tipo 3: Evidencia de que las brechas de cobertura (Tipo 3) son el modo de fallo geométricamente más distintivo, impulsado por la magnitud (norma) de la representación y no por la dirección.
Demostración de Pseudoreplicación: Prueba replicada de que la significancia estadística a nivel de token en la generación autoregresiva infla los efectos reales entre 4 y 16 veces debido a la autocorrelación dentro del prompt.
Hipótesis Espectral: Propone una explicación para la no separación de los Tipos 1 y 2, sugiriendo que sus firmas podrían residir en bandas espectrales específicas del eigenspectrum que se diluyen en métricas de dimensión completa.

4. Resultados Principales

A. Experimento 1: Embeddings Estáticos

Resultados: La métrica angular $H(v)$ no distingue entre condiciones. Sin embargo, la norma ( $\|v\|$ ) separa robustamente el Tipo 3 de los otros dos.
Estabilidad: Las comparaciones de norma (T2-T3 y T1-T3) sobrevivieron a la corrección de Holm en 14/20 y 11/20 ejecuciones respectivamente.
Efecto: El Tipo 3 muestra normas más altas (selección de vocabulario más raro), con un tamaño del efecto mediano grande ( $r \approx +0.61$ ).
Tipos 1 y 2: No mostraron separación significativa en ningún espacio.

B. Experimento 2: Estados Ocultos Contextuales

Resultados: La dirección del efecto de la norma para el Tipo 3 es estable (el Tipo 3 tiene la norma más baja en 19/20 ejecuciones), pero el efecto es subpotenciado con $N=15$ . Solo alcanzó significancia nominal en 4/20 ejecuciones.
Métricas Angulares: No fueron significativas a nivel de prompt, aunque mostraron significancia a nivel de token (confirmando el artefacto de pseudoreplicación).
Inversión de la Norma: Curiosamente, en el espacio contextual, el Tipo 3 tiene normas más bajas (237.3) que los Tipos 1 y 2 (~245), reflejando una menor "confianza" interna, mientras que en el espacio estático tenían normas más altas.

C. Hallazgos sobre Pseudoreplicación

El análisis de las 20 ejecuciones reveló que la significancia a nivel de token infla los efectos reales por un factor de 4 a 16 veces. Las métricas angulares que parecen significativas en el nivel de token desaparecen completamente al agregarse correctamente a nivel de prompt.

D. No Separación de Tipos 1 y 2

En ningún espacio (estático o contextual) se logró separar el Tipo 1 (deriva) del Tipo 2 (pozo equivocado). Esto se confirma como una propiedad genuina del modelo de 124M parámetros, no un accidente de una sola ejecución.

5. Significado e Implicaciones

Regímenes de Micro-Señal: El trabajo identifica un "régimen de micro-señal" en los estados ocultos de GPT-2. Las alucinaciones no representan una desviación catastrófica del manifold de estados ocultos; incluso ante entradas novedosas (Tipo 3), los estados permanecen >99% similares a la distribución de calibración. La firma del fallo es una perturbación microscópica dentro del régimen de operación normal.
Distinción Magnitud vs. Dirección: La distinción geométrica de las alucinaciones de cobertura (Tipo 3) se lleva a cabo principalmente a través de la magnitud de la representación (norma), mientras que la dirección (ángulo) es menos afectada o requiere preprocesamiento espectral para ser detectada.
Límites de Capacidad: La incapacidad de distinguir entre Tipo 1 y Tipo 2 sugiere que, a 124M parámetros, el modelo carece de la capacidad representacional para diferenciar entre contexto débil y contexto mal dirigido, o que la señal reside en componentes espectrales de baja varianza que las métricas actuales promedian y diluyen.
Recomendaciones Futuras: Se sugiere que la detección de alucinaciones en modelos pequeños requiere:
1. Conjuntos de prompts más grandes ( $N \ge 30$ ) para superar la falta de potencia estadística.
2. Preprocesamiento representacional (blanqueamiento, descomposición espectral) para amplificar señales microscópicas.
3. Evitar la inferencia basada en tokens individuales debido a la pseudoreplicación masiva.

En resumen, el artículo valida parcialmente la taxonomía geométrica, confirmando que las brechas de cobertura (Tipo 3) son detectables geométricamente (especialmente por magnitud), mientras que las distinciones entre otros tipos de fallos requieren modelos más grandes o análisis espectrales más refinados.