Whitening Reveals Cluster Commitment as the Geometric Separator of Hallucination Types

Este artículo demuestra que la blanqueación por PCA revela el compromiso del clúster como el separador geométrico que distingue los tipos de alucinación en modelos de lenguaje, confirmando que la dificultad para separar los tipos 1 y 2 es una limitación de capacidad del modelo y no un artefacto de medición, al tiempo que destaca la fragilidad de las señales microscópicas ante cambios en la diversidad de los prompts.

Lo esencial

Imagina que tienes un modelo de inteligencia artificial (como un escritor muy inteligente pero pequeño) y quieres saber por qué a veces dice cosas que no son ciertas, es decir, por qué "alucina".

Este paper es como un detective que usa unas gafas especiales para ver lo que otros no pueden ver. Aquí te explico la historia de la investigación de forma sencilla:

1. El Problema: Tres tipos de "mentiras"

El investigador descubrió que las alucinaciones no son todas iguales. Las clasificó en tres tipos, como si fueran tres formas diferentes de perderse en un mapa:

• Tipo 1 (El vagabundo): El modelo no tiene contexto claro y empieza a divagar hacia el centro de todo, sin comprometerse con nada. Es como alguien que camina sin rumbo fijo en una plaza.
• Tipo 2 (El fanático equivocado): El modelo se obsesiona con una idea que tiene sentido por sí sola, pero que está totalmente fuera de contexto. Es como si alguien te hablara de "bancos" (instituciones financieras) cuando tú le preguntaste sobre "bancos" (donde te sientas en el parque). Se compromete mucho, pero con la cosa equivocada.
• Tipo 3 (El vacío): El modelo intenta responder a algo que no existe en su conocimiento (como una pregunta sobre un animal que no existe). Es como intentar dibujar un unicornio cuando solo has visto caballos; no hay ningún "grupo" de conocimiento al que pueda aferrarse.

El misterio: En pruebas anteriores, el investigador no podía distinguir entre el Tipo 1 (el vagabundo) y el Tipo 2 (el fanático equivocado). Parecían idénticos para las herramientas de medición normales.

2. La Solución: Las Gafas de "Blanqueado" (Whitening)

El modelo que usaron (GPT-2) es pequeño y sus respuestas están tan "apretadas" y similares entre sí que las diferencias son invisibles. Es como intentar escuchar un susurro en medio de una tormenta.

El investigador usó una técnica matemática llamada "Blanqueado" (Whitening).

• La analogía: Imagina que tienes una foto muy oscura y borrosa donde todo se ve gris. El "blanqueado" es como ajustar el brillo, el contraste y los colores para que las sombras se aclaren y los detalles salten a la vista.
• Al aplicar esto, el investigador pudo ver una señal que antes estaba oculta: cuánto se "compromete" el modelo con un grupo de ideas.

3. El Descubrimiento Clave: La Brújula de Compromiso

Con las nuevas gafas, descubrieron que la mejor forma de medir la alucinación no es ver cuánta "confusión" hay, sino ver hacia dónde apunta la brújula del modelo:

• El Fanático (Tipo 2): Apunta con fuerza a un grupo específico (aunque sea el equivocado). Tiene el compromiso más alto.
• El Vagabundo (Tipo 1): No apunta a ningún grupo con fuerza. Tiene un compromiso medio.
• El Vacío (Tipo 3): No apunta a ningún grupo. Tiene el compromiso más bajo.

¡Y funcionó! Con las gafas de blanqueado, pudieron separar claramente al Fanático del Vacío. Además, vieron una pista muy débil de que también podían empezar a distinguir al Vagabundo del Fanático, pero la señal era tan tenue que necesitaban un modelo más grande para verla claramente.

4. La Trampa de las Preguntas (El error de las 15 preguntas)

Al principio, el investigador pensó que había encontrado una solución mágica usando una medida llamada "entropía" (que mide el desorden). Pero cuando probó con más preguntas (pasando de 15 a 30), esa solución mágica desapareció.

• La lección: Las primeras 15 preguntas eran un "truco" del azar. Parecían funcionar porque las preguntas específicas coincidían con un patrón accidental. Al hacer el experimento más diverso, se dio cuenta de que esa señal era falsa. Esto nos enseña que en la inteligencia artificial, si usas pocas preguntas, puedes ver fantasmas que no existen.

5. ¿Por qué no se pueden distinguir perfectamente? (La limitación de tamaño)

El investigador concluyó que la razón por la que no puede separar perfectamente al "Vagabundo" del "Fanático" no es porque sus herramientas sean malas, sino porque el modelo es demasiado pequeño.

• La analogía: Es como intentar distinguir dos tonos de azul muy parecidos usando una pantalla de 10 años. La pantalla es buena, pero no tiene la resolución (capacidad) suficiente.
• La predicción es: Si usamos un modelo gigante (más grande que el actual), la diferencia entre "vagabundo" y "fanático" se hará tan clara que será fácil de detectar.

En resumen

Este paper nos dice tres cosas importantes:

1. Las gafas correctas: Para ver las alucinaciones, necesitamos "blanquear" los datos matemáticos para ver la fuerza con la que el modelo se aferra a una idea.
2. La prueba de la diversidad: No confíes en resultados que solo funcionan con pocas preguntas; necesitas muchas y variadas para no caer en trampas.
3. El futuro: Los modelos pequeños ya tienen el "mapa" de las alucinaciones, pero les falta "potencia" para leerlo todo perfectamente. Necesitamos modelos más grandes para ver los detalles finos.

Es un trabajo que combina matemáticas avanzadas con la idea de que, a veces, para ver la verdad, primero hay que limpiar el cristal.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: El Blanqueamiento (Whitening) Revela el Compromiso del Clúster como Separador Geométrico de Tipos de Alucinación

1. El Problema

El trabajo aborda la dificultad de distinguir entre diferentes tipos de alucinaciones en modelos de lenguaje (LLMs) basándose en sus representaciones internas (estados ocultos). Una taxonomía geométrica previa define tres tipos de fallos:

• Tipo 1 (Deriva del centro): Bajo contexto débil, la generación se desvía hacia el centroide de los embeddings, mostrando baja pertenencia a clústeres.
• Tipo 2 (Convergencia al "pozo" incorrecto): El modelo se compromete con un clúster semántico localmente coherente pero contextualmente erróneo.
• Tipo 3 (Brecha de cobertura): La consulta requiere combinaciones semánticas ausentes, resultando en una pertenencia débil a todos los clústeres.

Trabajos anteriores (Korun, 2026b) encontraron que, en modelos pequeños como GPT-2-small (124M parámetros), los Tipos 1 y 2 eran indistinguibles en mediciones de dimensionalidad completa. Se planteaban dos hipótesis para este colapso:

1. Limitación de capacidad: El modelo de 124M no tiene la precisión representacional para diferenciar entre un contexto mal enrutado (Tipo 2) y uno débil (Tipo 1).
2. Mezcla espectral: La señal diferenciadora existe en bandas específicas del espectro de autovalores, pero se diluye al agregar métricas sobre todas las componentes principales (PCs).

2. Metodología

El estudio utiliza GPT-2-small y emplea un diseño experimental riguroso para aislar señales microscópicas en un régimen de similitud casi saturado (donde las diferencias significativas residen en la cuarta cifra decimal del coseno de similitud).

• Preprocesamiento (Blanqueamiento PCA): Se aplica una transformación de blanqueamiento (whitening) a los estados ocultos. Esto centra los vectores y normaliza la varianza a lo largo de las direcciones principales, eliminando direcciones dominantes que codifican frecuencia en lugar de significado. Esto transforma el espacio de "micro-señales" en un espacio donde las desviaciones son efectos de primer orden.
• Análisis de Estabilidad Multi-Run: Cada experimento se repite con 20 semillas (seeds) independientes de generación.
• Diversificación de Prompts: Se expandió el conjunto de prompts de 15 a 30 por grupo (90 en total) para probar la robustez de las señales frente a la selección de prompts.
• Métricas Clave:
  • Entropía de pertenencia al clúster ($H(v)$).
  • Alineación máxima con el clúster (Peak Cluster Alignment o max sim): La similitud coseno máxima con cualquier centroide.
  • Norma: Tanto la norma cruda como la blanqueada.
• Descomposición Espectral: Se analizan 6 bandas espectrales (desde componentes dominantes hasta la "cola" de baja varianza) para localizar dónde residen las señales.
• Estadística: Se utiliza la prueba $U$ de Mann-Whitney a nivel de prompt, con corrección de Holm-Bonferroni, tamaños del efecto rank-biserial ($r$) y análisis de estabilidad direccional.

3. Contribuciones Clave

1. Identificación de la Métrica Correcta: Se demuestra que la métrica teóricamente correcta para separar los tipos de alucinación no es la entropía ($H(v)$), sino la alineación máxima con el clúster (max sim). Esta métrica mide directamente la propiedad definitoria de la taxonomía: el "compromiso del clúster".
2. Validación de la Limitación de Capacidad: Se proporciona evidencia de que la imposibilidad de distinguir entre Tipo 1 y Tipo 2 en GPT-2-small es una limitación de capacidad y no un artefacto de medición o mezcla espectral.
3. Descubrimiento Metodológico sobre Fragilidad: Se revela que en el régimen de micro-señales, los resultados pueden ser altamente sensibles al conjunto de prompts. Un conjunto pequeño (N=15) puede generar falsos positivos robustos en semillas que desaparecen al diversificar los prompts (N=30).

4. Resultados Principales

• Separación Tipo 2 vs. Tipo 3:

  • El max sim blanqueado separa exitosamente el Tipo 2 del Tipo 3 con un 40% de tasa de supervivencia a la corrección de Holm ($r = -0.31$, estabilidad direccional 20/20).
  • El ordenamiento de las medias confirma la predicción teórica: Tipo 2 (mayor compromiso) > Tipo 1 (intermedio) > Tipo 3 (menor compromiso).
  • La relación de pseudorreplicación invertida (0.3x) indica que la señal es un efecto genuino entre condiciones, no inflado por ruido a nivel de token.

• El "Hint" (Pista) de Separación Tipo 1 vs. Tipo 2:

  • Aparece la primera evidencia de separación entre Tipo 1 y Tipo 2 mediante max sim (15% Holm, $r = +0.21$, estabilidad 17/20).
  • Aunque la magnitud es insuficiente para una detección fiable en 124M parámetros, la estabilidad direccional es alta, prediciendo que la brecha se ampliará en modelos más grandes.

• Colapso de la Entropía ($H(v)$) y Artefactos:

  • En el conjunto original de 15 prompts, la entropía blanqueada mostraba una separación fuerte (falso positivo).
  • Al aumentar a 30 prompts, esta señal colapsa completamente (caída al 5% de significancia).
  • El análisis espectral localiza este artefacto en las componentes principales dominantes (PCs 1–16), confirmando que la señal original era específica de los prompts elegidos y no una propiedad general del modelo.

• Refutación de la Hipótesis de Mezcla Espectral:

  • El análisis de bandas espectrales no encontró ninguna banda donde la separación Tipo 1/2 superara el 15% de significancia.
  • Esto descarta la hipótesis de que la señal esté oculta en bandas específicas y diluida por el agregado completo, confirmando que la distinción simplemente no existe en este modelo por falta de capacidad.

5. Significado e Implicaciones

• Reenfoque de la Detección Geométrica: El blanqueamiento es un paso de preprocesamiento necesario para hacer legible la estructura de clústeres en estados ocultos de modelos pequeños. La alineación máxima (max sim) debe ser la métrica primaria para la detección, superando a la entropía.
• Asimetría Fundamental: Existe una asimetría en lo que un modelo pequeño puede representar. Las brechas de cobertura (Tipo 3) son anomalías distribucionales detectables en cualquier escala. Sin embargo, diferenciar entre "ruta correcta" y "ruta incorrecta" (Tipos 1 y 2) es una distinción de precisión que requiere modelos más grandes con atractores contextuales más nítidos.
• Predicción de Escalado: Se predice que a medida que el tamaño del modelo aumenta, la brecha entre Tipo 1 y Tipo 2 se ampliará antes de que se resuelva el problema general de detección, ya que solo requiere mayor precisión en el vocabulario geométrico existente.
• Advertencia Metodológica: En regímenes de micro-señales, la diversificación de prompts es crítica. Los resultados que parecen robustos a través de múltiples semillas pueden ser artefactos de un conjunto de prompts limitado y no generalizarse.

En conclusión, este trabajo establece que la geometría de la alucinación es legible en representaciones contextuales tras aplicar blanqueamiento, confirmando la validez de la taxonomía de compromiso de clúster, pero delimitando que la discriminación fina entre tipos de alucinación interna sigue siendo un desafío de capacidad computacional para modelos de escala media.