Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

A continuación presento un resumen técnico detallado del artículo "Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures" (Detección de alucinaciones de LLM mediante la geometría de clusters de incrustación: Una taxonomía de tres tipos con firmas medibles), escrito por Matic Korun.

1. El Problema

Las Grandes Modelos de Lenguaje (LLM) sufren de "alucinaciones": generan texto que es fluido y confiable, pero factualmente incorrecto. Los métodos actuales de detección se basan principalmente en el nivel de salida (verificación de consistencia, calibración de logits, aumento de recuperación), lo cual es una limitación fundamental porque operan sobre el resultado final en lugar de analizar la estructura geométrica que produce dicho resultado.

El artículo plantea que las alucinaciones no son un fenómeno monolítico, sino que surgen de diferentes "fallos geométricos" en el espacio de incrustaciones (embedding space) del modelo. La pregunta central es: ¿qué tipo de fallo geométrico produce una alucinación y deja una firma medible específica en el espacio de embeddings?

2. Metodología

El autor propone un enfoque basado en la geometría de los clusters de tokens dentro de los espacios de incrustación estáticos de modelos transformadores.

• Conjunto de Datos: Se analizaron 11 modelos transformadores que abarcan dos paradigmas (codificadores como BERT, RoBERTa, ELECTRA, DeBERTa, ALBERT, MiniLM, DistilBERT y decodificadores como GPT-2) y siete familias arquitectónicas, con dimensiones de embeddings de 128 a 1024.
• Extracción de Estructura: Se aplicó el algoritmo de agrupamiento k-means (con $k=40$) a matrices de embeddings filtradas (solo tokens de palabras completas) para identificar clusters semánticos.
• Estadísticas Geométricas Propuestas: Se introdujeron tres métricas para validar los requisitos geométricos de la taxonomía:
  1. $\alpha$ (Acoplamiento de polaridad): Mide la fuerza de los ejes de polaridad (ej. antónimos) dentro de los clusters.
  2. $\beta$ (Cohesión del cluster): Mide si los tokens están más cerca de su propio centroide que del promedio de los otros centroides (verificando que los clusters sean reales y no artefactos).
  3. $\lambda_r$ (Gradiente de información radial): Cuantifica la relación no lineal entre la norma del embedding (distancia al origen) y el contenido de información (autoinformación o self-information). Se ajusta un modelo cuadrático para detectar si la información varía sistemáticamente con la distancia.

3. Taxonomía de Alucinaciones (Tipos)

El núcleo de la propuesta es una clasificación de tres tipos de alucinaciones basada en la relación geométrica entre el token generado y la estructura del cluster:

• Tipo 1: Deriva del Centro (Center-drift)
  • Mecanismo: Ocurre bajo contextos débiles o ambiguos. El estado oculto no tiene suficiente señal para navegar a un cluster específico, por lo que la generación se desvía hacia el centroide del espacio (tokens genéricos de alta frecuencia).
  • Firma Geométrica: Baja membresía en el cluster y norma de embedding baja.
  • Resultado: Alucinaciones plausibles pero vagas ("generalidad confiante").
• Tipo 2: Convergencia al Pozo Incorrecto (Wrong-well convergence)
  • Mecanismo: La señal del contexto es lo suficientemente fuerte para navegar a un cluster, pero el incorrecto. El modelo se bloquea en un atractor semántico localmente coherente pero contextualmente inapropiado.
  • Firma Geométrica: Alta membresía en el cluster local y discontinuidades en la trayectoria de generación (saltos abruptos entre regiones de clusters).
  • Resultado: Alucinaciones detalladas, específicas y convincentemente incorrectas (confabulación).
• Tipo 3: Brecha de Cobertura (Coverage gap)
  • Mecanismo: La consulta requiere combinaciones semánticas ausentes en el entrenamiento. El embedding cae en una región dispersa sin estructura de cluster.
  • Firma Geométrica: Membresía débil en todos los clusters y alta varianza en la similitud local.
  • Resultado: Salidas erráticas o sin sentido.

4. Resultados Clave

El estudio validó estas métricas en los 11 modelos:

• Universalidad de la Estructura Angular:
  • La estructura de polaridad ($\alpha > 0.5$) es universal en todos los 11 modelos.
  • La cohesión de clusters ($\beta > 0$) es universal en todos los 11 modelos ($p < 0.001$). Esto confirma que los clusters existen independientemente de la arquitectura.
• Gradiente Radial ($\lambda_r$):
  • En 9 de 11 modelos, el gradiente de información radial es estadísticamente significativo ($p < 0.05$). La mayoría muestra un perfil cóncavo hacia abajo (información que aumenta con la norma, pero a una tasa decreciente).
  • Anomalías Explicadas:
    • ALBERT: No mostró significancia debido a la compresión de embeddings factorizados (el espacio está casi lleno, con una variación de norma muy baja).
    • MiniLM: No mostró significancia debido a la isotropía inducida por la destilación (la estructura radial se aplanó, invirtiendo el signo de $\lambda_r$).
• Diferencias Arquitectónicas:
  • Los modelos decodificadores (GPT-2) tienen gradientes radiales significativos pero de magnitud mucho menor que los codificadores (BERT), consistente con su objetivo de entrenamiento (predicción de siguiente token).
  • La dirección del gradiente ($\lambda_r$ positivo o negativo) varía según la arquitectura (ej. DeBERTa y RoBERTa-large muestran valores positivos), sugiriendo diferentes formas de organizar la relación norma-información.

5. Contribuciones y Arquitectura de Detección

El trabajo propone un sistema de detección en tres niveles (tiers) que utiliza estas firmas geométricas:

1. Nivel 1 (Filtrado de membresía): Detecta Tipo 1 calculando la similitud con centroides y la norma del vector.
2. Nivel 2 (Análisis de trayectoria): Detecta Tipo 2 monitoreando saltos abruptos entre clusters en la secuencia de generación.
3. Nivel 3 (Análisis de densidad): Detecta Tipo 3 calculando la densidad local mediante vecinos más cercanos.

Contribuciones principales:

1. Una taxonomía de alucinaciones basada en la geometría de embeddings con criterios de detección operativos.
2. Tres nuevas estadísticas de diagnóstico ($\alpha, \beta, \lambda_r$) validadas experimentalmente.
3. La demostración de que las propiedades geométricas son independientes de la arquitectura en su existencia, pero sus firmas cuantitativas dependen de la arquitectura de manera explicable.
4. Predicciones comprobables: Los modelos con espacios comprimidos o isotrópicos (como ALBERT o MiniLM) deberían ser más vulnerables al Tipo 1 (deriva del centro) porque su señal de advertencia radial está degradada.

6. Significado e Implicaciones

Este marco cambia el paradigma de la detección de alucinaciones: en lugar de preguntar "¿está mintiendo el modelo?", pregunta "¿qué tipo de fallo geométrico ocurrió?".

• Independencia de la Verdad: La métrica geométrica no verifica la verdad factual, sino el modo en que el modelo llegó a la salida. Es complementaria a la verificación de hechos.
• Vulnerabilidad Arquitectónica: Identifica que ciertas decisiones de diseño (compresión de embeddings, destilación agresiva) crean "puntos ciegos" específicos para ciertos tipos de alucinaciones.
• Escalabilidad: Proporciona herramientas teóricas para predecir la vulnerabilidad de futuros modelos basándose en su arquitectura sin necesidad de entrenamiento adicional.

En resumen, el artículo establece que las alucinaciones tienen "huellas dactilares" geométricas medibles en el espacio de embeddings, permitiendo una detección más precisa y específica según el tipo de fallo y la arquitectura del modelo.