Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering

A continuación presento un resumen técnico detallado del artículo "Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering" (Razonamiento Atado: Desacoplando la Entropía de la Alucinación en LLMs Cuantizados Mediante la Dirección de Variedades), escrito por Craig Atkinson.

1. El Problema: La Paradoja Temperatura-Entropía en Modelos Cuantizados

Los modelos de lenguaje cuantizados (especialmente a 4 bits) enfrentan un dilema fundamental durante la inferencia:

• Bajas temperaturas ($T < 1.0$): Producen salidas repetitivas y colapsadas en el modo (falta de diversidad).
• Altas temperaturas ($T > 2.0$): Tradicionalmente se asocian con "alucinaciones" e incoherencia semántica. La ortodoxia actual limita la temperatura a $T=2.0$ para evitar la inestabilidad.
• El efecto de la cuantización: La cuantización introduce ruido en los pesos, lo que hace que los modelos colapsen o se desestabilicen incluso antes que sus contrapartes de precisión completa.

La hipótesis central del trabajo desafía la noción de que la "alucinación" a altas temperaturas es un colapso semántico (pérdida de conocimiento). En su lugar, propone que es un divergencia de trayectoria: las activaciones del modelo escapan de las regiones estructuralmente coherentes del espacio de representación, pero el contenido semántico subyacente sigue siendo válido si se mantiene la coherencia lógica.

2. Metodología: El Marco Geométrico "Helix"

El autor presenta Helix, un marco de intervención en tiempo de inferencia que desacopla la entropía de salida de la alucinación mediante el "anclaje" (tethering) de las trayectorias de los estados ocultos a una variedad de veracidad precalculada.

Componentes Clave:

• Variedad de Veracidad (Truthfulness Manifold):

  • Se construye de manera no supervisada a partir de 10,000 prompts factuales (de TruthfulQA, WikiText y GSM8K) con temperaturas bajas ($T=0.1$).
  • Se extraen las activaciones ocultas de capas específicas (en modelos híbridos Mamba-Transformer, se usan las capas de atención Transformer, que representan solo ~10% de las capas, actuando como puntos de integración global).
  • Se calcula la media ($\mu_T$) y la matriz de precisión ($\Sigma^{-1}_T$) para definir la distribución de "verdad".

• Puntuación de Verdad Unificada (UTS - Unified Truth Score):

  • Es una métrica de incertidumbre por token que combina dos factores:
    1. Entropía Semántica ($S_E$): Basada en la entropía de Shannon de los logits.
    2. Distancia de la Variedad ($S_D$): Distancia de Mahalanobis de la activación actual respecto a la variedad de veracidad.
  • Mecanismo de Transferencia Adaptativa: Se utiliza una función sigmoide $\beta(T)$ para ponderar estos factores según la temperatura. A bajas temperaturas, prima la entropía (precisión); a altas temperaturas ($T > 1.5$), la distancia de la variedad domina (estabilidad), permitiendo que el sistema detecte desviaciones geométricas incluso cuando la entropía está saturada.

• Dirección Graduada (Graduated Steering):

  • Si el UTS cae por debajo de un umbral dinámico $\tau(T)$, se aplica un vector de dirección (penalización) a los logits del token más probable.
  • Esta intervención es graduada: tokens ligeramente inestables reciben una corrección mínima, mientras que los altamente divergentes reciben una corrección fuerte.
  • Eficiencia: Solo afecta al 0.2% - 2.5% de los tokens, preservando la distribución natural del modelo y manteniendo un costo computacional casi nulo (sin ensembles ni múltiples pasadas).

• Arquitectura Híbrida (Granite 4.0):

  • El método se prueba en IBM Granite 4.0 H Small (arquitectura híbrida Mamba-2 y Transformer).
  • Se descubre que dirigir las capas de atención Transformer dispersas es suficiente para corregir la deriva (drift) en la formulación de espacio de estado de Mamba-2, ofreciendo un nuevo paradigma para controlar arquitecturas híbridas.

3. Contribuciones Principales

1. Hipótesis de Divergencia de Trayectoria: Demostración de que la alucinación a altas temperaturas es un problema geométrico (escape de la variedad coherente) y no semántico, lo que permite su mitigación mediante anclaje.
2. UTS (Unified Truth Score): Una métrica de incertidumbre en tiempo real que combina entropía y geometría, eliminando la necesidad de ensembles costosos.
3. Recuperación de Cuantización: El sistema permite que un modelo cuantizado a 4 bits supere el rendimiento de la línea base de precisión completa.
4. Reserva Creativa de Alta Entropía: Identificación de un régimen de alta temperatura ($T > 2.0$) que contiene paisajes de ideas no superpuestas y estructuralmente válidas, anteriormente inaccesibles.
5. Síntesis Multi-Temperatura: Un nuevo paradigma de inferencia que consulta múltiples temperaturas para generar más del 200% de conceptos únicos en comparación con la inferencia de una sola temperatura.

4. Resultados Experimentales

Los experimentos se realizaron en IBM Granite 4.0 H Small (32B parámetros totales, 9B activos, cuantizado a 4 bits) y validados en Qwen3-30B-A3B (MoE).

• Razonamiento Matemático (GSM8K):
  • A $T=1.0$, el modelo dirigido alcanza 91.80% de precisión, superando la línea base de precisión completa (87.27%) en 4.53 puntos porcentuales (pp).
  • A $T=3.0$, mantiene 88.84% (solo 2.81 pp de degradación respecto a $T=0.5$), demostrando una estabilidad térmica excepcional.
• Generación de Código (HumanEval):
  • Mantiene un rendimiento estable de 76.83% a $T=3.0$ (degradación de 6.10 pp), sin colapso catastrófico.
• Razonamiento de Conocimiento (MMLU):
  • Es el benchmark más estable: 72.49% a $T=3.0$ (solo 1.24 pp de degradación).
• Descubrimiento Creativo:
  • En tareas de ideación (ej. composición de canciones), la tasa de duplicación de ideas cae del 70-80% (baja temperatura) al 5-20% (alta temperatura con dirección).
  • La consulta a través de 11 puntos de temperatura generó 30 conceptos únicos, un aumento del 200%+ respecto a una sola temperatura.

5. Significado e Implicaciones

• Desbloqueo de la Temperatura: El trabajo demuestra que el límite de $T=2.0$ impuesto por la mayoría de los frameworks de inferencia es una restricción de infraestructura, no una limitación fundamental del modelo. Helix permite operar de manera fiable hasta $T=3.0$.
• Despliegue en Recursos Limitados: Al permitir que modelos cuantizados a 4 bits superen a modelos de precisión completa, se democratiza el acceso a IA de alto rendimiento en hardware de consumo (ej. RTX 4090, chips Apple M-series) sin sacrificar precisión.
• Nueva Definición de Alucinación: Se reencuadra la alucinación no como un fallo de conocimiento, sino como una violación de la coherencia estructural (sintaxis, lógica, causalidad). El "anclaje" actúa como una "cuerda de sintaxis" que permite la exploración semántica sin romper la lógica.
• Telemetría de Incertidumbre: Proporciona observabilidad a nivel de token (entropía, distancia de Mahalanobis) sin necesidad de múltiples pasadas, permitiendo monitoreo de calidad en tiempo real.
• Arquitecturas Híbridas: Sugiere que en modelos como Granite (Mamba + Transformer), la dirección en las capas de atención dispersas es suficiente para controlar la deriva en las capas de espacio de estado, optimizando la intervención.

En conclusión, Helix transforma la temperatura de un compromiso entre calidad y diversidad en una dimensión explotable para la optimización en tiempo de inferencia, permitiendo tanto un razonamiento robusto en modelos cuantizados como la exploración de un "reservorio creativo" de alta entropía.