Resumen Técnico: NoisyCoconut: Consenso Contrafactual mediante Razonamiento en Espacio Latente

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más en entornos de alto riesgo, pero carecen de mecanismos inherentes para señalar la incertidumbre, produciendo a menudo salidas confiables pero erróneas (alucinaciones). Si bien la predicción selectiva —permitir que los modelos se abstengan de responder cuando están inciertos— es una estrategia bien establecida para mejorar la fiabilidad en tareas de clasificación, es difícil aplicarla a los LLM generativos. Las probabilidades a nivel de token suelen reflejar incertidumbre lingüística en lugar de corrección factual, y los métodos existentes en tiempo de inferencia (por ejemplo, la autoconsistencia mediante muestreo de tokens) se limitan a la diversidad presente en la distribución superficial de tokens. Además, los métodos de razonamiento en espacio latente que operan directamente sobre estados ocultos continuos generalmente requieren entrenamiento especializado y carecen de mecanismos integrados de estimación de confianza.

Metodología

El artículo introduce NoisyCoconut, un método sin entrenamiento y en tiempo de inferencia que mejora la fiabilidad de los LLM manipulando representaciones internas en un espacio latente continuo. Basándose en el marco de Cadena de Pensamiento Continua (Coconut) (Hao et al., 2025), que permite el razonamiento alimentando el último estado oculto como la siguiente incrustación de entrada, NoisyCoconut se desvía al centrarse en la evaluación de la confianza en lugar de entrenar modelos para razonar en espacio latente.

El mecanismo central implica la inyección controlada de ruido en las trayectorias latentes de un modelo preentrenado:

1. Inyección de Ruido: Para una consulta de entrada dada, el método genera múltiples trayectorias de razonamiento ($K$) inyectando ruido gaussiano independiente ($\eta_t$) en los estados ocultos durante el paso hacia adelante. La escala del ruido $\sigma_t$ decae exponencialmente a lo largo de los pasos de tiempo y se escala adaptativamente en función de la norma del estado oculto para garantizar una divergencia significativa manteniendo la coherencia.
2. Exploración de Trayectorias: Esta perturbación induce una ramificación en trayectorias de razonamiento alternativas dentro del espacio representacional continuo, explorando efectivamente diferentes regiones del espacio de soluciones sin generar tokens intermedios.
3. Agregación y Abstención: Las salidas de las $K$ trayectorias se agregan. El sistema emplea una estrategia de votación mayoritaria para determinar una salida de consenso. Crucialmente, el sistema puede abstenerse (denotado como $\perp$) si el acuerdo entre las trayectorias cae por debajo de un umbral específico (por ejemplo, requiriendo un acuerdo unánime de 5/5).
4. Señal de Confianza: El grado de acuerdo entre las trayectorias perturbadas por ruido sirve como proxy para la confianza en la predicción. Un alto acuerdo indica que el modelo se encuentra en una "cuenca de atractor" estable donde la solución es robusta a la perturbación, mientras que un bajo acuerdo sugiere inestabilidad representacional y alta incertidumbre.

Contribuciones Clave

Los autores realizan cuatro contribuciones principales:

1. Marco NoisyCoconut: Un método novedoso, sin entrenamiento y en tiempo de inferencia que genera diversas trayectorias de razonamiento mediante inyección controlada de ruido en espacio latente continuo, permitiendo la estimación de confianza basada en acuerdo directamente sobre estados ocultos.
2. Validación del Acuerdo de Trayectorias: Demostración empírica de que el acuerdo de trayectorias proporciona un proxy confiable para la confianza en la predicción, permitiendo compensaciones efectivas entre cobertura y precisión.
3. Caracterización de la Relación Ruido-Precisión: Análisis que muestra un patrón de degradación sigmoide consistente en la precisión del modelo a medida que aumentan las escalas de ruido, confirmando que la inyección de ruido produce efectos predecibles y explotables en diferentes arquitecturas.
4. Rendimiento en Puntos de Referencia: Evidencia de que NoisyCoconut logra compensaciones significativas entre cobertura y precisión en tres puntos de referencia de razonamiento (GSM8K, GSM-Symbolic, MMLU) y cinco modelos de lenguaje distintos (incluyendo variantes de Qwen, Llama, Mixtral y DeepSeek) sin requerir acceso a datos de entrenamiento ni modificación de parámetros.

Resultados

Los experimentos realizados en cinco modelos de lenguaje y tres puntos de referencia arrojan los siguientes hallazgos:

• Reducción de Errores: El acuerdo unánime (5/5) entre trayectorias perturbadas por ruido reduce las tasas de error de una línea base del 40–70% a menos del 15%.
• Alta Precisión mediante Abstención: Al abstenerse selectivamente de predicciones de baja confianza (donde el acuerdo de trayectorias es bajo), los modelos logran una precisión superior al 95% en tareas de razonamiento matemático (por ejemplo, GSM8K). Por ejemplo, el modelo DeepSeek-R1-Distill-Qwen-7B mejoró desde una línea base del 62,0% al 95,2% en el umbral de acuerdo unánime, aunque con una cobertura reducida (31,4%).
• Efecto Igualador: Los modelos de línea base más débiles muestran las mayores mejoras absolutas de precisión bajo filtrado de alto acuerdo, lo que sugiere que NoisyCoconut puede ayudar a los modelos más débiles a acercarse a la fiabilidad de sus contrapartes más fuertes en el subconjunto de preguntas donde exhiben alta confianza.
• Sensibilidad al Ruido: Una evaluación sistemática reveló un decaimiento sigmoide consistente en la precisión a medida que aumentaban las escalas de ruido, con ajustes de $R^2 \ge 0,94$ en todos los modelos, indicando una transición de fase en el comportamiento del modelo desde un razonamiento robusto hasta un rendimiento casi aleatorio.

Significado y Afirmaciones

El artículo afirma que NoisyCoconut proporciona una vía práctica para mejorar la fiabilidad de los LLM sin el costo computacional de reentrenar o ajustar finamente. Al extender la estimación de confianza basada en acuerdo al espacio latente, el método aprovecha el espacio representacional continuo para descubrir incertidumbre que no es visible en las distribuciones a nivel de token.

Los autores postulan que la correlación entre el acuerdo de trayectorias y la corrección sugiere que la incertidumbre en los LLM es visible en el espacio latente. Cuando las perturbaciones de ruido conducen a trayectorias divergentes, es probable que el modelo esté operando en una región de inestabilidad representacional; por el contrario, la convergencia hacia la misma respuesta indica una solución estable robusta a la perturbación. Este enfoque permite el despliegue de LLM en sectores regulados donde la precisión y la auditabilidad son críticas, ofreciendo un mecanismo para intercambiar cobertura por precisión de alta confianza.

El artículo reconoce limitaciones, incluido el requisito de acceso a estados internos del modelo (limitando la aplicabilidad a modelos de peso abierto), el enfoque actual en tareas con respuestas discretas o bien definidas, y la sobrecarga computacional de generar múltiples trayectorias. Sin embargo, enmarca estas limitaciones como oportunidades para trabajos futuros en escalado adaptativo de ruido, agregación semántica para generación abierta e integración con decodificación especulativa para reducir costos.