🤖 machine learning

From Drift to Coherence: Stabilizing Beliefs in LLMs

Este artículo demuestra que, si bien los modelos de lenguaje de gran tamaño exhiben inicialmente una deriva de creencias que viola la propiedad de martingala durante el remuestreo autorregresivo de respuestas, eventualmente se autoestabilizan en distribuciones predictivas coherentes, un fenómeno aprovechado para proponer estrategias de prompting y ajuste fino que reducen la deriva y mejoran la coherencia sin sacrificar la precisión.

Autores originales: SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

Publicado 2026-06-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un robot muy inteligente y culto (un Modelo de Lenguaje Extenso o LLM) al que le haces una pregunta. Normalmente, esperas que te dé una respuesta y se mantenga fiel a su razonamiento. Pero este artículo descubre algo extraño: si le pides al robot que responda a la misma pregunta repetidamente en una secuencia, su confianza tambalea.

Aquí está la historia de cómo los autores arreglaron ese tambaleo, explicada de forma sencilla.

El Problema: El "Cerebro Tambaleante" del Robot

Piensa en el cerebro del robot como una persona que intenta adivinar el clima.

El Ideal: Si el robot fuera un pensador bayesiano perfecto (un término elegante para un adivinador probabilístico perfecto), su confianza debería ser estable. Si piensa que hay un 70% de probabilidad de lluvia, ese 70% no debería cambiar solo porque lo pensó una segunda vez.
La Realidad: Los autores descubrieron que cuando le pedían al robot generar una secuencia de respuestas a la misma pregunta, su confianza interna derivaba.
- Analogía: Imagina que le preguntas a un amigo: "¿Va a llover?". Él dice: "Estoy un 70% seguro". Luego, sin mirar afuera de nuevo, le preguntas otra vez inmediatamente. Él podría decir de repente: "En realidad, solo estoy un 50% seguro". Luego le preguntas de nuevo y dice: "¡Espera, tal vez un 80%!".
- Este "tambaleo" significa que las creencias del robot son inestables a corto plazo. Es como una brújula que gira salvajemente antes de finalmente apuntar al Norte.

El Descubrimiento: Eventualmente se Estabiliza

Los investigadores notaron algo interesante: si seguías pidiéndole al robot que respondiera a la misma pregunta muchas veces (como 20 o 30 veces seguidas), el tambaleo eventualmente se detenía. La confianza del robot se estabilizaba y se asentaba en un número constante.

La Metáfora: Es como agitar un frasco de canicas mezcladas. Al principio, los colores se agitan caóticamente. Pero si dejas el frasco quieto, las canicas se asientan y finalmente puedes ver la proporción real de colores. El robot necesita un "periodo de asentamiento" (llamado fase de burn-in) para encontrar su verdadera creencia.

La Solución: Dos Trucos para Detener el Tambaleo

El problema es que esperar a que el robot se asiente toma mucho tiempo y consume mucha potencia de cómputo. Los autores idearon dos formas de hacer que el robot sea estable de inmediato.

1. El Truco del "Calentamiento" (Siembra de Respuestas)

En lugar de pedirle al robot que comience en frío, los autores le dan una lista de "calentamiento" de respuestas primero.

Cómo funciona: Le piden al robot que genere unas pocas respuestas aleatorias a la pregunta una sola vez, y luego le reinyectan esas respuestas al robot como parte del prompt antes de pedirle que comience la secuencia real.
La Analogía: Es como un músico afinando su instrumento antes de un concierto. En lugar de empezar la canción con una nota estridente y desafinada, toca algunas notas rápidas para ajustar el tono. El robot utiliza estas respuestas "semilla" para saltar directamente a la zona estable, saltándose el tambaleo caótico del principio.

2. El Truco del "Entrenamiento" (Pérdida de Autoconsistencia)

Los autores también enseñaron al robot a ser estable cambiando la forma en que aprende.

Cómo funciona: Crearon una lección matemática especial (una "función de pérdida") donde le mostraban al robot sus propias respuestas futuras. Le dijeron al robot: "Tu respuesta ahora mismo debe coincidir con lo que dirás en 5 pasos".
La Analogía: Imagina a un estudiante que suele ponerse nervioso y cambia de opinión durante un examen. El profesor le da una regla: "Lo que escribas en la pregunta #1, debes ser capaz de defenderlo cuando llegues a la pregunta #10". Al practicar esta regla, el estudiante aprende a ser consistente desde el primer segundo, para que no necesite "tambalearse" para encontrar su confianza más tarde.

Los Resultados

Cuando probaron estos trucos en preguntas de opción múltiple estándar (como cuestionarios de sentido común o ciencia):

Menos Tambaleo: La confianza del robot dejó de derivar y se mantuvo constante.
Mejor Capacidad de Adivinación: El robot se volvió mejor en saber qué tan seguro estaba de sus respuestas (calibración).
Misma Precisión: Crucialmente, hacer al robot más estable no lo hizo más tonto. Seguía obteniendo las respuestas correctas con la misma frecuencia que antes, pero ahora era más confiable sobre cuándo estaba en lo cierto.

La Conclusión

El artículo muestra que, aunque los modelos de IA suelen comenzar con un sistema de creencias "tambaleante" al generar secuencias, naturalmente quieren ser consistentes. Al usar un poco de datos de "calentamiento" o al entrenarlos para que coincidan con sus versiones futuras, podemos hacerlos estables y confiables de inmediato, sin necesidad de esperar a que se asienten por su cuenta.

Resumen Técnico: Del Deriva a la Coherencia: Estabilizando las Creencias en los LLM

Formulación del Problema
Se hipotetiza frecuentemente que los Grandes Modelos de Lenguaje (LLM) realizan una inferencia bayesiana implícita, particularmente en el contexto del aprendizaje en contexto (ICL). Una condición crítica para tal coherencia bayesiana es la propiedad de martingala de las creencias predictivas: la esperanza de las creencias futuras, condicionada a la historia actual, debe ser igual a la creencia actual. Trabajos previos por Falck et al. (2024) demostraron que los LLM violan esta propiedad en entornos sintéticos controlados (por ejemplo, generación de números aleatorios), lo que sugiere que no son generalmente bayesianos. Sin embargo, estas tareas sintéticas oscurecen la distribución predictiva real del modelo y pueden no reflejar los regímenes de uso típicos.

Este artículo investiga si los LLM exhiben violaciones de la martingala en un entorno más práctico: la respuesta a preguntas de opción múltiple (MCQA) genérica. Los autores definen el proceso predictivo como una secuencia de respuestas generadas de forma autorregresiva para una consulta fija. Observan que, si bien los LLM eventualmente se estabilizan, exhiben una deriva de creencia inicial significativa donde la distribución predictiva cambia sistemáticamente durante los primeros pasos de muestreo, violando la propiedad de martingala. Esta deriva implica que el estado de creencia interna del modelo no es inmediatamente coherente, requiriendo un periodo de "calentamiento" (burn-in) para alcanzar una distribución límite estable.

Metodología
Los autores proponen un marco para analizar y corregir esta deriva utilizando la naturaleza discreta de los espacios de respuesta de MCQA, lo que permite el cálculo exacto de las distribuciones predictivas sin aproximaciones de muestreo.

Remuestreo Predictivo Provocado (PPR): El protocolo experimental central consiste en instruir a un LLM para que genere una secuencia de respuestas a la misma pregunta repetidamente. Esto crea un proceso predictivo dependiente de la historia $\theta_n(x_Q)$ , donde el modelo se condiciona a sus propias salidas previas.
Semilla de Respuestas (Answer Seeding): Para mitigar la deriva en las etapas tempranas, los autores introducen una estrategia de prompting donde se le proporciona al modelo primero una secuencia corta de respuestas "semilla" muestreadas i.i.d. de la distribución estándar del modelo (sin instrucciones de remuestreo). Estas semillas actúan como un resumen de "campo medio" de la incertidumbre del modelo, dirigiendo el proceso generativo hacia un régimen estable de manera más rápida.
Amortización de Martingala (Pérdida de Autoconsistencia): Para eliminar el costo computacional de las secuencias de remuestreo largas o la generación de semillas externas en el tiempo de inferencia, los autores proponen un objetivo de ajuste fino llamado Pérdida de Autoconsistencia (SC loss). Esta pérdida minimiza la divergencia entre las predicciones de horizonte corto del modelo y sus predicciones de horizonte largo (aproximadas mediante rollouts de Monte Carlo). Al entrenar al modelo para que coincida con sus propias estadísticas marginales futuras, la pérdida SC "amortiza" el proceso de estabilización, permitiendo que el modelo emita una distribución de creencia coherente inmediatamente (zero-shot) sin requerir una fase de calentamiento.

Contribuciones Clave

Caracterización Empírica de la Deriva: El artículo proporciona evidencia empírica de que, si bien los LLM violan la propiedad de martingala en los pasos iniciales del remuestreo predictivo, se estabilizan espontáneamente tras un número suficiente de pasos, convergiendo a una distribución predictiva coherente (una posterior de martingala).
Mecanismos de Estabilización: Los autores introducen dos métodos para lograr la coherencia:
- En tiempo de inferencia: Semilla de respuestas, que reduce el periodo de calentamiento al proporcionar un contexto estocástico.
- En tiempo de entrenamiento: La pérdida SC, que enseña al modelo a internalizar la estabilidad, colapsando efectivamente el horizonte de convergencia.
Justificación Teórica: El artículo establece que minimizar la pérdida SC asegura que el proceso predictivo se aproxime a una martingala aproximada, siempre que la clase de modelos sea suficientemente expresiva. Los límites teóricos muestran que la violación residual de la martingala es proporcional al valor de la pérdida SC.

Resultados
Los experimentos se realizaron en benchmarks estándar de MCQA (CSQA, AI2-ARC, TinyMMLU) utilizando modelos ajustados por instrucciones (LLAMA-3.1-8B y OLMO-3-7B).

Reducción de la Deriva: Tanto la semilla de respuestas como el entrenamiento con la pérdida SC redujeron significamente la Deriva de Martingala Esperada (EMD). La pérdida SC (AM-PPR) superó consistentemente al PPR estándar, logrando valores de deriva más bajos en todos los conjuntos de datos y modelos.
Calibración y Precisión: Las distribuciones predictivas estabilizadas demostraron una mejor calibración de la incertidumbre (menor Error de Calibración Esperado y Brier Score) en comparación con las líneas base de consulta directa estándar y el PPR no estabilizado. Crucialmente, estas mejoras en coherencia y calibración se lograron sin sacrificar la precisión predictiva.
Eficiencia: El método AM-Porer permitió al modelo acceder a su estado de creencia estable de inmediato (usando la distribución del primer token), eliminando la necesidad de rollouts largos costosos o la generación de semillas auxiliares durante la inferencia.

Significancia y Reivindicaciones
El artículo afirma que los LLM prácticos exhiben una deriva de creencia transitoria que puede reducirse sustancialmente mediante estrategias específicas de prompting y entrenamiento. Al operacionalizar la coherencia de tipo martingala, los autores demuestran que es posible mejorar la fiabilidad y la calibración de la incertidumbre de los LLM en tareas de razonamiento de alto nivel sin comprometer la precisión.

Los autores señalan modestamente que reducir las violaciones de la martingala es una condición necesaria pero no suficiente para una inferencia plenamente bayesiana y bien calibrada; las creencias estabilizadas siguen siendo internamente consistentes pero no garantizan la corrección fáctica o la alineación con la verdad fundamental. Además, el método depende actualmente de la ingeniería de prompts para provocar el comportamiento de remuestreo secuencial. El artículo concluye que, si bien el marco fue validado en MCQA discreto, es inherentemente extensible a trayectorias de razonamiento más ricas (por ejemplo, Cadena de Pensamiento - CoT), lo que sugiere una vía prometedora para la investigación futura sobre la estabilización de caminos de pensamiento estocástico en escenarios de razonamiento complejo.