🤖 machine learning

What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach

Este artículo presenta Predictive Monte Carlo (PMC), un nuevo método de interpretabilidad que utiliza únicamente la generación del siguiente token para aproximar directamente las distribuciones implícitas de la priori y la posterior sobre las tareas latentes aprendidas por los transformadores filtrados por Bayes, superando así las limitaciones de las frágiles comparaciones en el espacio de predicción.

Autores originales: Afiq Abdillah Effiezal Aswadi, Haotong Ma, Susan Wei

Publicado 2026-07-21

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Afiq Abdillah Effiezal Aswadi, Haotong Ma, Susan Wei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de descubrir qué está pensando un robot misterioso y superinteligente. No puedes mirar dentro de su cerebro ni leer su diario; solo puedes observarlo jugar un juego de "adivinar la siguiente palabra". Cada vez que le das al robot una frase, este predice la siguiente palabra con una precisión asombrosa. Pero este es el rompecabezas: ¿está el robot simplemente memorizando una lista gigante de respuestas que vio durante su entrenamiento, o está realmente aprendiendo las reglas ocultas del universo para hacer conjeturas inteligentes sobre situaciones nuevas? Esta pregunta se sitúa en el corazón de un campo llamado aprendizaje automático, específicamente en el estudio de cómo los modelos de IA aprenden del contexto. Para entender esto, necesitamos saber sobre los "priors" (la suposición inicial de un robot antes de ver cualquier pista) y los "posteriors" (cómo cambia esa suposición tras ver la evidencia). Los científicos se han preguntado durante mucho tiempo si estos robots están realizando verdaderamente el cálculo del razonamiento bayesiano —una forma elegante de actualizar creencias basadas en nuevos datos— o si solo están imitando la apariencia de ese cálculo sin comprenderlo realmente.

Este artículo presenta un nuevo y hábil truco para mirar detrás de la cortina. Los investigadores, trabajando con "transformers con filtro Bayesiano" (un tipo de IA entrenada en secuencias generadas por reglas ocultas), desarrollaron un método llamado Monte Carlo Predictivo (PMC). Piensa en la IA como un chef que ha probado millones de sopas. Si le pides al chef que describa la receta, es posible que solo diga "sabe a pollo". Pero si le pides que cocine un nuevo lote de sopa basado en un ingrediente específico que tú le das, y luego pruebas ese nuevo lote para averiguar qué piensa realmente de la receta, obtienes una imagen mucho más clara. Los autores utilizan este método de "cocinar" para generar miles de secuencias de futuros ficticios a partir de la IA. Al analizar estos futuros ficticios, pueden reconstruir las "creencias" ocultas de la IA sobre el mundo.

El estudio probó esto en tres tipos diferentes de acertijos: un juego de dibujar bolas de colores de una urna, una tarea de regresión lineal (hallar una línea a través de puntos dispersos) y un juego de movimiento entre estados como un juego de mesa. En cada caso, entrenaron a la IA con una mezcla de diferentes "tareas" (recetas distintas) y luego usaron PMC para ver qué creía la IA realmente. Encontraron que las creencias internas de la IA cambian de formas fascinantes. Cuando la IA es entrenada en solo unos pocos tipos de tareas, actúa como una memorizadora, aferrándose rígidamente a los ejemplos específicos que vio. Pero a medida que la variedad de las tareas de entrenamiento crece, la IA se desplaza hacia una "generalizadora", aprendiendo las reglas más amplias que se aplican a todo. Curiosamente, el artículo muestra que este cambio no ocurre de forma fluida; en ciertos puntos, la IA actúa brevemente como una genio generalizadora antes de asentarse de nuevo en un modo de memorizadora. Crucialmente, los autores demuestran que observar solo las predicciones finales de la IA (la parte de "adivinar la siguiente palabra") no es suficiente para ver esto. Dos sistemas de creencias internos diferentes pueden producir exactamente las mismas predicciones, haciendo que la verdadera naturaleza de la IA sea invisible hasta que usas PMC para mirar el "espacio latente" donde ocurre el verdadero pensamiento.

La Nueva Herramienta del Detective

Entonces, ¿cómo funciona realmente esta nueva herramienta, el PMC? Imagina que la IA es una adivina que ha sido entrenada con un conjunto específico de reglas. Le das a la adivina un mensaje, como "El cielo es azul porque..." y ella comienza a predecir las siguientes palabras. Normalmente, solo tomas su primera predicción y sigues adelante. Pero con el PMC, no te detienes ahí. Le pides a la adivina que continúe, generando toda una historia larga basada en ese inicio. Haces esto cientos de veces, creando cientos de historias diferentes posibles.

Una vez que tienes estas historias largas y ficticias, observas los patrones dentro de ellas. Si la IA fue entrenada en un mundo donde "azul" siempre sigue a "cielo", las historias lo reflejarán. Pero lo más importante es que, al analizar la totalidad de estas historias generadas, puedes realizar ingeniería inversa para descubrir qué piensa la IA sobre las "reglas del juego". Es como si observaras a un mago sacar un conejo de un sombrero, y en lugar de solo ver al conejo, observaras cómo saca mil conejos diferentes de mil sombreros diferentes para entender exactamente cómo está trucado el sombrero. Esto permite a los investigadores mapear el "prior" de la IA (lo que creía antes de darle un mensaje) y su "posterior" (lo que cree después de recibir tu mensaje).

El Gran Cambio: Memorizadora vs. Generalizadora

Los investigadores utilizaron este método para probar una gran pregunta en la IA: ¿el modelo aprende a memorizar ejemplos específicos o aprende a generalizar reglas? Establecieron experimentos con tres "familias" diferentes de tareas.

Primero, observaron las Bolas y Urnas. Imagina una urna llena de bolas rojas y azules. El trabajo de la IA es adivinar la siguiente bola. La "tarea" es la mezcla específica de bolas rojas y azules en la urna. Si la IA es entrenada en solo unas pocas urnas específicas, se convierte en una Memorizadora. Aprende: "Ah, esta urna específica tiene un 80% de bolas rojas, así que adivinaré rojo". Pero si la IA es entrenada en una enorme variedad de urnas con diferentes mezclas, se convierte en una Generalizadora. Aprende la regla: "La mezcla de bolas es aleatoria, así que debo observar el historial para adivinar la siguiente".

El artículo encontró un "umbral" para este cambio. Cuando el número de tareas diferentes (mezclas de urnas diferentes) con las que la IA es entrenada es pequeño, actúa como una memorizadora. Pero a medida que el número de tareas crece, la IA cambia repentinamente a actuar como una generalizadora. Esto confirma un fenómeno llamado Umbral de Diversidad de Tareas.

Pero aquí es donde se pone aún más interesante. Los investigadores también observaron la Generalización Transitoria. Esto es como observar a un estudiante que está aprendiendo una nueva materia. Al principio, puede que intente comprender el panorama general (generalizar), pero luego se confunde y comienza a memorizar hechos específicos para pasar el examen. El artículo mostró que, durante el proceso de entrenamiento, con un nivel medio de diversidad de tareas, la IA en realidad comienza actuando como una generalizadora, pero luego, a medida que el entrenamiento continúa, deriva de nuevo hacia ser una memorizadora. Es una fase de brillantez temporal antes de asentarse en un hábito más rígido.

Por qué Mirar la Respuesta no es Suficiente

Uno de los hallazgos más importantes de este artículo es que no puedes saber qué está haciendo la IA simplemente mirando sus respuestas. Los autores utilizan una excelente analogía: imagina dos mapas diferentes de una ciudad. Un mapa es un dibujo detallado y preciso de las calles. El otro es un boceto que solo muestra las carreteras principales. Si les pides direcciones a ambos mapas para ir a una cafetería específica, podrían darte exactamente las mismas instrucciones. Si solo miras las direcciones (las predicciones), no puedes saber cuál es el mapa real.

En el mundo de la IA, diferentes "creencias" internas (posteriors) pueden conducir a las mismas predicciones exactas. El artículo argumenta que los estudios previos, que solo comparaban las predicciones de la IA con un "estándar de oro", eran frágiles porque no podían distinguir entre un modelo que realmente entendía las reglas y uno que simplemente casualmente adivinaba lo mismo. Al usar PMC para mirar dentro del "espacio latente" (el sistema de creencias oculto), los investigadores pudieron ver que el mapa interno de la IA estaba efectivamente cambiando de un boceto de memorizador a un mapa detallado de generalizador, y luego de vuelta otra vez.

Los Límites de la Bola de Cristal

Los autores advierten cuidadosamente que este método no es una varita mágica que lo resuelve todo. La validez de PMC depende de que se cumplan ciertas condiciones matemáticas, las cuales son difíciles de probar para los modelos de IA masivos y reales. En sus experimentos, utilizaron tareas sintéticas (como las de bolas y urnas y problemas matemáticos simples) donde conocían la verdad fundamental. Encontraron que el PMC funcionó maravillosamente allí, recuperando con éxito las creencias ocultas de la IA.

Sin embargo, admiten que para los modelos gigantes de IA utilizados en el mundo real (como los que escriben ensayos o charlan contigo), aún no sabemos si las matemáticas se mantienen perfectamente. Es posible que la lógica interna de la IA sea tan compleja que nuestro método de "adivinación" pueda pasar por alto algunos matices. Pero incluso con estas limitaciones, el artículo proporciona una nueva y poderosa forma de investigar la IA. Sugiere que, al generar y analizar los propios escenarios de "qué pasaría si" de la IA, finalmente podemos empezar a comprender qué están pensando realmente estos modelos, en lugar de solo qué es lo que están diciendo.

Al final, este artículo no solo nos dice cómo aprende la IA; nos da una nueva lente para ver el proceso de aprendizaje mismo. Muestra que la IA no es solo una base de datos estática de hechos, sino un sistema dinámico que oscila entre memorizar y comprender, y que podemos rastrear estos cambios si sabemos cómo hacer las preguntas correctas.

Resumen Técnico: "¿Qué cree un transformador filtrado por Bayes? Un enfoque de Monte Carlo predictivo"

Planteamiento del problema

Los transformadores filtrados por Bayes (BFT, por sus siglas en inglés) son modelos entrenados en secuencias generadas jerárquicamente: se extrae una tarea latente de una distribución previa (prior) y las observaciones se generan condicionadas a dicha tarea. Bajo condiciones idealizadas (capacidad infinita, datos infinitos, optimización perfecta), un BFT minimiza la pérdida de logaritmo autorregresivo para convertirse en la distribución predictiva posterior (PPD) bayesiana. Sin embargo, en la práctica, los BFT entrenados son solo aproximaciones de este ideal.

Esto plantea una pregunta crítica de interpretabilidad: ¿Qué distribución previa y posterior sobre la tarea latente ha interiorizado realmente un BFT entrenado? La literatura existente aborda esto comparando las predicciones del BFT con posteriors de "referencia" (por ejemplo, una previa de memorización frente a una previa de generalización). Los autores argumentan que esta comparación en el espacio de predicción es frágil: posteriors distintas pueden producir predicciones idénticas (por ejemplo, medias posteriores idénticas), lo que hace imposible distinguir las estructuras de creencia subyacentes basándose únicamente en métricas de salida.

Metodología: Monte Carlo Predictivo (PMC)

El artículo introduce el Monte Carlo Predictivo (PMC) como una herramienta de interpretabilidad general para trasladar la evaluación del espacio de predicción al espacio latente. El PMC recupera la distribución previa y la posterior implícitas de un BFT entrenado utilizando únicamente la generación del siguiente token, sin inspeccionar los componentes internos del modelo.

El procedimiento opera de la siguiente manera:

Rollout: Dada una instrucción (prompt) $y_{1:\ell}$ (que puede estar vacía), el BFT genera de forma autorregresiva $R$ rollouts independientes de longitud $N$ .
Evaluación: Para cada rollout completado, se computa el parámetro de la tarea latente $\hat{\theta}$ $\hat{θ}$ como una función de la secuencia completa.
- Bolas y urnas: Frecuencias de tokens empíricas.
- Regresión lineal: Estimador de Mínimos Cuadrados Ordinarios (OLS) sobre los pares $(x, y)$ .
- Cadenas de Markov: Matriz de transición empírica (con suavizado de Laplace).
Inferencia:
- Con una instrucción vacía, la distribución de $\{\hat{\theta}^{(r)}\}$ aproxima la previa implícita del BFT.
- Con una instrucción no vacía, la distribución aproxima la posterior implícita del BFT.

La validez de esta recuperación reside en que el proceso inducido por el BFT satisface los teoremas de representación (de de Finetti para procesos de intercambioabilidad; de Diaconis–Freedman para procesos de intercambioabilidad de Markov), asegurando que la tarea latente sea una función de la trayectoria infinita.

Contribuciones clave

Unificación: Los autores unifican tres estudios dispares de Aprendizaje en Contexto (ICL) sintético (bolas y urnas, regresión lineal y cadenas de Markov) bajo el marco de los BFT de $k$ -Markov de intercambioabilidad.
Evaluación en el espacio latente: Reorientan el PMC como una herramienta de caja negra para evaluar el ICL directamente en el espacio latente, evitando la ambigüedad de las comparaciones en el espacio de predicción.
Primera aplicación: Esta es la primera aplicación de PMC a los BFT.
Reproducción fenomenológica: El estudio reproduce dos fenómenos conocidos de ICL —el umbral de diversidad de tareas y la generalización transitoria— directamente en el espacio latente de las creencias del modelo.

Resultados

Los autores aplicaron PMC a BFT entrenados en tres familias de tareas con diversidad de tareas ( $M$ ) variable:

Recuperación del espacio latente: En todas las familias, la previa recuperada por PMC coincidió estrechamente con la previa de entrenamiento (previa empírica $\Pi_M$ ), y la posterior coincidió con la correspondiente posterior conjugada o de referencia cuando se condicionó con instrucciones dentro de la distribución (in-distribution).
Umbral de diversidad de tareas: A medida que aumentaba el número de tareas de preentrenamiento ( $M$ ), la posterior recuperada por PMC se desplazaba desde el seguimiento de la línea base de memorización (previa empírica) hacia la línea base de generalización (previa de la población). Esta transición fue observable en el espacio latente incluso cuando las métricas del espacio de predicción no mostraron una transición clara (por ejemplo, en el caso de bolas y urnas).
Generalización transitoria: En niveles intermedios de diversidad de tareas ( $M=32$ para regresión lineal, $M=32$ para bolas y urnas, $M=8$ para cadenas de Markov), el BFT aproximó inicialmente la línea base de generalización durante el entrenamiento antes de especializarse posteriormente hacia la línea base de memorización. Esta dinámica fue capturada en la evolución de la posterior latente, confirmando que el fenómeno existe en las creencias internas del modelo, no solo en sus salidas.
Comportamiento fuera de la distribución (OOD): En instrucciones OOD, la posterior de PMC a menudo se desvió de ambas líneas base de referencia, lo que sugiere que el modelo puede no adherirse estrictamente a ninguno de los dos esquemas en estos regímenes, o que las condiciones suficientes para la validez de PMC podrían estar bajo tensión.

Significancia y afirmaciones

El artículo afirma que la identificabilidad es la motivación principal para trasladar la evaluación del ICL al espacio latente. Dado que distintas posteriors pueden producir predicciones idénticas, los diagnósticos en el espacio de predicción son insuficientes para determinar qué "cree" un modelo. Mediendo mediante PMC, los autores demuestran que:

Los BFT no solo imitan las actualizaciones bayesianas, sino que interiorizan estructuras específicas de previa/posterior que pueden medirse directamente.
El "umbral de diversidad de tareas" y la "generalización transitoria" son fenómenos robustos que persisten en el espacio latente de las creencias del modelo.
El PMC proporciona un método riguroso y agnóstico al modelo para sondear la mecánica bayesiana interna de los transformadores entrenados en datos jerárquicos.

Los autores mantienen la modestia respecto a la transferencia de estos hallazgos a los modelos de lenguaje de gran escala (LLM). Señalan que las condiciones suficientes para la validez de PMC (intercambiabilidad asintótica) son difíciles de verificar teóricamente para transformadores reales y exigentes empíricamente (requiriendo presupuestos masivos de Monte Carlo). Por consiguiente, aunque los BFT sirven como un banco de pruebas controlado para estos fenómenos, la aplicación directa a los LLM de frontera sigue siendo una cuestión abierta que requiere mayor verificación de estas condiciones teóricas.