Resumen Técnico: Los LLM son Bayesianos en Expectativa, no en Realización

1. Planteamiento del Problema

El artículo aborda una tensión fundamental entre la interpretación bayesiana del Aprendizaje en Contexto (ICL) y la realidad arquitectónica de los Transformers.

• La Visión Bayesiana: El ICL se interpreta a menudo como un proceso donde los ejemplos de soporte identifican una tarea latente, y el modelo genera la distribución predictiva posterior para el siguiente token. Bajo esta visión, para datos intercambiables, la predictiva posterior debería ser invariante a la ordenación del conjunto de soporte.
• La Realidad Empírica: Los Transformers son modelos autorregresivos que procesan secuencias con codificaciones posicionales. Diagnósticos recientes (pruebas de martingala) muestran que permutar un conjunto de soporte no ordenado a menudo cambia las probabilidades del siguiente token, violando la intercambiabilidad exacta.
• El Conflicto: Estas violaciones han sido interpretadas como una refutación de la hipótesis del ICL bayesiano. Los autores argumentan que esto es un error de categoría: confunde la invariancia estructural (una propiedad de la ley posterior exacta) con el rendimiento operacional (el costo de la predicción en un entorno online).

La cuestión central no es si los Transformers son muestreadores exactos de la distribución posterior intercambiable (no lo son), sino si siguen siendo competitivos en términos bayesianos en cuanto al log-loss prequencial debido a la sensibilidad inducida por la serialización.

2. Metodología y Marco Teórico

2.1 Puente Teórico: Regret Prequencial y Divergencia KL

Los autores desplazan el objetivo de evaluación de la invariancia binaria hacia la longitud de código prequencial excedente.

• Identidad de Comparación Prequencial (Teorema 1): Demuestran que el exceso de log-loss esperado de un modelo $Q$ relativo a una referencia Bayesiana $B$ es exactamente la suma acumulada de las divergencias de Kullback-Leibler (KL) predictivas:
  $$E_B[L_n(Q) - L_n(B)] = \sum_{t=1}^n E_{H_t} [KL(b_t(\cdot|H_t) \parallel q_t(\cdot|H_t))]$$
  Esto establece que las violaciones de intercambiabilidad solo importan operativamente si acumulan una divergencia KL significativa.

• Descomposición de Promedio de Orden (Teorema 2): Para estados de información no ordenados que deben ser serializados, el regret de una única ordenación se descompone en:

  1. El regret del predictor promediado por orden (la esperanza sobre todas las ordenaciones que preservan la tarea).
  2. Una ganancia de promedio de orden ($J_t$) no negativa, que representa el log-loss extra pagado por usar una única serialización arbitraria en lugar de la distribución promediada.
  • Implicación: El fallo de la intercambiabilidad no es una "refutación" binaria, sino un costo cuantificable expresado en bits.

2.2 Protocolo Experimental

Los autores evalúan esta teoría utilizando Qwen2.5-7B/14B y Llama-3.1-8B en varios frentes:

1. Auditorías Bayesianas de Forma Cerrada: Pruebas en tareas discretas (Beta-Bernoulli, Dirichlet-categorical) y tareas continuas (Regresión Lineal Bayesiana Coarsened - BLR) donde la predictiva posterior bayesiana verdadera es conocida.
2. Baselines Frecuentistas: Comparación del rendimiento del modelo frente a la Estimación de Máxima Verosimilitud (MLE) y los predictores de inserción de Laplace para asegurar que el comportamiento del modelo sea distinto de un simple conteo frecuentista.
3. Intervenciones:
   • Intervenciones de Posición: Modificación de position_ids durante la inferencia para distinguir entre orden preservador de la tarea (donde el orden no debería importar) y orden semántico (donde la posición porta señal).
   • Ablación desde Cero: Entrenamiento de Transformers pequeños con y sin codificaciones posicionales para aislar la fuente de la sensibilidad al orden.
   • Parcheo de Activación: Pruebas para determinar si las estadísticas suficientes (conteos y posiciones) se utilizan causalmente para determinar las predicciones.
4. Diagnósticos de Capa Inferior: Medición del costo de la ordenación arbitraria en MMLU, GSM8K y tareas de QA basadas en evidencia mediante mezclas de permutación.

3. Contribuciones Clave

1. Formalización del Objetivo de Evaluación: El artículo define la longitud de código prequencial excedente como la métrica operacional para la competitividad bayesiana, reemplazando la prueba binaria de "¿es intercambiable?" por una métrica cuantitativa de "¿cuánto cuesta la violación en términos de KL?".
2. Descomposición de Promedio de Orden: Proporciona una descomposición teórica que muestra que el regret de una única serialización es igual al regret del predictor promediado por orden más una "ganancia de promedio de orden" medible.
3. Pisos de Código Seguro y Descomposición de Candidatos: Introduce un método para puntuar modelos sobre conjuntos de candidatos fijos sin ocultar la masa de probabilidad, utilizando un "piso de código seguro" (mezcla con uniforme) para asegurar la admisibilidad de horizonte finito y el reporte explícito de sobrecostos.
4. Verificación Causal de Mecanismos Bayesianos: A través del parcheo de activación y el sondaje lineal, los autores demuestran que los modelos no solo contienen estadísticas suficientes (conteos, posiciones), sino que las usan causalmente para dar forma a las distribuciones del siguiente token.

4. Resultados Clave

4.1 KL Predictivo y Competitividad Bayesiana

• Tareas Discretas: En tareas de Bernoulli y de 4 vías categóricas con tamaño de soporte de 256, los modelos exhiben longitudes de código prequencial excedente de un paso extremadamente bajas:
  • Bernoulli: 0.020 bits (7B) y 0.011 bits (14B).
  • Categórica: 0.039 bits (7B) y 0.022 bits (14B).
  • La masa del candidato (probabilidad asignada a eventos puntuados) supera el 0.999.
• Tareas Continuas (BLR): A medida que el tamaño del soporte crece, la distribución de dígitos inducida por el modelo coincide cada vez más con la predictiva posterior bayesiana suavizada. Con un soporte de 100, las correlaciones con la expectativa bayesiana alcanzan ~0.988 (1-covariable) y ~0.965 (2-covariables).

4.2 Distinción de Plug-ins Frecuentistas

• Régimen de Datos Pequeños: El modelo está significativamente más cerca de la predictiva posterior bayesiana que del plug-in de MLE.
  • El MLE es a menudo degenerado (asignando probabilidad cero a símbolos no vistos), lo que conduce a un log-length infinito.
  • Con un soporte de 4, el modelo está ~3.3 bits (7B) y ~3.8 bits (14B) más cerca de la referencia bayesiana que de MLE para tareas categóricas de 4 vías.
• Convergencia: A medida que el soporte crece, la brecha entre el modelo, la referencia bayesiana y el plug-in frecuentista desaparece, de acuerdo con la teoría asintótica.

4.3 Fuente de Sensibilidad al Orden

• Codificación Posicional: Las intervenciones de posición revelan que las posiciones absolas de las demostraciones impulsan la varianza de la serialización. Reiniciar las posiciones dentro de las demostraciones reduce la varianza del orden en ~21× en tareas de predicción bayesiana.
• Ablación: Los Transformers entrenados sin codificación posicional logran una intercambiabilidad casi perfecta (varianza $\approx 10^{-16}$). Aquellos con codificaciones aprendidas (absolutas, sinusoidales, RoPE o ALiBi) muestran una varianza en el rango de $10^{-8}$ a $10^{-6}$. Esto confirma que la sensibilidad al orden es una propiedad de la codificación, no de la arquitectura en sí.
• Uso Causal: El parcheo de activación confirma que las estadísticas suficientes (conteos y posiciones) están causalmente vinculadas a los logits del siguiente token.

4.4 Costos en Capas Inferiores

• Ganancia de Promedio de Orden: En MMLU y GSM8K, el promedio de las predicciones sobre permutaciones aleatorias produce mejoras pequeñas pero medibles en el NLL (log-loss negativo) y la calibración, confirmando que la serialización arbitraria incurre en un pequeño costo de log-loss.
• QA de Evidencia: En tareas con fragmentos de evidencia no ordenados, las ganancias de promedio de orden son medibles (por ejemplo, 0.1041 nats/token para Qwen2.5-7B), lo que sugiere que tratar un orden arbitrario como la tarea es subóptimo.

5. Significado y Reivindicaciones

El artículo reclama una reconciliación cuantitativa de la hipótesis del ICL bayesiano con la arquitectura Transformer:

• Refutación de la "Exactitud": Los Transformers no son distribuciones predictivas posteriores intercambiables exactas para cada serialización.
• Validación de la "Competitividad": Son predictores prequenciales competitivos en términos bayesianos. El costo operacional de la sensibilidad al orden es pequeño (medido en fracciones de un bit) y está acotado.
• Cambio de Perspectiva: El fallo de la intercambiabilidad exacta no debe verse como una refutación binaria del ICL bayesiano. En su lugar, debe verse como un costo con precio. El "precio" es la ganancia de promedio de orden, que es lo suficientemente pequeña como para que el modelo siga siendo competitivo con el predictor bayesiano óptimo en entornos de predicción online.

Los autores enfatizan que este es un marco de diagnóstico. No afirman que los Transformers sean muestreadores de la posterior de forma literal, sino que sus distribuciones predictivas se sitúan más cerca de la predictiva posterior bayesiana que de los plug-ins frecuentistas, y que la desviación causada por la serialización es operativamente insignificante en muchos contextos.