The {\alpha}-Law of Observable Belief Revision in Large Language Model Inference

Resumen Técnico: La Ley α de la Revisión de Creencias en LLMs

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) modernos utilizan técnicas de refinamiento iterativo (como Chain-of-Thought, auto-reflexión o debates multi-agente) para revisar sus salidas y corregir errores. Sin embargo, existe una falta de garantías teóricas sobre la estabilidad de estas actualizaciones de probabilidad.

• La incógnita: ¿Es la geometría de estas actualizaciones iterativas contractiva (reduce el error) o expansiva (amplifica el error)?
• El riesgo: Si las actualizaciones son expansivas, los errores se acumulan en lugar de corregirse, lo que lleva a la inestabilidad del sistema.
• La brecha: Aunque se sabe que los LLMs a menudo tienen una mala calibración, no se ha caracterizado matemáticamente la estructura de cómo integran la evidencia nueva con sus creencias previas durante la inferencia.

2. Metodología y Marco Teórico

Los autores abordan el problema desde la perspectiva de la teoría de control, tratando la revisión de creencias no como una "caja negra", sino caracterizando su estructura matemática observable.

• La Ley α (Ecuación Fundamental):
  Proponen y validan empíricamente que la revisión de creencias en LLMs instruidos sigue una ley de escala multiplicativa en el espacio logarítmico:
  $$\log q_1(i) = \alpha [\log q_0(i) + \log b(i)] + c$$
  Donde:

  • $q_0(i)$: Probabilidad previa (antes de la evidencia).
  • $b(i)$: Distribución de evidencia (resultado de la verificación).
  • $q_1(i)$: Probabilidad posterior (después de la revisión).
  • $\alpha$: Exponente de revisión de creencias (el parámetro clave).
  • $c$: Constante de normalización.

• Condición de Estabilidad (Teorema 1):
  Demuestran teóricamente que para que el sistema sea asintóticamente estable bajo revisiones iteradas, se requiere que $\alpha < 1$.

  • Si $\alpha < 1$: Dinámica contractiva (los errores disminuyen geométricamente).
  • Si $\alpha = 1$: Estabilidad marginal (actualización Bayesiana perfecta).
  • Si $\alpha > 1$: Dinámica expansiva (los errores se amplifican exponencialmente).

• Protocolo Experimental:

  • Datos: 4,975 problemas de cuatro benchmarks de nivel de posgrado: GPQA Diamond, TheoremQA, MMLU-Pro y ARC-Challenge.
  • Modelos: GPT-5.2, Claude Sonnet 4, GPT-4 (para validación multi-paso) y Llama-3.3-70B (para validación a nivel de token).
  • Procedimiento: Se generan candidatos, se elicita la creencia previa ($q_0$), se aplica verificación determinista para generar evidencia ($b$), y se elicita la creencia posterior ($q_1$). Se ajusta una regresión OLS para estimar $\alpha$.

3. Contribuciones Clave

1. Descubrimiento de la Ley α: Identifican una ley de escala consistente que gobierna la revisión de creencias, demostrando que los LLMs siguen una regla de actualización simple y predecible.
2. Validación Empírica Exhaustiva: Validan la ley en casi 5,000 problemas, cruzando múltiples modelos y dominios de razonamiento.
3. Huellas de Ratio de Confianza: Descomponen la actualización en componentes de "prior" y "evidencia", revelando estrategias de ponderación específicas por familia de modelos (ej. GPT vs. Claude).
4. Puente Teoría-Empirismo: Resuelven la aparente contradicción entre encontrar un $\alpha > 1$ en un solo paso y la necesidad de estabilidad ($\alpha < 1$), demostrando que $\alpha$ decae sistemáticamente con la iteración.

4. Resultados Principales

• Comportamiento "Casi-Bayesiano" en un solo paso:
  En mediciones de un solo paso, el exponente medio es $\alpha \approx 1.163 \pm 0.084$.

  • Esto indica que los LLMs realizan una actualización ligeramente expansiva (un 16% más agresiva que el óptimo Bayesiano), lo que sugiere una ligera sobreconfianza.
  • La consistencia es alta ($R^2 = 0.76$ en promedio) a través de diferentes modelos y dominios.

• Convergencia en Múltiples Pasos (Resolución de la Tensión):
  Aunque un solo paso es expansivo, la validación multi-paso (7 pasos en 198 problemas de GPQA) muestra que $\alpha$ decae sistemáticamente desde 0.84 hasta 0.54.

  • La media geométrica de los pasos ($\bar{\alpha}_{geo} = 0.75$) es menor que 1, garantizando que el sistema entra en el régimen contractivo a largo plazo y converge.

• Huellas de Ratio de Confianza ($\tau$):
  Al descomponer el modelo en dos parámetros ($\alpha_{prior}$ y $\alpha_{evidencia}$), se define el ratio de confianza $\tau = \alpha_{evidencia} / \alpha_{prior}$:

  • GPT-5.2: $\tau \approx 1.0$ (Ponderación equilibrada, comportamiento casi Bayesiano).
  • Claude Sonnet 4: $\tau \approx 1.1$ (Ligera preferencia por la evidencia nueva).
  • Gemini 2.5 (preliminar): $\tau \approx 2.3$ (Amplificación fuerte de la evidencia, aunque con alta tasa de fallos).

• Robustez y Sensibilidad:

  • Ruido: La ley es robusta, pero el ruido en la evidencia degrada la calidad del ajuste ($R^2$) y reduce el $\alpha$ medido (sesgo de atenuación).
  • Codificación: El valor absoluto de $\alpha$ depende de cómo se codifica la evidencia, pero la estructura log-lineal se mantiene.
  • Elicitación: Los resultados son consistentes tanto usando log-probabilidades de tokens como probabilidades auto-reportadas.

5. Significado e Implicaciones

• Diagnóstico de Calidad en Tiempo de Ejecución:
  El exponente $\alpha$ puede utilizarse como una métrica de diagnóstico sin costo adicional. Un valor de $\alpha$ muy bajo o negativo en un paso específico puede indicar que la actualización es anti-Bayesiana o que la evidencia es corrupta, permitiendo detectar fallos sin necesidad de respuestas correctas (ground truth).

• Control Geométrico:
  Dado que la dinámica de actualización es predecible, se propone el desarrollo de un "Controlador de Geometría de Creencias" (BGC). Este sistema podría monitorear $\alpha$ en tiempo real y aplicar amortiguamiento adaptativo si la actualización se vuelve expansiva, asegurando la estabilidad sin necesidad de reentrenar el modelo.

• Advertencia para Despliegue:
  Aunque los benchmarks académicos muestran un comportamiento cercano a la estabilidad, los entornos del mundo real (con evidencia ruidosa y flujos de trabajo iterativos largos) pueden empujar al sistema hacia regímenes inestables. La ley $\alpha$ transforma preocupaciones cualitativas sobre la estabilidad en predicciones cuantitativas.

• Limitaciones:

  • Los resultados se basan en modelos con alta precisión (>99%), lo que limita el análisis de casos de error.
  • La ley se observa en modelos instruidos (fine-tuned); los modelos base no muestran este comportamiento.
  • No se afirma que los LLMs realicen inferencia Bayesiana interna; es una descripción de su comportamiento observable entrada-salida.

Conclusión:
El artículo establece que la revisión de creencias en LLMs es un proceso geométrico con una estructura medible. La Ley α proporciona una herramienta fundamental para monitorear, diagnosticar y controlar la estabilidad de los sistemas de inferencia de IA, revelando que, aunque los modelos individuales pueden ser ligeramente inestables, la iteración sistemática tiende a corregir esto, convergiendo hacia un comportamiento estable.