The Illusion of Stochasticity in LLMs

Resumen Técnico: La Ilusión de la Estocasticidad en los Modelos de Lenguaje Grandes (LLMs)

1. El Problema

A medida que los Modelos de Lenguaje Grandes (LLMs) se despliegan cada vez más como agentes autónomos en entornos complejos, se requiere que no solo infieran políticas óptimas, sino que también actúen estocásticamente según dichas políticas. Sin embargo, este trabajo demuestra que existe una falla fundamental: los LLMs no pueden mapear sus estimaciones de probabilidad internas a salidas estocásticas fiables.

A diferencia de los agentes de Aprendizaje por Refuerzo (RL) tradicionales que utilizan mecanismos de muestreo externos, los LLMs intentan "simular" el muestreo desde cero. El artículo identifica una brecha crítica entre el "saber" (entender la distribución teórica) y el "hacer" (generar muestras que sigan esa distribución). Esto crea una "ilusión de estocasticidad" donde el comportamiento aleatorio aparente en realidad está impulsado por sesgos en los datos de entrenamiento o en la arquitectura del modelo, en lugar de seguir una distribución objetivo real.

2. Metodología

Los autores realizaron un análisis empírico riguroso a través de múltiples familias de modelos (Gemini, Qwen, OLMO), tamaños de modelo y estilos de prompting. Evaluaron la capacidad de los LLMs para muestrear independientemente de diversas distribuciones:

• Distribuciones Discretas Uniformes: Selección de valores de conjuntos (números, colores, direcciones).
• Distribuciones Continuas Uniformes: Generación de números flotantes en intervalos $[a, b]$.
• Distribuciones Gaussianas: Muestreo con medias y desviaciones estándar específicas.
• Variaciones de Prueba:
  • Parámetros de Decodificación: Variación de temperatura, top-p y top-k.
  • Cadena de Pensamiento (CoT): Análisis con y sin razonamiento explícito.
  • Muestreo Secuencial y por Lotes: Uso de historial previo (todo o último) y generación de múltiples valores en una sola llamada.
  • Uso de Herramientas (Tool-use): Ejecución de código Python para generar números aleatorios.
  • Simulación de PRNG: Instrucción al modelo para simular algoritmos de Generadores de Números Pseudoaleatorios (PRNG) mediante razonamiento paso a paso.
  • Conversión de Distribuciones: Uso de una semilla aleatoria externa (muestreada de $U[0,1]$) para convertir a la distribución objetivo.

3. Contribuciones Clave y Resultados

A. Fallo en el Muestreo Independiente Directo

• Sesgo Distribucional: Los modelos muestran una fuerte preferencia por ciertos valores (ej. el número 7, 42, o el centro del rango) en lugar de una distribución uniforme.
• Sesgo Posicional: En conjuntos de opciones (ej. {izquierda, derecha, arriba, abajo}), la probabilidad de elección depende del orden en que aparecen en el prompt, no de la uniformidad.
• Ineficacia de Parámetros: Ajustar la temperatura (incluso a valores extremos) o usar técnicas de CoT no corrige el problema; los modelos siguen fallando en seguir la distribución teórica.
• Pruebas de Bondad de Ajuste: Los valores-p de las pruebas Chi-cuadrado y Kolmogorov-Smirnov son prácticamente cero, confirmando estadísticamente que las muestras no provienen de la distribución objetivo.

B. Limitaciones del Muestreo Secuencial y por Lotes

• Muestreo Secuencial: Aunque el uso de todo el historial (all-history) mejora ligeramente la uniformidad en distribuciones discretas, introduce sesgos temporales (autocorrelación negativa, el modelo tiende a evitar el estado anterior) y patrones periódicos indeseables.
• Muestreo por Lotes: Los modelos fallan al generar la cantidad exacta de números solicitada (problema de conteo) y muestran patrones repetitivos (ej. secuencias cíclicas) que hacen que la secuencia sea predecible y explotable.

C. Uso de Herramientas y Simulación de PRNG

• Ejecución de Código: Cuando se permite a los LLMs ejecutar código Python, pueden generar muestras correctas, pero solo si se les instruye explícitamente para inicializar la semilla aleatoria (ej. random.seed(time.time())). Sin esto, el entorno de ejecución suele usar una semilla fija, haciendo el proceso determinista.
• Simulación de Algoritmos: Los modelos pueden simular algoritmos PRNG simples (como LCG) para distribuciones uniformes con alta precisión (>90%) si se les proporciona el código y una semilla. Sin embargo, fallan estrepitosamente en distribuciones Gaussianas que requieren transformaciones complejas (como Box-Muller) debido a la incapacidad de realizar multiplicaciones precisas con números muy grandes generados durante el proceso.

D. Conversión de Distribuciones (Hallazgo Sorprendente)

• Si se proporciona al modelo un número aleatorio ya muestreado de una distribución uniforme $U[0,1]$ (actuando como semilla) y se le pide convertirlo a otra distribución (discreta, gaussiana, mezcla gaussiana), los modelos sí pueden realizar la conversión con alta precisión.
• Esto demuestra que el modelo entiende la transformación determinista (ej. inversión de CDF, bucketización), pero falla en la generación de la fuente de aleatoriedad inicial.
• Esta capacidad muestra propiedades emergentes relacionadas con el tamaño del modelo (requiere >4B parámetros para Gaussianas).

4. Significado e Implicaciones

• Falla Fundamental en Agentes: La incapacidad de muestrear estocásticamente de manera fiable es un obstáculo crítico para el despliegue de agentes LLM en entornos que requieren exploración, juegos de estrategia o simulaciones de incertidumbre.
• Ilusión de Aleatoriedad: El comportamiento "aleatorio" observado en muchos benchmarks actuales es en realidad una ilusión basada en sesgos de entrenamiento, lo que hace que las políticas de los agentes sean predecibles y vulnerables en entornos adversarios.
• Solución Pragmática: Dado que simular PRNGs es computacionalmente costoso y propenso a errores en modelos grandes, los autores proponen que la solución práctica es dotar a los LLMs de acceso a muestreadores con estado (stateful samplers) externos que gestionen la semilla y el estado entre llamadas, en lugar de confiar en la capacidad interna del modelo para generar aleatoriedad.
• Dirección Futura: Sugiere que la aleatoriedad en los Transformers podría necesitar ser aprendida mediante entrenamiento específico (como se ha visto en trabajos recientes) o depender de herramientas externas confiables.

En conclusión, el papel desmitifica la idea de que los LLMs son agentes estocásticos nativos, demostrando que su "aleatoriedad" es una ilusión que debe ser compensada mediante arquitecturas de sistema que integren generadores de números aleatorios externos y gestionados.