Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions

Resumen Técnico: LLMs y la Incapacidad de Muestreo Probabilístico Nativo

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje Grandes (LLMs) evolucionan de meros chatbots a componentes integrales de sistemas estocásticos y pipelines de inteligencia general, la capacidad de muestrear fielmente desde distribuciones de probabilidad especificadas se ha convertido en un requisito funcional crítico, no solo una curiosidad teórica.

El problema central identificado es que los LLMs carecen de un muestreador interno funcional. En aplicaciones como la generación de datos sintéticos, simulación de agentes, creación de materiales educativos (preguntas de opción múltiple) y síntesis de prompts para generación de imágenes, se asume erróneamente que los LLMs pueden generar muestras aleatorias con la distribución deseada. El artículo demuestra que, sin herramientas externas (como librerías de código numpy.random), los LLMs fallan sistemáticamente al intentar generar números aleatorios que sigan distribuciones estadísticas específicas, introduciendo sesgos sistemáticos en las aplicaciones downstream.

2. Metodología

Los autores realizaron la primera auditoría a gran escala, con poder estadístico, de la capacidad de muestreo probabilístico nativo en LLMs de vanguardia.

• Modelos Evaluados: Se benchmarkearon 11 modelos de última generación (incluyendo GPT-4o, GPT-5.2, Gemini-3, DeepSeek-V3.2, Llama-3.3/4, Qwen3, etc.).
• Taxonomía de Distribuciones: Se evaluaron 15 distribuciones de probabilidad divididas en tres niveles de complejidad:
  • Nivel I (Básico): Uniforme, Gaussiana, Bernoulli.
  • Nivel II (Acotado/Discreto): Beta, Binomial, Poisson, Exponencial.
  • Nivel III (Complejo/Colas Pesadas): Cauchy, t de Student, Chi-cuadrado, F, Gamma, Weibull, Laplace, Logística.
• Diseño Experimental Dual (Protocolos): Para disociar los modos de fallo, se emplearon dos protocolos distintos:
  1. Generación por Lotes (Batch Generation): El modelo genera $N=1000$ muestras en una sola respuesta, condicionándose a su propio historial de generación.
  2. Solicitudes Independientes (Independent Requests): Se realizan $N=1000$ llamadas sin estado (stateless), solicitando una sola muestra por llamada, eliminando la dependencia del contexto.
• Métricas de Evaluación:
  • Pruebas de Validez Estadística: Test de Kolmogorov-Smirnov (KS) para distribuciones continuas y Chi-cuadrado ($\chi^2$) para discretas (con $\alpha = 0.01$).
  • Métricas de Fidelidad Geométrica: Distancia de Wasserstein-1 ($W_1$) y Divergencia de Kullback-Leibler (KL) para cuantificar la desviación de la distribución objetivo.
• Análisis de Escala: Se varió el tamaño de la muestra ($N$) desde 50 hasta 2000 para observar las trayectorias de convergencia.
• Validación en Aplicaciones Reales: Se evaluó el impacto en tareas downstream:
  • Generación de preguntas de opción múltiple (MCQ) con restricciones de uniformidad en la posición de la respuesta correcta.
  • Generación de prompts para imágenes con restricciones demográficas (género, etnia, altura, color).

3. Contribuciones Clave

1. Evidencia de Fallo Sistémico: Demostración de que los LLMs actuales carecen de un mecanismo interno para el muestreo probabilístico.
2. Asimetría de Protocolos: Identificación de una brecha masiva entre la generación en lotes (que aprovecha la autocorrección contextual) y las solicitudes independientes (que revelan sesgos intrínsecos).
3. Degradación por Complejidad y Tamaño: Revelación de que la fidelidad del muestreo disminuye monótonamente a medida que aumenta la complejidad de la distribución y, paradójicamente, se degrada a medida que aumenta el presupuesto de muestreo ($N$).
4. Impacto en Sesgos Downstream: Prueba de que los fallos de muestreo nativo se propagan directamente a aplicaciones del mundo real, violando restricciones de equidad y uniformidad.

4. Resultados Principales

• Asimetría Protocolo-Dependiente:

  • Generación por Lotes: Logra una validez estadística modesta. La tasa de éxito mediana es del 7%, con el mejor modelo (GPT-4o) alcanzando un 40% en distribuciones simples. Esto sugiere que el modelo puede "auto-corrigirse" dentro de un contexto largo, pero no es un muestreo real.
  • Solicitudes Independientes: Colapso casi total. 10 de los 11 modelos fallaron en pasar ninguna de las distribuciones bajo este protocolo. La distancia $W_1$ aumentó drásticamente (de ~0.01 en lotes a ~0.15 en solicitudes independientes para la distribución Uniforme).

• Complejidad de la Distribución:

  • Existe una correlación inversa clara: a mayor complejidad de la distribución (Nivel I a Nivel III), menor es la tasa de éxito y mayor la distancia $W_1$.
  • Las distribuciones con colas pesadas (Cauchy, Chi-cuadrado) o momentos indefinidos fueron imposibles de muestrear correctamente para cualquier modelo.

• Efecto del Tamaño de Muestra (Inverso):

  • Contrario a la convergencia estadística esperada ($O(N^{-1/2)}$), la fidelidad del muestreo se degrada a medida que aumenta $N$.
  • En la generación por lotes, la distancia $W_1$ aumenta después de cierto horizonte, indicando que el error de deriva (drift) acumulado supera cualquier corrección inicial.
  • En solicitudes independientes, aunque el fallo es evidente desde el inicio, el error geométrico sigue creciendo con $N$, exponiendo discrepancias que permanecen latentes en muestras pequeñas.

• Resultados en Aplicaciones Downstream:

  • MCQs: A pesar de instrucciones explícitas para distribuir uniformemente las respuestas correctas (A, B, C, D), los modelos mostraron sesgos posicionales severos (ej. GPT-OSS-120B colocó el 54.6% de respuestas correctas en 'C').
  • Generación de Prompts: Los modelos fallaron sistemáticamente al seguir distribuciones demográficas. Por ejemplo, Llama-4 generó prompts con 97.2% de mujeres (vs. 50.5% objetivo) y colapsó la varianza en la altura (generando $\sigma \approx 1$ cm en lugar de 10 cm).

5. Significado e Implicaciones

• Falta de Competencia Funcional: Los LLMs han aprendido a describir la aleatoriedad lingüísticamente, pero no han adquirido la competencia funcional para simular dinámicas estocásticas internas. Lo que parece muestreo en modo batch es una propiedad emergente de la condicionamiento autoregresivo, no una comprensión de la probabilidad.
• Necesidad de Herramientas Externas: Para aplicaciones que requieren garantías estadísticas (simulación social, generación de datos sintéticos para entrenamiento, decisiones aleatorias), es imperativo utilizar herramientas externas (código, generadores de números aleatorios) en lugar de confiar en la salida nativa del modelo.
• Riesgo de Sesgo Sistémico: La dependencia de LLMs para tareas que requieren muestreo distribuido (como la creación de conjuntos de datos equilibrados o evaluaciones justas) introduce sesgos sistemáticos que comprometen la equidad y la validez de los sistemas de IA.
• Reevaluación de la Inteligencia General: La incapacidad de realizar muestreo básico sin ayuda externa sugiere una limitación fundamental en la capacidad de los modelos actuales para internalizar las dinámicas del mundo, un prerrequisito para la inteligencia general.

En conclusión, el estudio concluye que los LLMs actuales no son muestreadores probabilísticos fiables y que su uso en pipelines estocásticos sin validación externa o herramientas auxiliares conduce a resultados estadísticamente inválidos y potencialmente sesgados.