Resumen Técnico: UNPREDICTABENCH

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se están desplegando cada vez más como sustitutos del comportamiento humano y de sistemas estocásticos en aplicaciones tales como simulaciones económicas, modelado epidemiológico y entornos multi-agente. Si bien los LLMs demuestran la capacidad de razonar sobre distribuciones de probabilidad y estimar probabilidades, existe una brecha crítica en su capacidad para generar muestras que reflejen fielmente las distribuciones objetivo subyacentes. Los modelos actuales suelen exhibir una tendencia a "colapsar" hacia una única respuesta plausible o un rango estrecho de salidas, fallando en capturar la verdadera imprevisibilidad y varianza inherente a los procesos estocásticos del mundo real. El trabajo existente para mejorar la diversidad de la salida es insuficiente para estas tareas de simulación, las cuales requieren muestras calibradas a una distribución objetivo específica en lugar de meramente salidas variadas. Existe una falta de evaluación sistemática para determinar si los LLMs pueden producir resultados inciertos que sean estadísticamente consistentes con las distribuciones de verdad fundamental (ground-truth).

Metodología

Para abordar esta brecha, los autores introducen UNPREDICTABENCH, un benchmark diseñado para evaluar la aleatoriedad distributiva de los LLMs.

Construcción del Benchmark

El benchmark consiste en 448 instancias de prueba derivadas de 40 distribuciones de probabilidad objetivo (que van desde unimodales hasta multimodales, y de discretas a continuas). Las tareas se categorizan en siete tipos para sondear la comprensión distributiva a través de diversas representaciones:

1. Texto Explícito: La distribución y sus parámetros se nombran explícitamente; el modelo debe generar una muestra.
2. Texto Implícito: Se describe un escenario del mundo real sin nombrar la distribución; el modelo debe inferir el proceso estocástico y muestrear.
3. Código Explícito: El modelo predice la salida de un programa en Python que muestrea directamente de una distribución (por ejemplo, vía NumPy).
4. Código Implícito: El modelo predice la salida de un programa donde la distribución objetivo es inducida mediante transformaciones (por ejemplo, razones de variables gamma) sin un nombre explícito.
5. Multimodal: Muestreo de mezclas de dos o más distribuciones componentes.
6. Barajado (Shuffling): Generar una permutación aleatoria uniforme de una lista (codificada mediante códigos de Lehmer para su evaluación).
7. Escenarios del Mundo Real: Tareas curadas manualmente que involucran entornos inherentemente inciertos (por ejemplo, condiciones de carrera, dinámica de MCMC, simulaciones de redes).

Métrica de Evaluación: KS@N

La métrica de evaluación principal es KS@N, que cuantifica la fidelidad distributiva utilizando la prueba estadística de Kolmogorov-Smirnov (KS).

• Procedimiento: Para un problema dado, el modelo genera $N$ muestras independientes (típicamente $N=100$). Estas se comparan contra un conjunto de referencia de $M=10,000$ muestras extraídas de la distribución de verdad fundamental.
• Cálculo: Se realiza una prueba KS de dos muestras para obtener un valor p. Si el valor p supera un umbral estricto ($p_{threshold} = 0.0001$), las muestras del modelo no son rechazadas como inconsistentes con la verdad fundamental.
• Puntuación: KS@N se define como la fracción de problemas donde las muestras del modelo no son rechazadas. Una puntuación más alta indica una mejor calibración distributiva.
• Métricas Complementarias: El estudio también reporta la Distancia de Wasserstein-1 Sesgada (WDZ) para capturar el comportamiento de la cola y los desplazamientos de localización, y la Divergencia de Jensen–Shannon (JSD) para medir desajustes de forma a nivel de densidad.

Resultados Clave

Los autores evaluaron un conjunto diverso de modelos de pesos abiertos y propietarios (incluyendo GPT-4o/5.4, Claude Sonnet, Llama 3, Qwen, Nemotron y DeepSeek).

• Rendimiento General: Ningún modelo alcanzó una puntuación de KS@100 superior al 40%. El modelo con mejor desempeño, Nemotron-3 Super 120B, alcanzó el 32.64%, mientras que muchos modelos de frontera (por ejemplo, GPT-5.4, Claude Sonnet 4.6) puntuaron por debajo del 15%. La mayoría de los modelos se agruparon entre el 0% y el 20%.
• Modos de Fallo: Los modelos fallan de dos maneras distintas: (1) careciendo de una representación interna de la distribución objetivo, o (2) comprendiendo la forma general pero colapsando hacia un rango de salida estrecho (colapso de modo).
• Dificultad de la Tarea:
  • Las tareas de Barajado y de Código fueron las más desafiantes, con ningún modelo superando el 40% y varios de alto rendimiento colapsando al 0%.
  • Las tareas del Mundo Real arrojaron las puntuaciones individuales más altas para algunos modelos (por ejemplo, Llama-3.2-1B alcanzó 59.09%), probablemente debido a rangos de salida efectivos más estrechos en esos escenarios específicos.
  • Las distribuciones Multimodales resultaron significativamente más difíciles para los modelos con tendencias deterministas fuertes, causando a menudo un colapso total.
• Impacto de las Intervenciones:
  • Razonamiento: Habilitar tokens de razonamiento mejoró el desempeño de la salida final para algunos modelos, pero reveló que otros "saben más de lo que dicen", ya que sus tokens de razonamiento contenían un conjunto de candidatos más amplio que sus salidas finales.
  • Ajuste de Instrucciones (Instruction Tuning): El ajuste de instrucciones proporcionó beneficios solo marginales y, en algunos casos, redujo activamente la diversidad de la salida en comparación con los modelos base.
  • Temperatura: Temperaturas más altas (por ejemplo, $T=1.2$) generalmente mejoraron el KS@100 al aumentar la diversidad, aunque los modelos más débiles a veces sufrieron un aumento en las desviaciones de la cola.
  • Prompting de Listas: Pedir a los modelos que generen listas de muestras (por ejemplo, 10 a la vez) mejoró la cobertura global para modelos capaces, pero perjudicó el desempeño para otros (por ejemplo, Llama-3.2-1B).

Significación y Reivindicaciones

El artículo posiciona a UNPREDICTABENCH como un primer paso necesario hacia el uso de los LLMs como sustitutos fiables de sistemas estocásticos complejos.

• Fundamentación Estadística: A diferencia de las evaluaciones de "LLM-como-juez", UNPREDICTABENCH ofrece una métrica estadísticamente fundamentada (KS@N) que mide directamente la fidelidad distributiva frente a verdades fundamentales conocidas.
• Correlación con la Utilidad: El benchmark correlaciona fuertemente con las métricas de utilidad de los benchmarks de creatividad (NoveltyBench, CREATE), lo que sugiere que la fidelidad distributiva captura un aspecto genuino de la calidad del modelo relevante para la generación creativa y diversa.
• Limitaciones Actuales: Los autores enfatizan que incluso la simulación distributiva simple sigue siendo un desafío significativo para los modelos actuales. La gran brecha entre el rendimiento actual y el techo teórico (Máquina Aleatoria) indica que los LLM aún no están listos para tareas de simulación de alto riesgo que requieran una aleatoriedad fiel.
• Hoja de Ruta Futura: El benchmark proporciona una plantilla para trabajos futuros, ofreciendo una curva de dificultad escalable (vía el aumento de $N$) y un banco de pruebas unificado para investigar la aleatoriedad, la calibración de la incertidumbre y los efectos de los objetivos de entrenamiento (por ejemplo, RLHF) en el comportamiento estocástico.

El artículo concluye que, si bien los LLM pueden razonar sobre la aleatoriedad, su capacidad para producirla sigue siendo fundamentalmente defectuosa, lo que requiere más investigación en arquitecturas de modelos y estrategias de entrenamiento que preserven la diversidad de la salida sin sacrificar la calibración.