The Dice Roll Method: A StandardizedProtocol for Measuring Stochastic Bias in Large Language Model Output

Resumen Técnico: El Método del Lanzamiento de Dados para Medir el Sesgo Estocástico en los LLM

Planteamiento del Problema
Los investigadores dependen cada vez más de la repetición de prompts idénticos para medir el sesgo estocástico en los resultados de los Modelos de Lenguaje de Gran Tamaño (LLM). Sin embargo, el campo carece de un protocolo estandarizado para determinar los conteos de iteración adecuados, seleccionar métricas de estabilidad apropiadas o establecer umbrales de fiabilidad. Los estudios existentes suelen depender de conteos de iteración ad-hoc (que oscilan entre 5 y 40) y de supuestos estadísticos que violan la naturaleza de la generación de texto autorregresiva. Específicamente, los enfoques estándar suelen tratar las consultas repetidas como muestras independientes e idénticamente distribuidas (i.i.d.) gaussianas, ignorando las dependencias condicionales de la generación de tokens, la naturaleza sobre-dispersa y con exceso de ceros de los datos de conteo (por ejemplo, menciones de marcas), y la posible deriva temporal en las instantáneas de los modelos. Este artículo aborda estas brechas formalizando el "Método del Lanzamiento de Dados" como un protocolo de auditoría riguroso y estandarizado, fundamentado en la mecánica generativa del muestreo de núcleo (nucleus sampling) escalado por temperatura.

Metodología
El artículo propone un stack analítico revisado que reemplaza los supuestos paramétricos de la teoría normal por un marco de modelo mixto, condicional y no paramétrico. Los componentes metodológicos clave incluyen:

• Modelo Generativo y Descomposición de la Varianza: El protocolo se ancla en un modelo explícito de muestreo de núcleo escalado por temperatura. La varianza total de la respuesta se descompone en cuatro componentes: el muestreo a nivel de token ($\sigma^2_{tok}$), la formulación del prompt ($\sigma^2_P$), las diferencias de modelo ($\sigma^2_M$) y la deriva de versión de modelo/temporal ($\sigma^2_{V,T}$).
• Marco Inferencial:
  • Modelado: Reemplaza las pruebas t de muestras independientes con un Modelo Lineal Mixto Generalizado (GLMM) de Distribución Binomial Negativa. Esto da cuenta de la sobre-dispersión en los datos de conteo y trata las iteraciones como medidas repetidas anidadas dentro de prompts y modelos.
  • Tamaños del Efecto: Reemplaza la $d$ de Cohen con la $\delta$ de Cliff (y la correlación de rango-biserial) como el principal tamaño del efecto libre de distribución, robusto ante la asimetría y las colas pesadas.
  • Remuestreo: Reemplaza el bootstrap ordinario con un bootstrap de bloques móviles (para preservar la dependencia condicional) y un bootstrap paramétrico (para la incertidumbre de los coeficientes en los GLMM).
  • Análisis de Potencia: Reemplaza las tablas de potencia clásica con un análisis de potencia basado en simulaciones utilizando el procedimiento simr, que ajusta el GLMM específico a los datos.
• Fiabilidad y Deriva:
  • Teoría de la Generalizabilidad (G-theory): Utiliza estudios G y estudios D para descomponer la varianza a través de las facetas de prompt, iteración y modelo, proyectando coeficientes de generalizabilidad ($G$) para diferentes conteos de iteración.
  • Estacionariedad: Implementa diagnósticos de deriva explícitos mediante pruebas de Kolmogorov–Smirnov (KS) en métricas continuas e Índice de Estabilidad de la Población (PSI) en conteos discretos a través de ventanas temporales disjuntas.
• Batería de Métricas: Organiza las métricas de estabilidad en cuatro familias (volumen, composición del conjunto, forma de la distribución, consistencia semántica) e introduce PASOR (Cuota de Recomendación Ajustada al Prompt) para la visibilidad ajustada por equidad. La consistencia semántica se mide mediante un conjunto de tres modelos de incrustación (embeddings) para propagar la varianza.

Resultados Clave
Los autores reanalizaron datos brutos de cinco estudios empíricos (aproximadamente 190,000 observaciones a través de tres a cinco LLMs, más de 270 marcas y 6 idiomas) bajo este stack revisado:

• Guía de Iteración: Se establecieron tres niveles de conteo de iteración basados en los estudios D de la Teoría de la Generalizabilidad:
  • Exploratorio ($n=5$): $G \approx 0.58$. Adecuado para el reporte descriptivo de efectos muy grandes.
  • Confirmatorio ($n=10$): $G \approx 0.74$. El valor predeterminado recomendado para la mayoría de las auditorías; soporta la inferencia sobre efectos grandes.
  • Riguroso ($n=15$): $G \approx 0.81$. Cruza el umbral de decisión de nivel de grupo de 0.80; soporta la detección de efectos medianos.
• Convergencia: El análisis de bootstrap de bloques muestra un patrón de rendimientos decrecientes. Se alcanza aproximadamente el 77.5% de la precisión asintótica en $n=7$, y el 94.4% en $n=8-9$. La trayectoria se alinea con una ley de potencia ($n^{-0.5}$) en lugar de un decaimiento puramente logarítmico.
• Ortogonalidad de Métricas: En el subconjunto probado de "San Valentín", las métricas estructurales basadas en conteos (CV, Gini, Shannon) colapsaron en una única dimensión dominante ($|r| > 0.97$). Sin embargo, el artículo argumenta a favor de un núcleo parsimonioso de tres métricas: una métrica estructural (Gini o CV), consistencia semántica (similitud de coseno mediante un ensamble de embeddings) y visibilidad ajustada por equidad (PASOR-Gini).
• Validación del Tamaño del Efecto: El reanálisis de los efectos de sesgo de género reveló que, mientras que algunos efectos (por ejemplo, Grok, $\delta \approx 0.26$) eran detectables, otros (por ejemplo, GPT, $\delta \approx 0.18$) requerían conteos de iteración más altos para la potencia confirmativa. El uso de la $\delta$ de Cliff con intervalos de bootstrap BCa proporcionó estimaciones de incertidumbre más honestas que los cálculos previos de la $d$ de Cohen.
• Deriva y Costo: Los diagnósticos de deriva indicaron que la estacionariedad se mantiene para ventanas de recolección cortas (por ejemplo, 2 semanas), pero requiere monitoreo en estudios más largos. El análisis de costo-eficiencia sugiere que aumentar las iteraciones de 5 a 10 ofrece ganancias de potencia sustanciales por un aumento marginal de costo (por ejemplo, ~$18.75 para un estudio de 250 consultas).

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer protocolo estadísticamente principiado para auditar el comportamiento estocástico de los LLM que respeta las dependencias condicionales y las distribuciones no gaussianas inherentes a la generación autorregresiva. Sus principales contribuciones son:

1. Formalización: Fundamentar el Método del Lanzamiento de Dados en un modelo generativo explícito de muestreo de núcleo.
2. Rigor Estadístico: Reemplazar los erróneos supuestos de la teoría normal con un stack basado en GLMM que maneja la sobre-dispersión y la dependencia.
3. Guía Empírica: Proporcionar umbrales de iteración basados en datos (5, 10, 15) vinculados a coeficientes de generalizabilidad en lugar de restricciones presupuestarias arbitrarias.
4. Reproducibilidad: Ofrecer una implementación completa en Python de código abierto (incluyendo glmmTMB, simr y diagnósticos de deriva) para estandarizar futuras auditorías de LLM.

Los autores enfatizan que este protocolo no invalida los hallazgos previos, sino que refina su interpretación, particularmente respecto a la potencia estadística de los estudios que utilizan conteos de iteración bajos ($n=5$) y la necesidad de reportar tamaños de efecto libres de distribución y diagnósticos de deriva. El protocolo se presenta como una herramienta para investigadores, auditores y reguladores para asegurar la defendibilidad de la evidencia en la investigación de sesgos de IA.