The Dice Roll Method: A StandardizedProtocol for Measuring Stochastic Bias in Large Language Model Output

Resumo Técnico: O Método do Lançamento de Dados para Medir o Viés Estocástico em LLMs

Problema
Pesquisadores dependem cada vez mais de repetições de prompts idênticos para medir o viés estocástico em saídas de Grandes Modelos de Linguagem (LLMs). No entanto, a área carece de um protocolo padronizado para determinar contagens de iteração adequadas, selecionar métricas de estabilidade apropriadas ou estabelecer limiares de confiabilidade. Estudos existentes frequentemente dependem de contagens de iteração ad-hoc (variando de 5 a 40) e suposições estatísticas que violam a natureza da geração de texto autorregressiva. Especificamente, abordagens padrão costumam tratar consultas repetidas como amostras independentes e identicamente distribuídas (i.i.d.) gaussianas, ignorando as dependências condicionais da geração de tokens, a natureza sobre-dispersa e com excesso de zeros dos dados de contagem (ex: menções a marcas) e o potencial de deriva temporal em snapshots de modelos. Este artigo aborda essas lacunas ao formalizar o "Método do Lançamento de Dados" (Dice Roll Method) como um protocolo de auditoria rigoroso e padronizado, fundamentado na mecânica generativa da amostragem de núcleo com escala de temperatura (temperature-scaled nucleus sampling).

Metodologia
O artigo propõe uma pilha analítica revisada que substitui suposições paramétricas de teoria normal por uma estrutura de modelo misto, condicional e não paramétrica. Os principais componentes metodológicos incluem:

• Modelo Generativo e Decomposição de Variância: O protocolo é ancorado em um modelo explícito de amostragem de núcleo com escala de temperatura. A variância total da resposta é decomposta em quatro componentes: variância de nível de token ($\sigma^2_{tok}$), fraseologia do prompt ($\sigma^2_P$), diferenças de modelo ($\sigma^2_M$) e deriva de versão de modelo/temporal ($\sigma^2_{V,T}$).
• Estrutura Inferencial:
  • Modelagem: Substitui testes t de amostras independentes por um Modelo Linear Misto Generalizado de Distribuição Binomial Negativa (GLMM). Isso contabiliza a sobre-dispersão em dados de contagem e trata as iterações como medidas repetidas aninhadas dentro de prompts e modelos.
  • Tamanhos de Efeito: Substitui o $d$ de Cohen pelo $\delta$ de Cliff (e correlação bisserial de postos) como o principal tamanho de efeito livre de distribuição, robusto a assimetrias e caudas pesadas.
  • Reamostragem: Substitui o bootstrap comum pelo moving-block bootstrap (para preservar a dependência condicional) e pelo bootstrap paramétrico (para incerteza de coeficientes em GLMMs).
  • Análise de Poder: Substitui tabelas de poder clássicas por análise de poder baseada em simulação usando o procedimento simr, que ajusta a estrutura específica do GLMM aos dados.
• Confiabilidade e Deriva:
  • Teoria da Generalizabilidade (G-theory): Utiliza estudos G e estudos D para decompor a variância entre os fatores de prompt, iteração e modelo, projetando coeficientes de generalizabilidade ($G$) para diferentes contagens de iteração.
  • Estacionaridade: Implementa diagnósticos de deriva explícitos usando testes de Kolmogorov–Smirnov (KS) em métricas contínuas e Índice de Estabilidade Populacional (PSI) em contagens discretas através de janelas temporais disjuntas.
• Bateria de Métricas: Organiza as métricas de estabilidade em quatro famílias (volume, composição de conjunto, forma da distribuição, consistência semântica) e introduz o PASOR (Prompt-Adjusted Share of Recommendation) para visibilidade ajustada por equidade. A consistência semântica é medida via um conjunto de três modelos de embedding para propagar a variância.

Principais Resultados
Os autores reanalisaram dados brutos de cinco estudos empíricos (aproximadamente 190.000 observações em três a cinco LLMs, 270+ marcas e 6 idiomas) sob esta pilha revisada:

• Orientação de Iteração: Três níveis de contagem de iteração são estabelecidos com base nos estudos D de Teoria da Generalizabilidade:
  • Exploratório ($n=5$): $G \approx 0,58$. Adequado para relatórios descritivos de efeitos muito grandes.
  • Confirmatório ($n=10$): $G \approx 0,74$. Padrão recomendado para a maioria das auditorias; suporta inferência sobre grandes efeitos.
  • Rigoroso ($n=15$): $G \approx 0,81$. Cruza o limiar de decisão de nível de grupo de 0,80; suporta a detecção de efeitos médios.
• Convergência: A análise de block-bootstrap mostra um padrão de retornos decrescentes. Aproximadamente 77,5% da precisão assintótica é alcançada em $n=7$, e 94,4% em $n=8-9$. A trajetória alinha-se com uma lei de potência ($n^{-0,5}$) em vez de um decaimento puramente logarítmico.
• Ortogonalidade de Métricas: No subconjunto "Valentine's Day" testado, as métricas estruturais baseadas em contagem (CV, Gini, Shannon) colapsaram em uma única dimensão dominante ($|r| > 0,97$). No entanto, o artigo argumenta por um núcleo parcimonioso de três métricas: uma métrica estrutural (Gini ou CV), consistência semântica (similaridade de cosseno via conjunto de embeddings) e visibilidade ajustada por equidade (PASOR-Gini).
• Validação de Tamanho de Efeito: A reanálise de efeitos de viés de gênero revelou que, embora alguns efeitos (ex: Grok, $\delta \approx 0,26$) fossem detectáveis, outros (ex: GPT, $\delta \approx 0,18$) exigiam contagens de iteração mais altas para poder confirmatório. O uso do $\delta$ de Cliff com intervalos BCa bootstrap forneceu estimativas de incerteza mais honestas do que os cálculos anteriores de $d$ de Cohen.
• Deriva e Custo: Diagnósticos de deriva indicaram que a estacionaridade se mantém para janelas curtas de coleta (ex: 2 semanas), mas requer monitoramento em estudos mais longos. A análise de custo-eficiência sugere que aumentar as iterações de 5 para 10 gera ganhos substanciais de poder para um aumento marginal de custo (ex: ~$18,75 para um estudo de 250 consultas).

Significância e Alegações
O artigo afirma fornecer o primeiro protocolo estatisticamente fundamentado para auditar o comportamento estocástico de LLMs que respeita as dependências condicionais e as distribuições não gaussianas inerentes à geração autorregressiva. Suas principais contribuições são:

1. Formalização: Fundamentação do Método do Lançamento de Dados em um modelo generativo explícito de amostragem de núcleo.
2. Rigor Estatístico: Substituição de suposições falhas de teoria normal por uma pilha baseada em GLMM que lida com sobre-dispersão e dependência.
3. Orientação Empírica: Fornecimento de limiares de iteração baseados em dados (5, 10, 15) vinculados a coeficientes de generalizabilidade, em vez de restrições arbitrárias de orçamento.
4. Reprodutibilidade: Oferta de uma implementação completa em Python de código aberto (incluindo glmmTMB, simr e diagnósticos de deriva) para padronizar futuras auditorias de LLM.

Os autores enfatizam que este protocolo não invalida descobertas anteriores, mas refina sua interpretação, particularmente quanto ao poder estatístico de estudos que utilizam baixas contagens de iteração ($n=5$) e a necessidade de relatar tamanhos de efeito livres de distribuição e diagnósticos de deriva. O protocolo é apresentado como uma ferramenta para pesquisadores, auditores e reguladores para garantir a defensibilidade de evidências na pesquisa de viés de IA.