Resumo Técnico: Corrigindo a Dependência de Prompts em Benchmarks de LLM

Declaração do Problema

As práticas atuais de benchmarking de Grandes Modelos de Linguagem (LLMs) frequentemente declaram incorretamente métricas de desempenho e estimativas de incerteza devido a duas suposições críticas, muitas vezes não atendidas:

1. Dados Suficientes para Inferência Clássica: A suposição de que os tamanhos de amostra são grandes o suficiente para depender da inferência baseada no Teorema do Limite Central (CLT) (ex: intervalos de confiança de Wald) é frequentemente violada devido a restrições computacionais, levando a médias amostrais e p-valores não confiáveis.
2. Independência de Prompt: Métricas padrão assumem que os prompts de teste são independentes, atribuindo-lhes pesos iguais. No entanto, evidências empíricas sugerem que prompts dentro de benchmarks frequentemente exibem similaridade semântica e modos de falha compartilhados, criando dependências. Essa "dependência de prompt" reduz o número efetivo de amostras independentes, causando o uso de métodos padrão que superestimam o tamanho efetivo da amostra e produzem incerteza mal calibrada.

Metodologia: Modelo Hierárquico Bayesiano com Agrupamento no Espaço de Embeddings (BHM-ESC)

Para abordar esses problemas, os autores propõem um Modelo Hierárquico Bayesiano Corretivo com Agrupamento no Espaço de Embeddings (BHM-ESC). A abordagem opera da seguinte forma:

• Agrupamento Semântico: Em vez de depender de rótulos de tarefas predefinidos, o modelo trata o número de clusters semânticos ($S$) como uma variável aleatória desconhecida. Ele utiliza uma distribuição a priori (especificamente uma distribuição Binomial truncada em $n$) para inferir $S$ diretamente dos dados.
• Particionamento do Espaço de Embeddings: Os embeddings dos prompts são gerados usando um Sentence Transformer (ex: all-MiniLM-L6-v2). O agrupamento por similaridade de cosseno aglomerativo é aplicado para particionar os prompts em $S$ clusters disjuntos baseados na proximidade semântica.
• Modelagem Hierárquica:
  • Dentro de cada cluster $k$, assume-se que os prompts compartilham uma probabilidade de sucesso de tarefa comum $p_k$.
  • $p_k$ é modelado com uma priori Beta(1, 1) uniforme.
  • Os sucessos observados $x_i$ para o prompt $i$ (executado $m$ vezes) seguem uma distribuição Binomial: $x_i | p_k \sim \text{Binomial}(m, p_k)$.
  • O desempenho geral do benchmark $\bar{p}$ é modelado como uma mistura de probabilidades por cluster com pesos iguais, efetivamente agrupando a variabilidade ao nível do tópico.
• Inferência via Amostragem de Importância: Como as distribuições a posteriori não admitem expressões de forma fechada, os autores empregam um esquema de amostragem de importância. Eles extraem amostras de $S$ da priori, determinam a partição do cluster, amostram $p_{1:S}$ a partir das posteriors condicionais tratáveis e calculam os pesos de importância baseados na verossimilhança marginal $\pi(x_{1:n} | S)$. Isso gera amostras ponderadas que aproximam as distribuições a posteriori para métricas de desempenho e contagens de clusters.

Principais Contribuições

1. Evidência Empírica de Dependência: O artigo fornece evidência quantitativa (via estatísticas de Hopkins e visualizações UMAP) de que benchmarks populares (incluindo MMLU, GSM8K, HarmBench e Garak) exibem uma estrutura de agrupamento significativa, violando a suposição de independência.
2. Um Framework de Correção Baseado em Princípios: O modelo BHM-ESC contabiliza explicitamente a dependência entre prompts sem exigir rótulos de cluster ou metadados de tarefa predefinidos. Ele infere a estrutura de agrupamento diretamente a partir dos espaços de embedding.
3. Robustez em Dados Limitados: A abordagem é projetada para regimes de dados limitados onde métodos baseados em CLT falham, fornecendo estimativas de incerteza posterior calibradas.
4. Validade Interna: As estruturas de cluster inferidas alinham-se com julgamentos humanos de similaridade semântica e independência, conforme verificado através de Matrizes de Similaridade Posterior (PSMs) e comparação com baselines "oráculo" usando rótulos de verdade fundamental (ground-truth).

Resultados

Os autores avaliaram o BHM-ESC em benchmarks de robustez adversarial (subconjuntos do Garak: ANSI Escape, Repeat, Latent Injection, JavaScript) usando duas arquiteturas de LLM (Pythia-2.8B e Mamba-2.8B).

• Melhorias de Desempenho: Comparado aos baselines (frequentista ingênuo, modelos Bayesianos sem agrupamento, e modelos Bayesianos com $S$ fixo de $S=1$ ou $S=n$), o BHM-ESC alcançou:
  • Redução de 4–73% no Erro Absoluto Médio (MAE) para as médias preditivas posteriores.
  • Melhoria de 20–450 unidades na Densidade Log Posterior Esperada (ELPD), indicando um ajuste de modelo e quantificação de incerteza superiores.
• Correção do Tamanho Efetivo da Amostra: O modelo demonstrou que abordagens baseline superestimam sistematicamente o número de amostras independentes por fatores de 1.3 a 5.6 vezes. O BHM-ESC identificou corretamente o tamanho efetivo de amostra reduzido ($S$) em relação à contagem nominal de prompts ($n$).
• Impacto nas Conclusões: As métricas corrigidas alteraram materialmente as comparações de desempenho. Por exemplo, o BHM-ESC sugeriu que a robustez a ataques ANSI era mais homogênea e certa do que indicado pelos baselines ingênuos.
• Agnosticismo de Embedding: As melhorias de desempenho foram consistentes entre diferentes métodos de embedding (Sentence Transformers vs. TF-IDF), sugerindo que os ganhos derivam da recuperação estrutural e não de artefatos específicos de embedding.

Significância e Alegações

O artigo afirma que a dependência de prompt é um problema sistemático no benchmarking de LLMs que introduz viés em estatísticas resumidas e estimativas de incerteza. Ao tratar o número de clusters como desconhecido e aprender a estrutura diretamente dos embeddings, o BHM-ESC oferece uma solução agnóstica ao benchmark que:

• Recupera estruturas de agrupamento consistentes com a intuição humana.
• Fornece estimativas de incerteza calibradas em cenários de escassez de dados onde métodos estatísticos tradicionais são inválidos.
• Previne a autoconfiança excessiva em conclusões estatísticas que surge ao tratar prompts semanticamente similares como pontos de dados independentes.

Os autores observam que, embora a abordagem melhore a precisão da estimativa, ela não exige cobertura de tarefas exaustiva ou equilibrada para produzir estimativas calibradas, pois a dependência é inferida e corrigida automaticamente. Trabalhos futuros poderiam explorar o relaxamento da suposição de probabilidades de sucesso idênticas dentro dos clusters ou estender o método para benchmarks de múltiplos turnos.