Resumo Técnico: A Estimativa da Forma da Cauda na Avaliação de LLMs é Frágil

Declaração do Problema

A literatura recente tem defendido a mudança da avaliação de Grandes Modelos de Linguagem (LLMs) de métricas baseadas na média para métricas sensíveis à cauda, como o Valor em Risco Condicional (CVaR) e estimativas de índice de cauda, para capturar comportamentos catastróficos, raros e de pior caso que as médias ignoram. O índice de cauda ($\xi$), derivado da Teoria dos Valores Extremos (EVT), é um parâmetro escalar destinado a isolar a forma da cauda de uma distribuição (ex: cauda pesada vs. limitada) de sua magnitude.

No entanto, a estimativa de $\xi$ via o método de Picos sobre o Limiar (POT) e o ajuste de uma Distribuição Pareto Generalizada (GPD) é estatisticamente frágil em amostras finitas. A questão central deste artigo é se o parâmetro do índice de cauda adiciona informação discriminativa além da média e de uma estatística de magnitude de cauda padrão (TVaR) em configurações padrão de avaliação de LLMs, ou se as alegações de diferenças na forma da cauda são frequentemente artefatos de ruído de estimativa, vieses de suporte limitado ou seleção de limiar.

Metodologia: Um Protocolo de Cinco Portões Pré-Registrado

Os autores propõem e pré-registram um rigoroso protocolo de cinco portões projetado para validar qualquer alegação de discriminação de forma de cauda ($H_1$). O protocolo é desenhado para encerrar a análise precocemente ("MATAR" a hipótese) se qualquer portão falhar, evitando a publicação de falsos positivos.

O protocolo consiste em duas fases: Portões de Admissibilidade (G1–G5) e Critérios de Passagem (P1–P2).

Portões de Admissibilidade

1. G1 (Equivalência de Média): O intervalo de confiança (IC) de bootstrap de 95% para a diferença na severidade da média entre dois modelos deve residir inteiramente dentro de uma banda de tolerância pré-registrada ($\delta_\mu$). Isso utiliza um Teste de Dois Lados Únicos (TOST) para estabelecer equivalência prática, evitando a falácia de que "a não significância não implica equivalência".
2. G2 (Equivalência de Magnitude de Cauda): Da mesma forma, o IC de bootstrap de 95% para a diferença no Valor em Risco de Cauda (TVaR$_{0.9}$) deve residir dentro de uma banda de tolerância ($\delta_{TVaR}$).
3. G3 (Tamanho da Amostra): O número de excessos ($n_{exc}$) acima do limiar deve atender a um limite inferior teórico ($N^*$) derivado do assintótico de Smith para Estimadores de Máxima Verossimilhança (MLE) de GPD. Isso garante poder suficiente para detectar um tamanho de efeito pré-registrado ($\Delta \xi$).
4. G4 (Ajuste de Bondade de Ajuste): A distribuição empírica de excessos deve passar no teste de Anderson-Darling (AD) para ajuste de GPD ($p > 0.05$).
5. G5 (Estabilidade do Limiar): O $\hat{\xi}$ estimado deve ser aproximadamente constante através de uma banda de robustez de limiares ($u \in [q-\delta, q+\delta]$). Grandes flutuações indicam busca de limiar (threshold-fishing) ou instabilidade.

Critérios de Passagem

Somente se um par de modelos passar por todos os portões de admissibilidade a análise prossegue para:

• P1: Os ICs de bootstrap de 95% para $\hat{\xi}$ de ambos os modelos devem ser não sobrepostos.
• P2: A diferença absoluta nos índices de cauda estimados ($|\hat{\xi}_A - \hat{\xi}_B|$) deve exceder um piso de tamanho de efeito pré-registrado ($\Delta_{floor}$).

Configuração Experimental

• Modelos: Quatro LLMs de instrução de pesos abertos (Qwen2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-Instruct-2407).
• Dados: 30.000 prompts do conjunto de dados RealToxicityPrompts por condição.
• Avaliadores (Scorers):
  1. Detoxify: Um classificador de toxicidade que retorna probabilidades em $[0, 1]$.
  2. Juiz de NLL de Token: Uma família de avaliadores secundários usando log-verossimilhança negativa.
• Piloto: Um estudo de perturbação (H2) no Qwen2.5-3B com ruído de embedding de entrada para testar a variação intra-modelo.

Resultados Principais: Três Modos de Falsos Positivos Detectados

O protocolo rejeitou com sucesso a alegação principal de que a forma da cauda fornece informação discriminativa neste setup. O estudo identificou três modos distintos de falha que uma análise ingênua teria perdido:

1. Ilusão de Tamanho de Amostra (Portão G3)

Em um estudo piloto usando apenas 2.000 prompts ($n_{exc} \approx 100$), os autores observaram uma grande diferença aparente nos índices de cauda ($\Delta \hat{\xi} \approx 0.28$) entre níveis de ruído. O teste de Anderson-Darling passou, mas o portão de tamanho de amostra (G3) rejeitou este resultado porque $n_{exc}$ estava muito abaixo dos 1.570 necessários para 80% de poder no tamanho de efeito alvo. Ao rodar novamente com 30.000 prompts, o efeito encolheu 30 vezes ($\Delta \hat{\xi} \approx 0.009$), confirmando que o resultado do piloto era ruído de estimativa.

2. Contaminação por Suporte Limitado (Portão G4)

Ao pontuar com Detoxify (probabilidades em $[0, 1]$), o ajuste GPD falhou para três de quatro modelos (AD $p < 0.05$). O MLE produziu estimativas espúrias de cauda pesada ($\hat{\xi} \approx 0.9 - 1.2$) ou ajustes degenerados ($\hat{\xi} \approx -1$) porque os escores de severidade saturaram perto do limite superior (1.0), violando a suposição de suporte não limitado da GPD padrão.

• Correção: Aplicar uma transformação logit ($s' = \log(s/(1-s))$) aos escores restaurou a validade da GPD (AD $p > 0.05$).
• Resultado: A verdadeira forma da cauda era leve ($\hat{\xi} \approx 0$, domínio Gumbel), não pesada. O diagnóstico de "cauda pesada" foi um artefato do suporte limitado.

3. Busca de Limiar / Threshold-Fishing (Portão G5)

Usando os dados transformados por logit, os autores percorreram limiares de $q=0.95$ a $0.99$. Em $q=0.97$, um par (Qwen vs. Llama-3.1-8B) pareceu passar em todos os critérios com $\Delta \hat{\xi} = 0.139$. No entanto, o portão de estabilidade de limiar (G5) revelou que o $\hat{\xi}$ flutuava significativamente através da banda de robustez para o modelo Qwen. O "resultado positivo" em $q=0.97$ era um outlier dentro do próprio envelope de ruído do modelo, identificado corretamente como threshold-fishing.

Veredito Final

Após corrigir o suporte limitado e aplicar o protocolo completo:

• Zero de seis pares de modelos passaram em todos os portões simultaneamente.
• Cinco pares falharam na equivalência de bulk (G1/G2).
• O único par equivalente de bulk (Qwen vs. Llama-3.1-8B) tinha ICs sobrepostos e um tamanho de efeito ($0.095$) abaixo do piso ($0.10$).
• O mesmo veredito de MATAR (KILL) foi retornado para o juiz de Token-NLL, confirmando que o resultado não é específico do classificador Detoxify.

Contribuições

1. Protocolo: Um protocolo pré-registrado de cinco portões para alegações de índice de cauda em avaliação de LLMs, incluindo critérios específicos de admissibilidade e estabilidade.
2. Limite de Tamanho de Amostra: Um limite inferior assintótico (Eq. 2) para o número de excessos necessários para detectar um $\Delta \xi$ específico com 80% de poder.
3. Diagnóstico de Viés de Suporte Limitado: Identificação de como classificadores com cabeças sigmoides (como o Detoxify) produzem estimativas de cauda pesada espúrias devido à saturação de escore, e a proposta de uma transformação logit como correção.
4. Demonstração Empírica: Uma demonstração de que o protocolo captura três modos distintos de falso positivo (ruído de amostra finita, artefatos de suporte limitado e threshold-fishing) em um setup de texto de toxicidade de LLM clássico.

Significância e Alegações

O artigo conclui que a estimativa da forma da cauda nos setups de toxicidade de LLM examinados é mais frágil do que a literatura recente sugere. Os autores não alegam que o POT-GPD seja inadequado para a avaliação de LLMs em geral, nem alegam que a forma da cauda nunca carregue informação.

Em vez disso, eles argumentam que:

• Sem um protocolo rigoroso, análises ingênuas em configurações padrão têm alta probabilidade de publicar falsos positivos.
• No caso específico de RealToxicityPrompts com o Detoxify, o índice de cauda $\xi$ não fornece informação discriminativa ortogonal à média e ao TVaR.
• O protocolo serve como um ponto de partida necessário para qualquer alegação futura de discriminação de forma de cauda. O resultado negativo aqui é uma demonstração da capacidade do protocolo de filtrar ruído, não uma prova de que a forma da cauda é irrelevante em todos os contextos.

Os autores recomendam que trabalhos futuros pré-registrem tamanhos de amostra baseados nos limites derivados, apliquem transformações apropriadas para pontuadores limitados e reportem varreduras de estabilidade de parâmetros em vez de estimativas de limiar único.