SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

Resumo Técnico: SafetyRepro: Instabilidade de Rank Condicional à Configuração em Benchmarks de Alinhamento

Declaração do Problema
O artigo aborda uma lacuna crítica na reprodutibilidade dos benchmarks de alinhamento de Modelos de Linguagem de Grande Escala (LLMs). Embora comparações em pares (por exemplo, "O Modelo A é mais seguro que o Modelo B") sejam tratadas como vereditos quantitativos na literatura, elas dependem de harnesses de avaliação que subespecificam escolhas de configuração críticas. Os avaliadores devem selecionar modelos de prompt, configurações de decodificação, níveis de few-shot, regras de pontuação e esquemas de quantização. Os autores argumentam que essas escolhas são frequentemente plausíveis, mas subespecificadas em artigos de benchmarks, levando a uma falta de reprodutibilidade onde o mesmo par de modelos pode produzir classificações contraditórias dependendo da configuração do harness.

Metodologia
Os autores constroem um protocolo de avaliação "carimbado por commit" para testar a estabilidade das classificações em pares através de um envelope de configuração finito.

• Grade Experimental: O estudo avalia três modelos instruídos de pesos abertos de 7–9B (Qwen-2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 e Yi-1.5-9B-Chat) em cinco benchmarks relacionados ao alinhamento: TruthfulQA, BBQ, ToxiGen, CrowS-Pairs e XSTest.
• Envelope de Configuração: Uma grade de 612 células é percorrida, variando quatro eixos por par (modelo, benchmark):
  1. Modelo de Prompt: Quatro níveis (Minimal, Enquadrado por Papel, Detalhado, Cadeia de Pensamento).
  2. Decodificação: Três níveis (Guloso, T=0.3, T=0.7).
  3. Few-shot: Três níveis (0, 3, 5 exemplos).
  4. Pontuação: Dois níveis (Extração regex livre vs. argmax de logprobabilidade).
• Restrições: A grade é fixada na quantização NF4 (simulando hardware consumidor de 16 GB) e um subconjunto de itens fixo por benchmark para isolar a variância do harness da variância de subamostragem de dados.
• Métricas:
  • Taxa de Discordância em Pares Controlável pelo Operador ($\rho_{flip}$): Definida como $\min(N_+, N_-) / |C_b|$, onde $N_+$ e $N_-$ são as contagens de configurações onde Modelo A > Modelo B e Modelo B > Modelo A, respectivamente. Esta métrica mede a existência de reversões estritas dentro do envelope.
  • Concordância de Classificação ($\tau_R$): Kendall $\tau$ médio sobre as classificações de 3 modelos induzidas.
  • Atribuição de Variância: Uma ANOVA de quatro vias Tipo-II para partitionar a variância entre a identidade do modelo e os eixos de implementação (modelo de prompt, decodificação, few-shot).
• Estudo de Caso: Uma análise separada reexecuta uma única configuração nominal de âncora (Qwen2.5-7B-Instruct) em três pacotes de avaliação mainstream (lm-evaluation-harness, HELM-lite, Inspect AI) para demonstrar a não equivalência de implementação.

Principais Descobertas

1. Instabilidade Universal de Rank: Em todos os benchmarks testados, a escolha da configuração sozinha é suficiente para inverter o veredito em pares entre os modelos. A métrica $\rho_{flip}$ é não nula para todos os benchmarks, indicando que a ordenação estrita não é identificável dentro do envelope testado.
2. Instabilidade Máxima:
   • XSTest: O benchmark mais volátil; todas as seis ordenações possíveis dos três modelos são alcançáveis dentro do envelope completo. Mesmo em um "nível central" (excluindo CoT de nível de estresse e decodificação diversificada), 5 das 6 ordenações permanecem alcançáveis.
   • TruthfulQA: Apresenta a maior taxa de discordância em pares ($\rho_{flip} \approx 47,9\%$ no envelope completo, $\approx 40,7\%$ no nível central).
   • BBQ e ToxiGen: Também exibem instabilidade significativa, com valores de $\rho_{flip}$ em torno de 43,8% e 35,4%, respectivamente.
3. Dominância de Implementação vs. Modelo: A partitionamento de variância revela que os efeitos principais de implementação explicam tanta ou mais variância agregada quanto a identidade do modelo em três dos quatro benchmarks de formulário livre (BBQ, ToxiGen, XSTest). Apenas TruthfulQA é dominado pelo modelo. Os efeitos de interação são grandes (41–54%), sugerindo que a partition é uma direção qualitativa e não uma proporção precisa.
4. Sensibilidade do Caminho de Pontuação: A troca entre análise regex de formulário livre e pontuação por argmax de logprobabilidade produz pontuações materialmente diferentes (até 22,7 pontos percentuais no BBQ e 21,7 no TruthfulQA no estudo entre pacotes), confirmando que diferentes caminhos de pontuação medem objetos candidatos não equivalentes.
5. Não Equivalência entre Pacotes: Executar a mesma configuração nominal em três pacotes de avaliação diferentes produz dispersões de pontuação de até 22,7 pontos percentuais. Isso é atribuído à não equivalência de implementação (objetos candidatos diferentes, boilerplate de prompt e mapeamentos de verdade fundamental) e não a um efeito de pacote de um único eixo.

Contribuições

1. Métrica: A introdução da taxa de discordância em pares controlável pelo operador ($\rho_{flip}$), uma métrica condicional à configuração que quantifica a existência de reversões estritas de rank dentro de um envelope derivado da prática definido.
2. Dados: Uma grade de avaliação de 612 células publicável cobrindo 15 pares (modelo, benchmark) com regras de configuração carimbadas por commit.
3. Evidência: Um estudo de caso demonstrando a não equivalência de implementação em três pacotes de avaliação principais, mostrando que divulgar uma configuração é insuficiente para a reprodutibilidade de pontuação entre diferentes harnesses.
4. Ferramentas: Um modelo de divulgação de nível de pesquisa (cartão GRID) para registrar configurações de harness junto com pontuações, reconhecendo que, embora melhore a transparência, não resolve o problema de proponentes manipularem vizinhanças de configuração.
5. Verificações de Robustez: Análise de um sub-envelope conservador-central (4 configurações) e uma sonda de escala entre famílias (7B vs. 32B/34B) que descarta confusões de família única, mas não afirma uma lei de escala geral.

Significado e Alegações
O artigo afirma que uma classificação de pontuação de benchmark que posiciona o Modelo A acima do Modelo B é uma propriedade do par (modelo, harness), e não dos modelos isoladamente. Os autores afirmam que, sem divulgar tanto o modelo quanto a configuração específica do harness, tais classificações não podem ser reproduzidas.

O significado reside em fechar um "loop teoria–benchmark" fornecendo um teste de uma linha (Proposição 1) para verificar se uma classificação em pares está livre de reversão estrita em uma grade de configuração dada. Os autores enfatizam que suas descobertas são limitadas: eles não afirmam ter medido a "reprodutibilidade de avaliação de LLM" como uma população, nem afirmam ter resolvido a reprodutibilidade. Em vez disso, eles demonstram que, dentro de um envelope deliberadamente limitado e derivado da prática (hardware consumidor, tamanhos específicos de modelo, subconjuntos de itens fixos), o primitivo "ordenação estrita" falha em identificar uma verdade estável. O artigo conclui que certificar quais classificações publicadas são identificadas não requer nova teoria nem novo poder computacional, mas sim a aplicação deste teste condicional à configuração.