What AI Red-Team Evaluations Can and Cannot Prove

Resumo Técnico: O que as Avaliações de Red-Teaming de IA Podem e Não Podem Provar

Definição do Problema
As práticas atuais de segurança de IA dependem fortemente de avaliações de red-teaming, onde prompts adversariais curados são usados para testar modelos quanto a saídas prejudiciais. Esses resultados são cada vez mais utilizados como a principal base empírica para supervisão regulatória e decisões de implantação. No entanto, uma crítica crescente sugere que os resultados quantitativos desses benchmarks carecem de precisão estatística, falham em generalizar para prompts semanticamente equivalentes e não podem sustentar comparações significativas entre sistemas. Embora essas críticas sejam válidas, o artigo argumenta contra a conclusão de que os benchmarks de segurança são "inúteis". Em vez disso, o problema central é que o campo carece de um framework formal para determinar quais proposições específicas uma determinada avaliação pode sustentar. Sem isso, laboratórios podem superestimar a segurança para danos catastróficos raros ou subutilizar benchmarks para danos de alta frequência.

Metodologia
O artigo introduz um framework estatístico formal para definir o "teto de evidência" (evidential ceiling) de uma avaliação. Este teto representa o fator máximo pelo qual um único resultado pode deslocar as probabilidades a posteriori entre duas hipóteses, $H_0$ (risco aceitável) e $H_1$ (risco elevado).

1. Derivação do Teto de Evidência: Os autores definem o teto para um resultado nulo de benchmark (zero danos observados) em forma fechada. Usando uma abordagem de razão de verossimilhança, eles derivam a máxima evidência que uma folha limpa (clean sheet) pode fornecer dado um orçamento fixo de recursos ($N_{max}$) e uma taxa de dano ($p$).
2. Cálculo de Fronteira: O artigo deriva uma fronteira crítica, $p_{min}$, que separa dois regimes:
   • Acima de $p_{min}$: Um benchmark de tamanho viável pode certificar uma categoria a um padrão de evidência declarado. Neste regime, uma folha limpa é uma evidência mais forte do que uma única falha observada.
   • Abaixo de $p_{min}$: Nenhum benchmark passivo de tamanho viável pode fornecer a evidência especificada de segurança. Neste regime, uma única falha observada supera uma folha limpa.
3. Generalização para Elicitação Adaptativa: O framework é estendido além dos benchmarks estáticos para o red-teaming adaptativo. Os autores substituem a taxa bruta de dano por "taxas de elicitação condicionadas à hipótese" ($q_1$ para $H_1$ e $q_0$ para $H_0$). Eles demonstram que o valor da evidência é determinado pela discriminação entre essas taxas ($\kappa = |\log_2((1-q_1)/(1-q_0))|$), e não apenas pela taxa de sucesso do ataque.
4. Auditoria Empírica: Os autores auditam oito suítes de avaliação amplamente utilizadas (ex: AdvBench, HarmBench, SafetyBench) contra essas fronteiras teóricas. Eles analisam o poder estatístico, as probabilidades de falsa certificação e a validade distributiva (comparando os prompts dos benchmarks com consultas reais de usuários do LMSYS-Chat-1M).

Principais Contribuições

• Fronteira de Forma Fechada: O artigo fornece uma expressão calculável para a fronteira entre taxas de dano certificáveis e não certificáveis. Esta fronteira cai como $1/n$, o que significa que benchmarks maiores estendem o alcance das taxas de danos certificáveis, mas não podem superar o limite fundamental para eventos extremamente raros.
• Reversão da Força da Evidência: Os autores provam que a força relativa da evidência de uma "folha limpa" versus uma "única falha observada" não é absoluta. Acima da taxa de cruzamento ($p_\times$), uma folha limpa é uma evidência mais forte; abaixo dela, uma única falha é uma evidência mais forte. Este ponto de cruzamento também é calculável.
• Discriminação sobre Taxa de Sucesso: O artigo estabelece que, para red-teaming adaptativo ou automatizado, a métrica de valor é a discriminação entre as taxas de elicitação sob hipóteses seguras e inseguras, não a taxa bruta de sucesso do ataque. Um procedimento que é acionado igualmente em modelos seguros e inseguros fornece zero evidência.
• Template de Relatório: Um template mínimo de relatório é proposto (Tabela 5), exigindo que os laboratórios publiquem parâmetros específicos (ex: tamanho efetivo da amostra, correlação intracluster, taxas de elicitação sob $H_0$ e $H_1$) para permitir que o valor da evidência de um resultado seja ponderado.

Resultados

• Adequação para Danos de Alta Frequência: Para categorias de dano com taxas em torno de $10^{-2}$ (1%), os benchmarks públicos existentes (ex: AdvBench com $n=520$) são adequados para sustentar alegações de melhorias de segurança de ordem de magnitude.
• Inadequação para Danos Raros/Catastróficos: Para categorias raras (ex: $p = 10^{-4}$ ou $10^{-5}$), os benchmarks atuais ficam aquém por várias ordens de magnitude. O artigo constata que nenhum benchmark de tamanho viável ($N_{max} \approx 10^5$) pode certificar a ausência de danos nestas taxas.
• Lacuna Distributiva: A análise empírica mostra que os prompts dos benchmarks estão mensuravelmente separados do tráfego comum de implantação (excesso de 3,1 a 3,5 vezes em métricas de distância). Embora isso não limite a distância até o tráfego adversarial, confirma que os benchmarks não representam as distribuições usuais de usuários.
• Efeitos de Agrupamento (Clustering): Benchmarks do mundo real exibem agrupamento (prompts derivados de templates), o que reduz o tamanho efetivo da amostra ($n_{eff}$) e empurra a fronteira certificável para cima, limitando ainda mais a utilidade das suítes atuais para eventos raros.

Significância e Alegações
O artigo afirma que os benchmarks de segurança não são desinformativos, mas sim informativos sobre um "conjunto específico e computável de proposições". A significância reside na mudança da disciplina de perguntar se os benchmarks funcionam para definir o que eles podem provar.

Os autores argumentam que a fronteira entre o que pode e o que não pode ser provado é uma questão de cálculo, não de julgamento de especialistas. Ao formalizar essa fronteira, o artigo propõe uma disciplina onde os laboratórios podem determinar antes de realizar uma avaliação se o seu design suporta uma alegação de certificação específica. Se uma categoria de dano cair abaixo da fronteira calculável, o campo deve parar de tentar certificá-la via benchmarks de resultado nulo e, em vez disso, confiar em evidências que não sejam de benchmark. O artigo conclui que a atual "correção excessiva" alegando que os benchmarks são inúteis está incorreta; em vez disso, os benchmarks são instrumentos precisos com uma resolução calculável que deve ser explicitamente declarada nos relatórios de segurança.