When Scanners Lie: Evaluator Instability in LLM Red-Teaming

1. O Problema: Instabilidade dos Avaliadores em Scanners de Vulnerabilidade

O artigo aborda uma falha crítica e frequentemente negligenciada nos scanners de vulnerabilidade automatizados para Grandes Modelos de Linguagem (LLMs): a instabilidade dependente do avaliador.

• Contexto: Os scanners de red-teaming (testes de invasão) medem a segurança de sistemas de IA através da Taxa de Sucesso do Ataque (ASR - Attack Success Rate). A ASR é calculada com base em rótulos binários (sucesso/falha) atribuídos a pares de "prompt-resposta".
• A Falha: A ASR não é uma característica intrínseca do modelo alvo, mas sim um resultado operacional definido pelo avaliador (o componente que decide se um ataque foi bem-sucedido).
• Consequência: O estudo demonstra que alterar o avaliador (mantendo os ataques e as respostas do modelo constantes) pode alterar drasticamente a ASR reportada. Avaliadores baseados em regras estáticas (ex: correspondência de palavras-chave) e avaliadores baseados em LLMs podem discordar frequentemente, levando a métricas de vulnerabilidade inconsistentes e potencialmente enganosas.

2. Metodologia: Framework de Avaliação Consciente da Confiabilidade

Os autores propõem um framework de duas fases para diagnosticar e mitigar essa instabilidade, sem a necessidade de anotação humana em larga escala.

Fase I: Diagnóstico - Análise de Discordância de Avaliadores

• Objetivo: Quantificar a instabilidade dependente do avaliador.
• Procedimento: Aplicam-se dois avaliadores diferentes ($E_1$ e $E_2$) ao mesmo conjunto de respostas de modelos.
• Métrica: Calcula-se a taxa de discordância ($D$) entre os avaliadores para cada categoria de ataque.
• Critério: Se a discordância excede um limiar operacional ($\tau$), a categoria de ataque é marcada como "instável", indicando que a ASR reportada é sensível à escolha do avaliador e não apenas ao comportamento do modelo.

Fase II: Remediação - Avaliação com Verificação Independente

• Objetivo: Melhorar a precisão das avaliações nas categorias instáveis identificadas na Fase I.
• Procedimento: Introduz-se um verificador independente (um LLM com capacidade de raciocínio e prompts de verificação estruturada) que reavalia os pares prompt-resposta.
• Mecanismo: O verificador atua como um sinal de referência independente para estimar a confiabilidade dos avaliadores originais.
• Aplicação Prática: Permite a substituição seletiva de avaliadores. Em vez de substituir todos os avaliadores do scanner por modelos LLM caros, o framework identifica quais categorias de ataque se beneficiam de avaliadores dinâmicos (baseados em LLM) e quais podem permanecer com heurísticas estáticas mais baratas, otimizando o custo computacional.

3. Contribuições Principais

O trabalho apresenta três contribuições fundamentais:

1. Efeito de Instabilidade Dependente do Avaliador: Evidência empírica de que as métricas de vulnerabilidade (ASR) em scanners de LLM são altamente sensíveis ao design do avaliador, revelando que métricas comuns podem ser instáveis.
2. Técnica de Diagnóstico de Discordância: Um método para identificar avaliadores não confiáveis e guiar atualizações direcionadas nos scanners, em vez de substituições cegas.
3. Estimativa de Confiabilidade Baseada em Verificação: Um mecanismo escalável que estima a confiabilidade do avaliador e permite a correção dos resultados sem depender de anotação humana massiva, equilibrando precisão e custo.

4. Resultados Experimentais

Os autores aplicaram o framework ao scanner de código aberto Garak, cobrindo 25 categorias de ataque e três modelos alvo (Mistral-Small, CommandA e GPT-5-mini).

• Alta Instabilidade: 22 das 25 categorias de ataque (88%) exibiram discordância significativa entre avaliadores. Em 6 categorias, a discordância foi superior a 50%, indicando que a ASR era quase aleatória dependendo do avaliador escolhido.
• Melhoria de Precisão: Ao substituir os avaliadores padrão (majoritariamente baseados em regras) por avaliadores dinâmicos nas categorias instáveis, a precisão geral aumentou de 72% para 89%.
• Incerteza na ASR: A escolha do avaliador pode variar a pontuação de vulnerabilidade reportada em até ±33%.
• Trade-off Custo-Benefício: A substituição seletiva (apenas nas categorias onde o ganho de precisão justifica o custo) é mais eficiente do que a substituição total. Substituir os primeiros avaliadores de alto ganho elevou a precisão para 81,9% com um custo marginal de $0,15, enquanto a substituição total aumentou o custo para $5,25 por varredura, com ganhos de precisão decrescentes após certo ponto.
• Validação Humana: Uma amostra de validação humana confirmou que o verificador baseado em LLM concordou com anotações humanas em 93% dos casos.

5. Significado e Implicações

• Reavaliação da Segurança de IA: O estudo alerta que a ASR não deve ser interpretada como uma medida absoluta de robustez do modelo, mas sim como uma estimativa condicionada ao mecanismo de avaliação utilizado.
• Diretrizes para Praticantes: A segurança de IA deve adotar frameworks que quantifiquem a incerteza dos avaliadores. O uso de heurísticas estáticas pode gerar falsos positivos/negativos graves, enquanto o uso indiscriminado de LLMs como avaliadores pode ser economicamente inviável.
• Design de Scanners: Os scanners futuros devem incorporar camadas de verificação e diagnóstico de discordância para garantir que as métricas de segurança reflitam o comportamento real do modelo e não artefatos do avaliador.
• Conclusão: A confiabilidade dos pipelines de avaliação é um componente crítico para a segurança de IA. Garantir a estabilidade e a precisão dos avaliadores é essencial para produzir medições que reflitam verdadeiramente o estado de segurança dos sistemas de LLM.