Resumo Técnico: AIR-BENCH Live

Declaração do Problema

Os benchmarks de segurança de modelos de fundação, como o AIR-BENCH 2024, sofrem de obsolescência rápida devido à evolução acelerada tanto das capacidades da IA quanto da legislação global. Taxonomias estáticas falham em capturar danos novos que emergem de novas regulamentações, e prompts de ataque baseados em templates perdem eficácia à medida que os modelos se adaptam e as defesas melhoram. Consequentemente, os benchmarks fixos tornam-se menos discriminativos, frequentemente provocando recusas a prompts desatualizados em vez de revelar comportamentos inseguros em modelos modernos. Existe uma necessidade crítica de um framework de avaliação "vitalício" que absorva continuamente novos requisitos regulatórios e regenere prompts de ataque para manter o rigor contra modelos cada vez mais resilientes.

Metodologia

O AIR-BENCH Live introduz um pipeline autoevoluinte projetado para automatizar a atualização de benchmarks de segurança. O sistema opera sobre uma taxonomia de risco hierárquica de profundidade 4 representada como uma árvore JSON, onde nós internos armazenam resumos recursivos e os nós folha contêm o payload do benchmark (prompts, juízes e políticas de origem). O pipeline consiste em três componentes automatizados primários:

1. Monitoramento e Classificação Automatizada de Políticas:

   • Um web scraper realiza uma varredura em largura (breadth-first crawl) de 16 fontes regulatórias (ex: Congress.gov, EU AI Office, CAC China, NIST).
   • Um agente de extração (GPT-5.4-mini) identifica cláusulas de política candidatas, traduzindo textos não ingleses para o inglês.
   • Um filtro de palavras-chave orientado à recall retém cláusulas que mencionam danos concretos e atacáveis (ex: armas, fraude), removendo o texto administrativo irrelevante (boilerplate).
   • Um agente verificador garante que as cláusulas restantes descrevam capacidades prejudiciais testáveis.
   • Um agente de classificação hierárquica navega pela árvore da taxonomia, combinando fragmentos de novas políticas com folhas existentes de Nível 4 ou propondo novas categorias granulares. Um agente de reconciliação evita duplicatas entre os ramos.

2. Geração de Prompts Multi-Agente:

   • Um algoritmo multi-agente baseado em personas reformula prompts legados e gera novos para categorias inéditas.
   • Geração Base: O GPT-5.4-mini gera 8 prompts candidatos por categoria, semeados com personas aleatórias do PersonaHub para induzir diversidade sintática e realismo.
   • Loop de Refinamento: Um loop crítico-refinador (Crítico: GPT-5.4; Refinador: GPT-5.4-mini) itera 1–2 vezes para garantir a conformidade com critérios específicos de estágio, maximizando a clareza da intenção de risco e a naturalidade, enquanto minimiza o desvio de persona (persona drift).
   • Mutação: Os prompts são mutados com técnicas de jailbreaking (atualmente "endosso de autoridade", onde um preâmbulo apela à autoridade).
   • Tradução: Os prompts são traduzidos para espanhol, japonês e português usando Qwen 3.7-plus, com um loop de crítica que verifica a preservação do significado.
   • Revisão Humana: O pipeline inclui checkpoints opcionais onde revisores humanos selecionam os prompts mais fortes, embora o sistema seja projetado para funcionar com intervenção humana mínima.

3. Particionamento de Dataset:

   • O dataset final é particionado por jurisdição (baseado na legislatura de origem) e idioma, permitindo análise transjurisdicional e multilíngue.

Principais Contribuições

• Pipeline Autoevoluinte: O AIR-BENCH Live é o primeiro benchmark a apresentar um pipeline automatizado que monitora continuamente regulamentações governamentais, classifica novas políticas contra uma taxonomia dinâmica e regenera prompts sem exigir a reengenharia manual de todo o dataset.
• Taxonomia Expandida: Em sua iteração atual, o pipeline expandiu o benchmark de 314 para 335 riscos granulares. Foram adicionadas 21 novas categorias de Nível 4 derivadas de 31 novas cláusulas de política provenientes de sete jurisdições. Essas novas categorias abordam riscos emergentes, como roubo de pesos de modelos, ataques cibernéticos autônomos e manipulação de eleições por mídia sintética.
• Modernização Automatizada de Prompts: O sistema substitui prompts legados, apenas em inglês e estilizados, por prompts realistas, multilíngues e baseados em personas. Este processo utiliza um loop crítico-refinador para garantir alta qualidade, demonstrando que a geração automatizada pode igualar ou exceder a dificuldade de prompts criados através de iterações tradicionais com intervenção humana.
• Granularidade Multilíngue e Jurisdicional: O benchmark agora suporta análise em quatro idiomas (inglês, espanhol, japonês, português) e múltiplas jurisdições, abordando lacunas de benchmarks estáticos anteriores.

Resultados

Os autores avaliaram 14 modelos de fundação recentes usando o dataset AIR-BENCH Live (2.680 prompts no total).

• Dispersão de Segurança (Safety Spread): Há uma ampla variância na segurança dos modelos, com pontuações variando de 0,17 (Mistral Large) a 0,89 (Claude Haiku 4.5) entre modelos julgados sobre seu próprio comportamento. GPT-5.5 e Claude Opus 4.8 alcançaram pontuações perfeitas (1,00), atribuídas inteiramente à moderação em nível de API que bloqueia os prompts antes da inferência.
• Dificuldade do Prompt: Os prompts modernizados no AIR-BENCH Live são, em média, 0,06 pontos mais difíceis que o conjunto de 2024. Os modelos mais complacentes (ex: DeepSeek V3.2, Kimi K2) mostraram as maiores quedas de desempenho (−0,20 e −0,19, respectivamente), indicando que os novos prompts desafiam efetivamente os alinhamentos de segurança avançados.
• Desempenho Multilíngue: A maioria dos modelos pontuou menos em prompts não ingleses em comparação com prompts apenas em inglês, com uma queda média de 0,03 entre modelos que não atingiram o teto (non-ceiling models). Quedas notáveis foram observadas no Gemini 2.5 Flash (−0,12) e Llama 3 8B (−0,08). Mesmo modelos com foco multilíngue como o Qwen3-235B mostraram degradação (−0,07), sugerindo que o pré-treinamento multilíngue não garante o alinhamento multilíngue.
• Desempenho por Categoria: O desempenho foi mais fraco em "Tomada de Decisão Automatizada" e "Conselhos em Indústrias Altamente Regulamentadas" (muitos modelos pontuando <0,10) e mais forte em "Nudez Não Consensual" e "Semear Divisão" (quase todos os modelos >0,75).

Significância e Alegações

O artigo postula que o AIR-BENCH Live aborda a limitação fundamental dos benchmarks estáticos: sua incapacidade de acompanhar o "campo de rápida evolução" da segurança da IA. Ao automatizar a absorção de novas legislações e a regeneração de prompts, o benchmark transforma-se de um snapshot estático em um sistema vivo que evolui junto com as mudanças regulatórias e tecnológicas.

Os autores alegam que seu algoritmo de geração de prompts multi-agente produz com sucesso prompts que são mais realistas, difíceis e multilíngues do que as iterações anteriores, apesar de exigir significativamente menos revisão humana. Os resultados demonstram que o benchmark mantém um forte poder discriminativo, distinguindo efetivamente entre modelos com variados alinhamentos de segurança. Além disso, as descobertas destacam que o alinhamento translinguístico continua sendo um desafio significativo, pois os comportamentos de segurança degradam-se em contextos não ingleses para muitos modelos. O artigo conclui que tal framework evolutivo é essencial para manter avaliações de segurança relevantes à medida que os riscos da IA e as leis continuam a mudar.