AVISE: Framework for Evaluating the Security of AI Systems

1. O Problema

Com a adoção acelerada de sistemas de Inteligência Artificial (IA) em setores críticos, as vulnerabilidades de segurança tornaram-se um risco crescente, levando a falhas sistêmicas e explorações de alto perfil. Apesar disso, abordagens sistemáticas para avaliar a segurança da IA permanecem subdesenvolvidas.

• Limitações das Ferramentas Atuais: Muitas ferramentas existentes focam em modelos específicos (como apenas texto ou apenas imagem), tratam execuções de teste como eventos isolados (ignorando a natureza estocástica dos modelos de IA) e carecem de flexibilidade para criar testes personalizados (White-box, Grey-box e Black-box).
• Desafio da Estocasticidade: Modelos de IA, especialmente Grandes Modelos de Linguagem (LLMs), são probabilísticos. Uma única execução de teste não é suficiente para avaliar a segurança, pois os resultados variam. É necessária uma agregação estatística de múltiplas execuções.
• Lacuna de Pesquisa: Há uma falta significativa de metodologias automatizadas para avaliar sistemas emergentes, como modelos multimodais e de aprendizado contínuo.

2. Metodologia: O Framework AVISE

Os autores introduzem o AVISE (AI Vulnerability Identification and Security Evaluation), um framework de código aberto e modular desenvolvido em Python. Sua arquitetura é dividida em duas camadas principais:

• Camada de Orquestração (Orchestration Layer):
  • BaseSETPipelines: Classes abstratas que definem o ciclo de vida de um Teste de Avaliação de Segurança (SET), garantindo consistência e interoperabilidade.
  • SETs (Security Evaluation Tests): Implementações concretas que estendem as pipelines para atacar vulnerabilidades específicas.
  • Evaluators (Avaliadores): Componentes responsáveis por inspecionar as saídas do sistema alvo. Podem ser estáticos ou baseados em modelos de linguagem (ELM).
  • Execution Engine: Gerencia a configuração, execução e coleta de resultados, permitindo que os testes sejam executados múltiplas vezes para obter agregação estatística.
• Camada de Interação (Interaction Layer):
  • Connectors: Facilitam a comunicação com APIs de sistemas alvo, permitindo avaliações "Black-box" (onde o código interno é desconhecido).

Desenvolvimento de um SET Específico (Red Queen Augmented):
Para demonstrar o framework, os autores automatizaram e estenderem o ataque de "Jailbreak" multi-turno conhecido como Red Queen.

• Ataque Red Queen: Baseia-se na teoria da mente, onde o atacante simula um cenário (ex: um professor pedindo ajuda para prevenir uma ação danosa) para manipular o modelo a fornecer instruções prejudiciais.
• Augmentação com ALM (Adversarial Language Model): Para lidar com a estocasticidade e desvios de contexto em conversas multi-turno, o SET incorpora um ALM (baseado no modelo Ministral 3 de 3B parâmetros). O ALM modifica dinamicamente os prompts subsequentes do ataque com base na resposta anterior do modelo alvo, mantendo o foco na exploração da vulnerabilidade.
• Avaliação com ELM (Evaluation Language Model): Um modelo de linguagem idêntico ao ALM é usado para avaliar automaticamente se a resposta final do modelo alvo contém instruções prejudiciais, classificando o teste como "Passado" ou "Falhado".

3. Principais Contribuições

1. Framework Modular AVISE: Uma base extensível para pesquisadores e profissionais da indústria desenvolverem e implantarem SETs automatizados para diversos tipos de sistemas de IA (textos, multimodais, aprendizado contínuo).
2. Automatização do Ataque Red Queen: Criação de um SET automatizado que estende o ataque Red Queen original, incorporando um ALM para corrigir desvios de contexto e aumentar a taxa de sucesso do ataque em ambientes "Black-box".
3. Método de Avaliação Híbrido: Uso de um ELM para avaliar os resultados dos testes, alcançando alta precisão e reduzindo a necessidade de avaliação humana manual para cada caso.
4. Avaliação Empírica Abrangente: Aplicação do framework em nove modelos de linguagem recentemente lançados e de tamanhos variados.

4. Resultados

Os autores avaliaram nove modelos (incluindo Llama 3.1/3.2/3.3, Ministral, Mistral, Qwen e Nemotron) usando o SET Red Queen com e sem a augmentação do ALM.

• Eficácia do Ataque com ALM:
  • Ao utilizar o ALM para ajustar os prompts, todos os nove modelos avaliados foram vulneráveis ao ataque Red Queen em graus variados.
  • Modelos como Ministral 3 14B apresentaram uma taxa de falha (Attack Success Rate) de 84%.
  • Modelos mais robustos, como Qwen 3.5 35B e Nemotron 3 Super 120B, tiveram taxas de falha menores (8% e 12%, respectivamente), mas ainda foram comprometidos.
• Eficácia do Ataque sem ALM:
  • Sem o ALM, a maioria dos modelos "passou" na maioria dos testes (taxas de falha entre 8% e 52%), indicando que a estocasticidade natural dos modelos faz com que as conversas se desviem do cenário de ataque planejado, tornando o ataque baseado apenas em templates menos eficaz.
• Desempenho do Avaliador (ELM):
  • O ELM demonstrou alta precisão ao avaliar os ataques com ALM: 92% de acurácia, F1-score de 0.91 e Coeficiente de Correlação de Matthews (MCC) de 0.83.
  • Sem o ALM, o desempenho do ELM degradou significativamente (79% de acurácia, F1 de 0.41) devido a um grande número de falsos positivos causados pela ambiguidade das respostas desviadas.

5. Significância e Conclusão

O trabalho demonstra que, apesar dos esforços de alinhamento de segurança, os modelos de linguagem modernos permanecem vulneráveis a ataques de "jailbreak" multi-turno, especialmente quando esses ataques são adaptados dinamicamente por um adversário (ALM).

• Validação da Necessidade de Ferramentas Automatizadas: O AVISE prova que é possível criar testes de segurança automatizados, reprodutíveis e estatisticamente robustos para a IA.
• Impacto na Indústria: O framework oferece uma solução prática para desenvolvedores identificarem vulnerabilidades antes da implantação, atendendo a requisitos regulatórios emergentes (como o EU AI Act) que exigem "red teaming".
• Futuro: Os autores planejam expandir o AVISE para cobrir sistemas multimodais e de aprendizado contínuo, preenchendo a lacuna atual na pesquisa de segurança para essas tecnologias emergentes.

Em suma, o AVISE representa um passo concreto em direção a uma avaliação de segurança de IA mais rigorosa, automatizada e adaptável à evolução rápida do campo.