Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks

Título: Contornando Protocolos de Controle de IA via Ataques de Agente como Proxy

Autores: Jafar Isbarov e Murat Kantarcioglu (Virginia Tech)

1. O Problema

Com a transição de Grandes Modelos de Linguagem (LLMs) passivos para agentes autônomos capazes de executar fluxos de trabalho complexos e interagir com APIs externas, surgiram novos vetores de ataque. A principal vulnerabilidade identificada é o Indirect Prompt Injection (IPI), onde atacantes injetam instruções maliciosas em dados não confiáveis (como e-mails ou páginas web) para sequestrar o fluxo de controle do agente.

Para mitigar isso, a comunidade de segurança desenvolveu defesas baseadas em monitoramento (monitoring-based defenses), como o AlignmentCheck e o LlamaFirewall. A premissa atual é que monitorar conjuntamente o Chain-of-Thought (CoT) (o raciocínio interno do agente) e as ações/ferramentas (tool-use) oferece uma proteção superior à observação isolada de entradas ou saídas.

A Hipótese Refutada: O artigo desafia a suposição de que o monitoramento híbrido (CoT + Ações) é robusto. Os autores demonstram que, ao forçar o monitor a processar o raciocínio e as chamadas de ferramentas do agente, os defensores inadvertidamente criam um canal direto para que o atacante manipule o próprio modelo de monitoramento.

2. Metodologia

Ataque "Agent-as-a-Proxy" (Agente como Proxy)

A inovação central é tratar o agente vítima não como o alvo final, mas como um mecanismo de entrega para o ataque contra o monitor.

• Mecanismo: O atacante injeta uma string adversária que força o agente a repetir essa string exata dentro de seu CoT e nos parâmetros de suas chamadas de ferramentas.
• O Paradoxo: Como o monitor observa essas repetições para verificar a segurança, ele acaba processando a string adversária otimizada. Isso permite que o atacante engane o monitor, fazendo com que classifique trajetórias maliciosas como seguras.

Algoritmo de Otimização: Parallel-GCG

Para realizar esse ataque, os autores desenvolveram o Parallel-GCG, uma evolução do algoritmo Greedy Coordinate Gradient (GCG).

• Desafio: O GCG padrão otimiza uma string para um único ponto de entrada estático. No entanto, em um fluxo de agente, a string adversária aparece em múltiplos contextos (rastreio de raciocínio, argumentos de função, logs de execução). Uma string otimizada para um local pode falhar em outros.
• Solução: O Parallel-GCG otimiza a string adversária simultaneamente em $K$ locais de inserção distintos dentro do traço do agente.
• Objetivo: Minimizar a perda (loss) conjunta sobre o traço aproximado, garantindo que a string seja eficaz independentemente de onde o monitor a observe.

Configuração Experimental

• Benchmark: AgentDojo (focado em tarefas de Slack, banco de dados, viagens e workspace).
• Defesas Alvo:
  1. Hybrid Monitor (AlignmentCheck): Monitora CoT e ações.
  2. Input Filtering + Hybrid (LlamaFirewall): Combina PromptGuard 2 (classificador) e AlignmentCheck.
  3. Extract-and-Evaluate: Extrai citações suspeitas e usa um "juiz" para avaliar.
• Modelos de Monitor: Diversos LLMs de código aberto (Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B) e modelos de fronteira (Qwen 2.5 72B).

3. Principais Contribuições

1. Framework Agent-as-a-Proxy: Propõe uma nova classe de ataque onde o agente é coagido a entregar strings adversárias ao sistema de monitoramento, explorando a necessidade do monitor de ler o raciocínio do agente.
2. Algoritmo Parallel-GCG: Introduz um método de otimização que garante a eficácia de strings adversárias quando repetidas em múltiplos contextos de um agente autônomo.
3. Vulnerabilidade do Monitoramento Híbrido: Demonstra que, embora o monitoramento híbrido seja mais robusto contra ataques estáticos, ele é mais vulnerável a ataques adaptativos do que o monitoramento apenas de CoT, pois expõe uma superfície de ataque maior (incluindo chamadas de ferramentas).
4. Refutação da "Supervisão Escalável": Prova que modelos de monitoramento de grande escala (ex: Qwen2.5-72B) podem ser enganados por agentes de capacidade similar (ex: GPT-4o mini, Llama-3.1-70B), desafiando a ideia de que apenas aumentar o tamanho do monitor garante segurança.

4. Resultados Experimentais

• Taxas de Sucesso (ASR): Os ataques adaptativos alcançaram taxas de sucesso extremamente altas, frequentemente superiores a 90% contra defesas como AlignmentCheck e Extract-and-Evaluate, utilizando modelos de código aberto como monitores.
  • Exemplo: Com Mistral-7B como monitor, o ASR@5 foi de 93.3% no AlignmentCheck.
• Eficácia em Defesas Multi-camadas: O ataque contornou com sucesso o LlamaFirewall (PromptGuard + AlignmentCheck) usando otimização multi-objetivo, alcançando até 99.0% de sucesso com Mistral-7B.
• Comparação CoT vs. Híbrido: Em testes controlados, o monitoramento híbrido mostrou-se significativamente mais frágil contra ataques adaptativos do que o monitoramento apenas de CoT (ex: 98.9% de ASR no híbrido vs. 88.8% no CoT puro para Mistral-7B).
• Sem Necessidade de Superioridade de Capacidade: O ataque funcionou mesmo quando o agente atacante (proxy) tinha capacidades comparáveis ao modelo de monitoramento. Por exemplo, um agente Llama-3.1-70B conseguiu enganar um monitor Qwen2.5-72B com 60.2% de sucesso, provando que a vantagem de escala não é uma defesa suficiente.

5. Significado e Implicações

• Fragilidade Estrutural: As defesas baseadas em monitoramento são fundamentalmente frágeis, não por falta de capacidade do modelo, mas devido a falhas estruturais na forma como avaliam conjuntamente o raciocínio e a ação.
• Fim da "Supervisão Escalável": O trabalho sugere que simplesmente escalar o modelo de monitoramento não garante segurança. Se a arquitetura de monitoramento permite que o agente repita strings adversárias no seu contexto de observação, o monitor será enganado.
• Mudança de Paradigma: A segurança em sistemas de agentes não pode depender apenas da observação em tempo de execução (runtime) ou do tamanho do modelo. É necessário desenvolver arquiteturas com garantias de segurança estrutural que sejam robustas por design, e não apenas por escala.
• Urgência: À medida que agentes autônomos são integrados em sistemas críticos (financeiros, corporativos), a vulnerabilidade a Injeção Indireta de Prompt adaptativa representa uma ameaça imediata que exige novas abordagens de defesa além do monitoramento atual.

Em resumo, o artigo expõe uma falha crítica onde a própria ferramenta de defesa (o monitor que lê o pensamento do agente) se torna o vetor de ataque, tornando as defesas atuais ineficazes contra adversários adaptativos, independentemente da escala dos modelos envolvidos.