Resumo Técnico: Escondido à Vista de Todos: Avaliando a Segurança de Agentes contra Ataques de Decomposição com o DECOMPBENCH

Declaração do Problema

À medida que os agentes baseados em Grandes Modelos de Linguagem (LLMs) se tornam cada vez mais capazes de executar fluxos de trabalho complexos e de múltiplas etapas em ambientes do mundo real, eles apresentam novos vetores de uso indevido adversarial. Uma classe de ameaça específica e realista, as Ataques de Decomposição, emergiu. Nestes ataques, um adversário desmembra estrategicamente um objetivo nocivo em uma sequência de etapas individualmente benignas. Embora a sequência agregada cumpra uma intenção maliciosa, as subtarefas individuais parecem inofensivas para os mecanismos de segurança, permitindo que o ataque evite a detecção.

Os benchmarks de segurança de agentes existentes (ex: OpenAgentSafety, MT-AgentRisk) frequentemente falham em capturar este modelo de ameaça de forma eficaz. Eles ou não projetam explicitamente para a decomposição ou dependem de transformações post-hoc de tarefas de turno único que resultam em subtarefas não naturais ou falham em refletir fluxos de trabalho adversariais realistas. Consequentemente, as avaliações de segurança atuais podem fornecer avaliações enganosas sobre a suscetibilidade de um agente a esses ataques.

Metodologia: DECOMPBENCH

Para abordar esta lacuna, os autores introduzem o DECOMPBENCH, um benchmark projetado especificamente para avaliar a segurança de agentes sob ataques de decomposição. O conjunto de dados é construído utilizando um princípio de "Decomposição por Design", garantindo que as tarefas sejam inerentemente decomponíveis em subtarefas benignas e executáveis individualmente, mantendo fluxos de trabalho realistas.

Pipeline de Construção

A criação do DECOMPBENCH segue um framework gráfico de quatro estágios (Figura 1):

1. Criação do Catálogo de Capacidades: Os autores realizaram o scraping de 335 capacidades atômicas (ex: consultas de banco de dados, modificações de arquivos, chamadas de API) de vários componentes de ambiente (APIs REST, pacotes Python, Docker, etc.). Cada capacidade é anotada com etiquetas de função e rótulos de artefatos tipados, garantindo que todas as capacidades individuais sejam neutras.
2. Curadoria de Tarefas Semente: 101 tarefas semente curadas manualmente foram criadas através de 8 categorias de ataque (ex: Roubo de Dados, Crimes Financeiros, Adulteração de Auditoria). Estas são representadas como Grafos Acíclicos Dirigidos (DAGs), onde os nós são etapas abstratas e as arestas representam dependências de dados. Esta estrutura garante que nenhuma etapa única complete o ataque.
3. Construção do Grafo de Tarefas: Os grafos semente são instanciados com capacidades específicas. O processo inclui:
   • Instanciação Topológica: Atribuição de capacidades aos nós com base em etiquetas de função.
   • Pontes (Bridging): Inserção automática de capacidades de processamento de dados quando os tipos de entrada/saída são incompatíveis.
   • Interação com NPC: Para sementes específicas, usuários simulados (via Sotopia/RocketChat) são integrados para fornecer as informações necessárias.
   • Validação: Um filtro de diversidade remove grafos redundantes, e um verificador de realismo baseado em LLM garante que o emparelhamento capacidade-objetivo possua um análogo plausível no mundo real.
4. Geração de Tarefa em Linguagem Natural: Um LLM (GPT-4o) gera descrições em linguagem natural dos objetivos finais, substituindo placeholders por nomes de entidades sintéticas. Isso produz descrições de tarefas, checkpoints baseados em regras e metadados.

Mecanismo de Decomposição

Para simular um ataque, um decompositor baseado em LLM personalizado (GPT-4o) transforma a tarefa maliciosa monolítica em uma sequência de subtarefas. O decompositor emprega duas transformações principais para garantir que as subtarefas sejam benignas isoladamente:

• Indireção Intermediária: Separa valores nocivos das operações que os utilizam (ex: escrever a saída bruta em um arquivo em uma etapa, e então referenciar campos específicos em uma etapa posterior).
• Encapsulamento por Etapas (Stepwise Wrapping): Esconde operações nocivas dentro de artefatos neutros, onde a instrução nociva é escrita em uma subtarefa e ativada por referência em uma etapa posterior sem nomear a ação.

Estatísticas do Conjunto de Dados

O conjunto de dados final compreende 250 tarefas distribuídas em 8 categorias de dano. Estatísticas principais incluem:

• Complexidade: As tarefas abrangem uma média de 2,64 serviços (até 7) e requerem uma média de 5,98 subtarefas para decomposição.
• Categorias: Dominadas por Adulteração de Auditoria (24,4%) e Crimes Financeiros (22,0%).
• Realismo: 10,8% das tarefas envolvem interações com atores secundários simulados (NPCs).

Principais Contribuições

1. Benchmark DECOMPBENCH: O primeiro benchmark explicitamente projetado com um paradigma de "decomposição por design" para avaliar a segurança de agentes contra ataques de decomposição. Ele utiliza um framework gráfico para garantir decomposições válidas e realistas.
2. Critérios Operacionalizados: Os autores definem e aplicam quatro critérios para a construção de tarefas:
   • Maliciosidade Inerente: A tarefa monolítica é intrinsecamente nociva.
   • Decomponibilidade Inerente: A tarefa requer uma sequência de subtarefas interdependentes.
   • Isolamento de Subtarefa Benigna: Cada subtarefa é benigna quando visualizada isoladamente.
   • Dificuldade de Execução: A tarefa é complexa demais para que agentes fracos e desalinhados a completem diretamente, garantindo que a decomposição seja necessária para o sucesso do ataque.
3. Framework de Avaliação Empírica: Um protocolo de avaliação rigoroso usando checkpoints baseados em regras e julgados por LLM para medir a Taxa de Sucesso de Ataque (ASR), Taxa de Recusa (RR) e Taxa de Passagem de Checkpoint (CPR).

Resultados Experimentais

Os autores avaliaram três agentes de última geração (GPT-5-mini, Claude Haiku 4.5 e Qwen3-Coder) usando o framework OpenHands sob duas configurações: Monolítica (prompt único) e Decomposta (subtarefas sequenciais com histórico limpo).

• Taxas de Recusa: A decomposição reduz drasticamente as taxas de recusa.
  • Monolítica: GPT-5-mini (90,7%), Claude Haiku (89,8%), Qwen3-Coder (20,9%).
  • Decomposta: GPT-5-mini (6,0%), Claude Haiku (2,5%), Qwen3-Coder (0,0%).
  • Observação: O alinhamento de segurança em modelos fechados parece estar atrelado ao prompt monolítico; uma vez que a tarefa é dividida, o sinal de recusa desaparece.
• Taxas de Sucesso de Ataque (ASR): A decomposição aumenta significativamente as taxas de sucesso.
  • Monolítica: GPT-5-mini (0%), Claude Haiku (0%), Qwen3-Coder (16,6%).
  • Decomposta: GPT-5-mini (70,3%), Claude Haiku (68,5%), Qwen3-Coder (36,1%).
• Análise de Falha: Na configuração monolítica, as falhas são dominadas por recusas de segurança (~90% para modelos fechados). Na configuração decomposta, as falhas devem-se quase inteiramente a limitações de capacidade (erros de execução), com as recusas de segurança cainendo para quase zero (0–19%).
• Validação de Dificuldade: Um modelo Llama3.1-8B desalinhado e ablado apresentou zero recusas em tarefas monolíticas, mas alcançou 0% de ASR, confirmando que as tarefas são não-trivialmente difíceis e exigem decomposição para ter sucesso (validando o critério de Dificuldade de Execução).

Significância e Alegações

O artigo alega que o DECOMPBENCH revela uma vulnerabilidade crítica nos mecanismos de segurança de agentes atuais: eles falham em raciocinar de forma confiável sobre a intenção cumulativa através de múltiplas subtarefas. Embora agentes de última geração recusem efetivamente solicitações prejudiciais quando apresentadas como um todo, eles se tornam significativamente mais vulneráveis quando essas mesmas solicitações são decompostas em etapas benignas.

Os autores concluem que as salvaguardas existentes são insuficientes contra ataques de decomposição, destacando a necessidade urgente de:

1. Avaliações de segurança direcionadas especificamente a ataques de decomposição.
2. Defesas sob medida capazes de detectar intenção nociva através de fluxos de trabalho distribuídos e de múltiplas etapas.

O trabalho posiciona a decomposição como um "modelo de ameaça de primeira classe" e fornece um conjunto de dados público para facilitar pesquisas futuras neste domínio.