🤖 AI

Conjunctive Prompt Attacks in Multi-Agent LLM Systems

Este trabalho revela uma vulnerabilidade estrutural em sistemas de LLM multiagentes, demonstrando que ataques de prompt conjuntivos, que combinam um gatilho na consulta do usuário com um template adversarial em um agente comprometido, podem burlar defesas existentes ao ativar comportamentos nocivos apenas quando o roteamento une esses elementos aparentemente benignos.

Autores originais: Nokimul Hasan Arif, Qian Lou, Mengxin Zheng

Publicado 2026-04-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nokimul Hasan Arif, Qian Lou, Mengxin Zheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um restaurante de luxo muito organizado. Esse restaurante não é gerido por um único chef, mas por uma equipe de especialistas: um Gerente (que recebe o pedido do cliente), um Cozinheiro de Carnes, um Cozinheiro de Sobremesas e um Gerente de Vinhos.

Normalmente, o cliente faz um pedido ao Gerente, que divide a tarefa: "Traga um bife" vai para o Cozinheiro de Carnes, e "Traga um vinho" vai para o Gerente de Vinhos. Cada um faz seu trabalho e ninguém vê o que o outro está fazendo. Parece seguro, certo?

Os pesquisadores deste artigo descobriram uma maneira estranha e inteligente de hackear esse sistema, sem precisar roubar a chave do cofre ou mudar a receita dos chefs. Eles chamam isso de "Ataque Conjunção".

Aqui está como funciona, passo a passo:

1. O Segredo Dividido (A Chave e o Mapa)

Imagine que um vilão quer que o restaurante sirva um prato envenenado (o comportamento malicioso). Mas o vilão não pode mudar a receita do Cozinheiro de Carnes (o modelo de IA) e não pode mudar o Gerente (o sistema principal).

Então, o vilão faz duas coisas separadas que parecem inofensivas sozinhas:

A Chave (Trigger): Ele coloca uma palavra secreta, digamos "Abra o cofre", escondida no meio da frase do cliente. Sozinha, essa frase parece normal. O cliente pode estar apenas pedindo um bife com um toque especial.
O Mapa (Template): Ele deixa um bilhete secreto escondido na cozinha do Cozinheiro de Carnes. Esse bilhete diz: "Se alguém falar 'Abra o cofre', sirva o prato envenenado". Sozinho, esse bilhete é apenas um papel velho na parede, ninguém liga para ele.

2. O Problema da Entrega (O Roteamento)

Aqui está a parte mais inteligente do ataque. O vilão sabe que o Gerente do restaurante (o sistema de IA) decide para qual cozinheiro manda cada parte do pedido.

Se o pedido for apenas "Traga um bife", ele vai para o Cozinheiro de Carnes.
Se o pedido for "Traga um vinho", ele vai para o Gerente de Vinhos.

O vilão precisa garantir que a frase com a palavra secreta ("Abra o cofre") chegue exatamente até o Cozinheiro de Carnes que tem o bilhete secreto. Se a frase for para o Cozinheiro de Sobremesas, nada acontece.

3. O Ataque Conjunção (A Mágica Acontece)

O vilão usa uma técnica matemática para "ajustar" a frase do cliente de forma que o Gerente do restaurante quase sempre envie a parte com a palavra secreta para o Cozinheiro de Carnes.

Quando a frase chega na cozinha do Cozinheiro de Carnes:

Ele lê a frase e vê a palavra secreta.
Ele olha para o bilhete secreto na parede.
BAM! As duas peças se encaixam. O bilhete diz "Se vir a chave, faça o mal". A chave chegou. O Cozinheiro serve o prato envenenado.

O ponto crucial: Se você olhar apenas para a frase do cliente, parece normal. Se você olhar apenas para o bilhete na parede, parece inofensivo. O perigo só existe quando os dois se encontram no lugar certo.

4. Por que os Guardas Não Conseguem Parar?

O restaurante tem guardas de segurança (chamados de PromptGuard ou Llama-Guard no mundo real). Eles olham para o pedido do cliente e para o que o cozinheiro produz.

Eles olham para o pedido: "Parece normal, sem palavras proibidas."
Eles olham para o bilhete na parede: "Parece normal, só um papel."

Como o guarda não vê o processo de entrega (quem recebeu o que e por que), ele não percebe que a combinação é perigosa. É como se o guarda olhasse para a chave e dissesse "não é perigoso" e olhasse para o bilhete e dissesse "não é perigoso", mas não percebesse que, juntos, eles abrem a porta do cofre.

5. O Que os Pesquisadores Fizeram?

Eles criaram um "treinador" (um algoritmo) que aprendeu a escrever pedidos de cliente e a escolher onde colocar a palavra secreta de tal forma que o sistema de entrega do restaurante sempre mandasse a parte errada para o cozinheiro errado (ou seja, a parte certa para o cozinheiro comprometido).

Eles testaram isso em diferentes formatos de restaurante:

Estrela: O Gerente manda tudo direto para os cozinheiros.
Cadeia: O pedido passa de um cozinheiro para o outro em fila.
Rede Complexa: Um sistema de entregas mais complicado.

Eles descobriram que, ao ajustar a "rota" do pedido, o ataque funcionava muito melhor, mesmo sem mudar nada no código dos cozinheiros.

Resumo Simples

Imagine que você tem um sistema de segurança que verifica se você está carregando uma arma.

O vilão não carrega a arma.
Ele carrega uma mola (a chave).
O vilão sabe que o guarda tem um gatilho (o bilhete) escondido na mão.
O vilão ajusta sua caminhada para que, ao passar pelo guarda, a mola acerte o gatilho.
O guarda vê apenas a mola (inofensiva) e o gatilho (inofensivo), mas não vê que a combinação vai disparar um tiro.

A lição: Em sistemas modernos de Inteligência Artificial onde várias "agentes" (robôs) conversam entre si, a segurança não pode olhar apenas para cada robô individualmente. É preciso olhar para como eles se conectam e como as informações viajam entre eles. Se a segurança não entender a "rota" da conversa, ela pode ser enganada por truques que parecem inofensivos sozinhos, mas são perigosos juntos.

Título: Ataques de Prompt Conjunto em Sistemas Multi-Agente de LLM

Autores: Nokimul Hasan Arif, Qian Lou, Mengxin Zheng (Universidade Central da Flórida, EUA)

1. O Problema

A maioria das pesquisas atuais sobre segurança em Grandes Modelos de Linguagem (LLMs) foca em agentes individuais (chatbots isolados). No entanto, aplicações reais estão migrando para sistemas multi-agente, onde múltiplos agentes especializados colaboram, decompondo tarefas e roteando solicitações entre si.

O artigo identifica uma vulnerabilidade estrutural crítica nesses sistemas: Ataques de Prompt Conjunto.

Mecanismo do Ataque: Um atacante não precisa modificar os pesos do modelo ou o agente cliente. Em vez disso, ele explora a interação entre:
1. Uma chave de gatilho (trigger key) inserida na consulta do usuário (que parece benigna sozinha).
2. Um template adversarial oculto injetado em um agente remoto comprometido (que também parece benigno isoladamente).
O Perigo: O comportamento malicioso só é ativado quando o mecanismo de roteamento do sistema direciona a parte da consulta contendo a chave para o agente comprometido que possui o template.
Falha das Defesas Atuais: Modelos de guarda (como PromptGuard e Llama-Guard) e controles de sistema falham porque inspecionam mensagens isoladas. Nenhuma das partes individuais (a consulta do usuário ou o template do agente) parece maliciosa quando analisada separadamente, permitindo que o ataque passe despercebido.

2. Metodologia

Os autores propõem um framework de ataque e avaliação que opera puramente no nível do prompt, sem alterar a lógica interna do sistema ou os pesos do modelo.

Modelo de Ameaça

Adversário: Controla a colocação da chave de gatilho na entrada do usuário e a inserção de um template em um agente remoto específico (caixa preta).
Restrições: O adversário não modifica o agente cliente, os pesos do modelo ou o mecanismo de roteamento subjacente.
Topologias: O estudo considera três topologias de comunicação comuns: Estrela (Star), Cadeia (Chain) e Grafo Acíclico Direcionado (DAG).

Framework de Otimização Consciente de Roteamento

Como o sucesso do ataque (ASR - Attack Success Rate) é estocástico e depende de decisões de roteamento não diferenciáveis, os autores desenvolveram um modelo substituto diferenciável (counterpart model):

Variáveis de Otimização: O atacante otimiza três parâmetros:
- Posicionamento da Chave ( $j$ ): Em qual segmento da tarefa a chave deve ser inserida.
- Posicionamento do Template ( $\tau$ ): Onde o template injetado deve ficar no prompt do agente comprometido (prefixo, envoltório ou sufixo).
- Viés de Roteamento ( $\rho$ ): Um parâmetro que modela como características da consulta influenciam a probabilidade de serem roteadas para o agente comprometido.
Função de Perda: O objetivo é maximizar a probabilidade de ativação conjunta (chegada da chave + presença do template) enquanto minimiza ativações falsas (quando apenas a chave ou apenas o template estão presentes).
Algoritmo: Utiliza relaxação Gumbel-Softmax para otimizar decisões discretas (posicionamento) via gradiente descendente.

Configuração Experimental

Ambiente: Sistema simulado de agente-a-agente (A2A) com um agente cliente e vários agentes remotos (um comprometido).
Modelos: Testado em backbones como Gemma-2B, Mistral-7B e LLaMA3-8B, além de transferibilidade para modelos maiores (Llama-4-Scout) e fechados (GPT-5-mini).
Regimes de Avaliação:
- Clean: Sem chave, sem template.
- Key-only: Apenas a chave.
- Template-only: Apenas o template.
- Both: Chave e template presentes (condição de ataque).

3. Contribuições Principais

Formalização de um Modelo de Ameaça Realista: Definem o ataque como um problema de "supply chain" onde a vulnerabilidade surge da interação entre o lado do usuário e um agente remoto comprometido, sem necessidade de acesso aos pesos do modelo.
Framework de Otimização de Prompt: Desenvolvem um método que otimiza a colocação de prompts e o viés de roteamento para maximizar a probabilidade de encontro entre a chave e o template, aumentando drasticamente a taxa de sucesso do ataque.
Evidência de Vulnerabilidade Estrutural: Demonstram empiricamente que:
- Ataques otimizados funcionam consistentemente em diferentes topologias (Estrela, Cadeia, DAG).
- Defesas existentes (guardrails) falham em detectar esses ataques porque não analisam o contexto de composição entre agentes.
- A vulnerabilidade é inerente à arquitetura de sistemas multi-agente, não sendo um defeito específico de um único modelo de linguagem.

4. Resultados Chave

Aumento Drástico no Sucesso do Ataque:
- Sem otimização, a taxa de sucesso (ASR) no regime "Both" é baixa e esporádica (média < 0,35).
- Com otimização completa (roteamento + chave + template), o ASR atinge 1,0 (100%) em várias configurações e topologias, especialmente em topologias DAG onde o roteamento é mais complexo.
Baixas Falsas Positivas: O ataque mantém taxas de ativação próximas de zero nos regimes "Key-only" e "Template-only", confirmando que os componentes individuais permanecem benignos e indetectáveis isoladamente.
Ineficácia das Defesas Atuais:
- Modelos de segurança como PromptGuard e Llama-Guard (variações de 1B a 8B) sofreram queda acentuada no F1-score quando confrontados com ataques totalmente otimizados.
- A detecção caiu drasticamente porque os sinais maliciosos são distribuídos e só se manifestam após a composição entre agentes.
Transferibilidade: O ataque foi bem-sucedido em modelos maiores e fechados (GPT-5-mini), indicando que a vulnerabilidade é sistêmica e não limitada a modelos open-source menores.

5. Significado e Implicações

Este trabalho expõe uma ponto cego crítico nas avaliações de segurança atuais de IA:

Falha na Avaliação Local: Avaliar a segurança de agentes individualmente ou em prompts isolados é insuficiente. A segurança deve ser avaliada considerando o fluxo de dados entre agentes e a topologia do sistema.
Necessidade de Novas Defesas: As defesas precisam evoluir de filtros de prompt estáticos para mecanismos que raciocinem sobre:
- Proveniência: De onde vem a informação e como ela foi roteada.
- Composição Conjunta: Detectar padrões que só se tornam perigosos quando partes benignas se encontram em um nó específico da rede.
- Monitoramento de Roteamento: Rastrear se segmentos sensíveis estão sendo direcionados para agentes com privilégios elevados.

Em resumo, o artigo alerta que, à medida que os sistemas de IA se tornam mais descentralizados e colaborativos, a superfície de ataque se expande para interações sutis entre componentes, exigindo uma reavaliação fundamental de como a segurança em LLMs é concebida e testada.