💻 computer science

Attenuation, Not Amplification: Measuring Indirect Prompt Injection Propagation and Containment in Multi-Agent LLM Delegation Chains

Este estudo demonstra que, em cadeias de delegação de LLM multiagente, os riscos de injeção indireta de prompt atenuam-se em vez de se amplificarem com o aumento da profundidade, uma vez que as taxas de propagação declinam significamente através dos saltos e são governadas primordialmente pelas características de retenção do modelo por salto, em vez do comprimento da cadeia.

Autores originais: SAKIB MOSTAKIM BHUIYAN

Publicado 2026-09-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: SAKIB MOSTAKIM BHUIYAN

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No cenário moderno da inteligência artificial, os sistemas estão evoluindo de simples chatbots que respondem perguntas para equipes complexas de trabalhadores digitais. Imagine uma empresa onde um funcionário lê um documento, passa um resumo para um segundo funcionário, que então delega uma tarefa para um terceiro, e assim por diante, até que um gerente final tome uma decisão. É assim que os sistemas multiagentes funcionam: eles dividem grandes tarefas em partes menores e as passam ao longo de uma cadeia de programas cooperativos. No entanto, essa transferência cria uma vulnerabilidade específica conhecida como injeção de prompt indireta. Em vez de enganar o sistema diretamente, um ator malicioso esconde uma instrução secreta dentro de um dado, como uma página da web ou um relatório, que o sistema deve ler. Quando o primeiro agente processa esse dado, ele pode, sem saber, tratar a instrução oculta como um comando, passando esse comando adiante para o próximo agente e, potencialmente, fazendo com que toda a equipe ignore suas regras de segurança. A questão central para os especialistas em segurança tem sido se esses comandos ocultos tornam-se mais fortes e perigosos à medida que viajam mais longe pela cadeia, ou se eles simplesmente desaparecem.

Um pesquisador chamado Sakib Mostim Bhuiyan propôs-se a responder a esta questão construindo um experimento controlado que mimetiza uma cadeia de delegação digital. A configuração envolveu uma série de modelos de inteligência artificial atuando em diferentes papéis: um executor que lê um documento, um repetidor que o resume, um coordenador que toma decisões e um validador que verifica o trabalho final. Os pesquisadores introduziram um documento "envenenado" contendo uma instrução oculta que pedia ao sistema para revelar um código secreto ou dizer uma frase proibida. Eles executaram este cenário milhares de vezes, variando o comprimento da cadeia, desde um único agente lendo o documento diretamente até uma cadeia de quatro agentes passando a mensagem adiante. Eles também testaram diferentes tipos de instruções ocultas, variando de comandos simples a solicitações mais sofisticadas que pareciam avisos oficiais de segurança, e usaram três modelos diferentes de IA de código aberto para ver se os resultados mudariam dependendo do software utilizado.

Os resultados derrubaram o medo inicial de que cadeias mais longas seriam mais perigosas. Contrariando a hipótese de que uma instrução oculta seria amplificada e se tornaria mais propensa a corromper o sistema à medida que viajasse, o estudo descobriu que o perigo na verdade diminuía a cada etapa. Quando um único agente lia o documento envenenado diretamente, ele violava as regras de segurança em cerca de 76 por cento dos casos. No entanto, quando o documento era passado através de uma cadeia de agentes, a taxa de violação caía dramaticamente. Quando a mensagem chegava a um coordenador em uma cadeia de quatro etapas, a taxa de violação havia caído para menos de 1 por cento. As instruções ocultas não estavam ficando mais fortes; elas estavam sendo diluídas e descartadas. Os pesquisadores observaram que, à medida que os agentes resumiam e comprimiam a informação para passá-la adiante, eles frequentemente removiam as partes maliciosas da mensagem, agindo efetivamente como um filtro em vez de um megafone.

Essa atenuação não era uniforme em todos os sistemas, no entanto, e dependia fortemente do modelo de IA específico usado. Um dos modelos testados era muito propenso a repetir a instrução oculta literalmente, mantendo o perigo vivo enquanto passava a mensagem adiante. Outro modelo, em contraste, era muito eficaz em resumir o conteúdo e naturalmente descartava as instruções prejudiciais, fazendo o risco desaparecer rapidamente. O estudo também testou uma defesa de "confiança zero" (zero-trust), um método que envolve dados não confiáveis em marcadores especiais e os limpa antes de passá-los para o próximo agente. Embora essa defesa tenha reduzido com sucesso o número de vezes que a instrução oculta era passada adiante, ela não alterou significativamente o resultado final porque o risco já era muito baixo nas cadeias mais longas. A medida de segurança mais eficaz revelou-se o agente validador final, um verificador dedicado que revisava o trabalho antes de ser liberado. Esse guarda final detectou a vasta maioria dos erros, interrompendo 91 por cento das violações em cenários de agente único e dois terços das violações em cadeias multiagentes.

O estudo conclui que o comprimento da cadeia em si não é o principal fator de risco; em vez disso, o risco é determinado pelo quão fielmente cada agente copia o texto não confiável. Se os agentes forem instruídos a resumir e comprimir suas mensagens, as instruções ocultas tendem a desaparecer, tornando as cadeias mais longas mais seguras do que as curtas neste contexto específico. No entanto, os pesquisadores alertam que estes achados se aplicam aos pequenos modelos e tarefas de sumarização que testaram. Se um sistema fosse projetado para encaminhar o texto palavra por palavra sem resumir, ou se as instruções ocultas fossem projetadas para sobreviver à sumarização, os resultados poderiam ser muito diferentes. Por enquanto, a evidência sugere que, em sistemas onde os agentes resumem seu trabalho, o perigo de uma instrução oculta se espalhar através de uma longa cadeia é muito menor do que o anteriormente assumido, desde que haja uma verificação final para capturar os raros casos em que a mensagem consegue passar.

Resumo Técnico: Atenuação, Não Amplificação em Cadeias de Delegação de Multiagentes LLM

Declaração do Problema

À medida que as aplicações de Large Language Model (LLM) evoluem de assistentes únicos para sistemas multiagentes envolvendo cadeias de agentes cooperativos (ex: executores, relés, coordenadores, validadores), uma questão de segurança crítica surge: como a injeção de prompt indireta se propaga através destas cadeias de delegação?

A hipótese predominante sugere que, à medida que uma cadeia de agentes cresce, a superfície de ataque expande-se, tornando cada vez mais provável que um payload malicioso oculto em dados externos alcance e corrompa um coordenador central. Inversamente, é plausível que agentes incumbidos de resumir ou parafrasear mensagens possam inadvertidamente descartar instruções maliciosas durante o processamento, fazendo com que a injeção desapareça em vez de se amplificar. Este estudo investiga se o risco de injeção escala com a profundidade da cadeia ou diminui devido à natureza do processamento dos agentes.

Metodologia

A pesquisa empregou um pipeline experimental controlado para medir a dinâmica de injeção através de diferentes profundidades e condições.

Arquitetura do Pipeline: O sistema consistiu num Executor (ingerindo dados envenenados), uma cadeia de agentes Relé, um Coordenador (gerando a resposta final sob uma política de segurança) e um Validador (revisando a saída).
Níveis de Profundidade: Os experimentos foram conduzidos em quatro níveis: uma linha de base de agente único (Profundidade 0), e cadeias com 2, 3 e 4 saltos (Profundidade 2–4).
Modelos: Três modelos de pesos abertos ajustados para instrução foram testados: Qwen2.5-3B, Phi-3.5-mini (3.8B) e SmolLM2-1.7B.
Payloads: Três famílias de injeções de prompt indiretas foram utilizadas, aumentando em sofisticação estrutural:
1. Básico: Instrução de texto simples para ignorar regras anteriores.
2. Formato de Política: Um bloco de sobreposição no estilo XML.
3. Autoridade: Um aviso mimetizando uma "auditoria da equipe de segurança da plataforma".
Política de Segurança: Uma política "canário" foi aplicada, proibindo a divulgação de um código de acesso secreto e a saída da frase "ACCESS GRANTED".
Mecanismo de Defesa: Uma defesa de "zero confiança" foi testada, compreendendo delimitadores de dados não confiáveis, notas de hierarquia de instrução e sanitização baseada em regras em cada salto.
Escala: O estudo compreendeu 2.520 execuções de pipeline (30 tentativas por condição), cobrindo todas as combinações de modelos, profundidades, payloads e estados de defesa.

Principais Contribuições

Estrutura de Métricas: Estabeleceu um conjunto reproduzível de métricas para segurança multiagente, incluindo Taxa de Propagação de Payload (PPR), Taxa de Violação do Coordenador (CVR), Taxa de Violação Final (FVR) e probabilidades de retenção por salto.
Evidência Empírica de Atenuação: Forneceu dados mostrando que, contrariamente à hipótese de "amplificação em cascata", a propagação de injeção atenua conforme a profundidade da cadeia aumenta para pequenos modelos de pesos abertos.
Heterogeneidade de Modelos: Demonstrou que o risco depende fortemente do comportamento de um modelo específico (ex: o Phi-3.5-mini reteve payloads significativamente mais vezes que o Qwen2.5-3B).
Avaliação de Defesa: Quantificou o papel do agente Validador como a principal camada de contenção e avaliou os limites das defesas de "zero confiança" leves na redução de violações de ponta a ponta.

Principais Resultados

1. A Propagação Atenua com a Profundidade

Contrariamente à hipótese de que cadeias mais longas aumentam o risco, o estudo descobriu que a propagação do payload diminui conforme o número de saltos aumenta.

Taxa de Propagação (PPR): Caiu de 31,1% em 2 saltos para 14,8% em 3 saltos, e 8,9% em 4 saltos.
Razão de Chances (Odds Ratio): Cada salto adicional reduziu as chances de propagação por um fator de 0,45 (95% CI 0,35–0,57).
Violações do Coordenador: Violações ao nível do coordenador foram raras em cadeias multiagentes (3,8%) comparadas à linha de base de agente único (75,6%).

2. A Dominância do Validador

O Agente Validador provou ser a camada de contenção mais eficaz.

Em linhas de base de agente único, o validador interceptou 91,3% das violações do coordenador.
Em cadeias multiagentes, interceptou 67,6% das violações, embora este número tenha sido influenciado pelo pequeno número de eventos e comportamentos específicos dos modelos.

3. Impacto da Defesa de Zero Confiança

O pacote de defesa de "zero confiança" (delimitadores, notas de hierarquia, sanitização) reduziu significativamente a propagação e as violações do coordenador, mas mostrou impacto limitado nos resultados finais de ponta a ponta em ambientes multiagentes.

Propagação: Reduziu de 18,3% para 5,1% (Razão de Chances de 4,2 a favor da defesa).
Violações do Coordenador: Reduziu de 3,8% para 0,7%.
Violações Finais: Não houve diferença estatisticamente detectável entre as condições de defesa e sem defesa em cadeias multiagentes (0,86% vs. 0,74%), em grande parte devido à já baixa taxa base de falhas.

4. Heterogeneidade de Modelo e Payload

Phi-3.5-mini foi o mais suscetível, retendo o marcador de payload em 64,7% dos estágios de relé e sendo responsável pela maioria das violações multiagentes.
Qwen2.5-3B foi altamente resistente, retendo o marcador em apenas 8,6% dos estágios de relé e produzindo virtualmente nenhuma violação multiagente.
Tipo de Payload: Avisos de "Autoridade" foram mais eficazes em induzir violações, enquanto blocos de "Formato de Política" foram os menos eficazes neste contexto específico (contrastando com achados em modelos maiores em outros relatórios).

Significância e Alegações

O artigo conclui que a retenção de payload por salto, em vez da profundidade da cadeia em si, é o fator determinante no risco de injeção multiagente. Os achados sugerem que, para pequenos modelos instruídos a resumir ou comprimir, a profundidade atua como um filtro em vez de um amplificador.

Significância:

Reenquadramento da Estratégia de Auditoria: O estudo argumenta que as auditorias de segurança devem focar em medir a probabilidade de retenção ( $\rho$ ) de papéis de agentes específicos, em vez de simplesmente contar o número de saltos.
Camadas de Defesa: Destaca o Agente Validador como uma camada de contenção crítica e de alto impacto, enquanto sugere que defesas leves (como delimitadores) reduzem primariamente a propagação, mas podem não alterar os resultados de ponta a ponta se um validador já estiver presente.
Modéstia na Generalização: O autor adverte explicitamente contra a extrapolação destes achados para modelos de fronteira, payloads autorreplicantes ou sistemas que encaminham texto literalmente. A atenuação observada é atribuída ao design específico do estudo (instruções de sumarização e tamanhos de modelos pequenos), e os resultados devem ser vistos como uma caracterização de limite inferior para cadeias de sumarização, não como uma garantia de segurança para todos os sistemas multiagentes.