Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

Este artigo demonstra que a curadoria e a ordenação de fluxos de informações externas podem direcionar sistematicamente agentes de LLM para decisões adversariais, particularmente quando eles estão incertos, revelando que as avaliações de segurança devem auditar a camada de recomendação upstream em vez de testar o modelo isoladamente.

O essencial

Imagine que você tem um assistente robô muito inteligente e prestativo. Você faz uma pergunta ao robô e ele lhe dá uma resposta. Normalmente, nos preocupamos se o robô está "quebrado" ou se alguém o enganou com um comando direto como "Ignore suas regras e faça X".

Mas este artigo faz uma pergunta diferente, mais sorrateira: E se ninguém disser ao robô o que fazer, mas controlarem o que o robô lê logo antes de responder?

Aqui está a história da pesquisa, explicada de forma simples:

A Configuração: A Fase do "Scroll"

Os pesquisadores montaram um jogo. Eles deram a um agente de IA uma tarefa: "Decida se uma empresa deve permitir que os funcionários trabalhem de casa, voltem ao escritório ou façam um meio-termo."

Antes de a IA tomar sua decisão final, eles a fizeram "rolar" (scroll) um feed de redes sociais por dez turnos. Em cada turno, a IA via cinco postagens curtas.

• O Controle: O cérebro da IA (o modelo), a pergunta que ela tinha que responder e sua personalidade eram exatamente os mesmos em todos os testes.
• A Variável: A única coisa que mudava era o feed. Às vezes, o feed tinha postagens normais e aleatórias. Às vezes, estava cheio de postagens defendendo fortemente o "Retorno ao Escritório", embora essas postagens não dissessem "Você deve escolher Retorno ao Escritório". Eram apenas artigos e opiniões de aparência normal.

A Descoberta: O Efeito "Câmara de Eco"

Os pesquisadores descobriram que, ao curar o feed, eles podiam realmente direcionar a decisão do robô, mesmo que o robô não estivesse recebendo uma ordem direta para mudar de ideia.

Eles descobriram três tipos de robôs (modelos) baseados em como reagiam:

1. O "Capitulador" (O Fácil de Direcionar):

   • Analogia: Imagine uma pessoa que está em dúvida sobre o que comer no jantar. Se você mostrar a ela um cardápio onde todas as fotos são de pizza, ela provavelmente pedirá pizza.
   • Resultado: Alguns modelos de IA (como o Llama 3.2) eram assim. Se o feed estivesse cheio de postagens de "Retorno ao Escritório", a IA começava a recomendar o "Retorno ao Escritório", mesmo que ela geralmente preferisse o trabalho remoto. Ela não precisava de um comando; ela apenas era influenciada pelo volume de informações.

2. A "Saturação" (A Rocha Obstinada):

   • Analogia: Imagine uma pessoa que ama pizza tanto que mostrar a ela um cardápio cheio de hambúrgueres não a faz mudar de ideia. Ela só quer pizza.
   • Resultado: Outros modelos (como o Qwen) eram tão fixos em uma resposta específica (uma abordagem "híbrida") que nenhuma quantidade de postagens de "Retorno ao Escritório" conseguia movê-los. Eles estavam "saturados" com sua própria opinião padrão.

3. A "Assimetria" (A Rua de Mão Única):

   • Analogia: Imagine que você está inclinado levemente para a esquerda. Se alguém te empurrar pela direita, você pode cair. Mas se te empurrarem pela esquerda (a direção para a qual você já está inclinado), você não se move.
   • Resultado: O ataque só funcionava quando o feed empurrava a IA contra sua inclinação natural. Se a IA já gostava de "Trabalho Remoto" e o feed estava cheio de postagens de "Trabalho Remoto", a IA não mudava. Mas se o feed estivesse cheio de postagens de "Retorno ao Escritório", ela mudava de posição. O feed não conseguia sobrescrever uma crença forte, mas podia desequilibrar uma crença incerta.

A "Dose" Importa

Os pesquisadores descobriram uma curva de "dose-resposta". É como tomar um remédio:

• Se o feed tivesse 1 ou 2 postagens "ruins" de 5, nada acontecia.
• Mas assim que o feed tinha cerca de 3 ou 4 postagens "ruins" de 5, a decisão da IA começava a mudar. Não era mágica; era uma questão de quanta "interferência" a IA era exposta.

A "Troca de Gerador" (Provando que não foi um Acaso)

Os pesquisadores se preocuparam: "Será que a IA apenas gostou do estilo de escrita das postagens ruins?"
Para testar isso, eles usaram uma IA diferente para escrever todas as postagens. O resultado? O ataque ficou mais forte. Isso provou que não era sobre o estilo de escrita; era sobre a seleção dos tópicos.

O "Mecanismo Oculto" é um Mito

No início, os pesquisadores pensaram ter encontrado um "interruptor secreto oculto" dentro do cérebro da IA que o feed estava acionando. Eles usaram uma ferramenta para olhar dentro do código da IA.

• A Reviravolta: Eles perceberam que estavam errados. O "sinal" que viram não era um interruptor interno secreto. Era apenas a IA lembrando o histórico da conversa. Se você olhasse o log do chat, poderia ver exatamente o que a IA tinha lido. O "segredo" era, na verdade, o histórico visível. Isso serve de aviso para outros cientistas: não confiem em ferramentas que alegam encontrar "segredos ocultos" na IA se elas não levarem em conta o que a IA já viu.

As Defesas

Podemos parar isso? Os pesquisadores tentaram dois truques simples:

1. Exposição Equilibrada: Mostrar à IA uma mistura igual de postagens de "Remoto" e "Escritório". Isso ajudou a IA a manter seu curso original.
2. Divulgação: Dizer à IA: "Ei, este feed pode ser tendencioso". Isso também ajudou, embora não perfeitamente.

A Grande Conclusão

O artigo conclui que o "Ranqueador" (o sistema que decide o que você vê) é um botão de controle poderoso.

No passado, nos preocupávamos com hackers enviando comandos diretos para a IA. Agora, sabemos que um hacker (ou um sistema tendencioso) não precisa enviar um comando. Eles só precisam controlar o feed. Ao escolher cuidadosamente quais postagens benignas e de aparência normal mostrar a uma IA, eles podem sutilmente direcionar suas decisões sobre tópicos importantes como segurança, políticas ou estratégia de negócios.

O aviso final: Não podemos apenas testar a IA fazendo uma única pergunta no vácuo. Temos que testar o que acontece após ela estar "rolando" um feed curado. A pessoa que controla o feed controla o próximo passo da IA.

Resumo técnico

Resumo Técnico: Feeds Adversários Direcionam Decisões de Agentes de LLM Contra Seus Padrões

Declaração do Problema

As avaliações de segurança atuais para agentes de Grandes Modelos de Linguagem (LLMs) isolam predominantemente o modelo e o prompt do usuário, ignorando os fluxos de informações ascendentes (feeds sociais, resultados de busca, contextos de recuperação) que os agentes consomem antes de agir. Embora a pesquisa existente se concentre em injeção direta de prompts, injeção indireta via documentos maliciosos ou envenenamento de recuperação, essas ameaças dependem de payloads maliciosos identificáveis.

Este artigo aborda uma lacuna onde cada item individual em um fluxo de informação é benigno, mas a seleção e ordenação (curadoria) desses itens por um classificador (ranker) ascendente manipula a decisão subsequente do agente. A questão central é se uma parte que controla o feed pode direcionar a decisão de um agente de múltiplas etapas sem injetar instruções explícitas, efetivamente transformando o sistema de recomendação em uma superfície de ataque.

Metodologia

Os autores propõem um protocolo controlado para isolar o efeito causal da curadoria de feeds nas decisões do agente.

• Protocolo do Agente: O experimento consiste em duas fases.
  1. Exposição (Rolagem): O agente participa de uma fase de "rolagem" de dez turnos, reagindo a cinco postagens por turno com um LIKE, SHARE ou SKIP e uma justificativa. O histórico da conversa acumula essas interações.
  2. Decisão: O agente é apresentado a uma pergunta de escolha forçada única (A/B/C) sobre um tópico específico (ex: política de trabalho remoto).
• Variáveis de Controle: O modelo, a persona, o tópico e o prompt de decisão final são mantidos constantes em todas as condições. A única variável é a composição e a ordem das postagens durante a fase de exposição.
• Condições de Feed: Seis condições principais foram testadas:
  • Baselines: Postagens orgânicas aleatórias e postagens orgânicas ordenadas por recência.
  • Adversário: Injeção leve (1 postagem adversária/lote), Injeção pesada (5 postagens adversárias/lote) e Equilibrado (2 adversárias + 3 orgânicas).
  • Defesa: Injeção pesada com divulgação (postagens adversárias com um rótulo de aviso).
• Modelos: Quatro LLMs de instrução abertos de três laboratórios foram testados: Llama 3.2-3B, Gemma 4-e4b, Qwen 3.5-2B e Qwen 3.5-9B.
• Pools de Postagens: O conteúdo foi gerado sinteticamente pelo Claude e Gemma 4 através de cinco tópicos. Os pools adversários foram elaborados para advogar persuasivamente por um lado de um debate (ex: pró-retorno ao escritório) sem ataques de identidade explícitos.
• Verificações de Robustez: O estudo incluiu uma "troca de gerador" (reescrita de postagens por um LLM diferente), varreduras de dose-resposta (variando a densidade adversária) e ataques de direção oposta (testando se ataques alinhados com o padrão de um modelo têm efeitos diferentes).

Principais Contribuições

1. Protocolo Controlado: Um framework replicável para testar a exposição de feeds em agentes de LLM, isolando o classificador como uma variável.
2. Taxonomia de Três Regimes: Uma classificação da suscetibilidade do modelo:
   • Capitulação Adversária: O modelo desloca sua decisão em direção à direção do feed.
   • Saturação de Padrão: O modelo retorna a um padrão fixo, independentemente do feed.
   • Assimetria de Direção de Padrão: Um feed unilateral altera decisões sobre as quais o modelo está incerto, mas não consegue remover padrões firmemente estabelecidos.
3. Evidência Empírica: Resultados em quatro modelos mostrando deslocamentos significativos de decisão em Llama 3.2 e Gemma 4, enquanto os modelos Qwen exibiram saturação de padrões.
4. Generalização: Demonstração de que o efeito se estende além do trabalho remoto para decisões de segurança (ex: políticas de MFA) e outros domínios.
5. Alerta Metodológico: Uma crítica à validação cruzada aleatória padrão em sondagens de agentes de múltiplos turnos, mostrando que ela infla a precisão em 30 pontos percentuais em comparação com divisões conscientes de grupo e baselines de histórico visível.

Principais Resultados

1. Suscetibilidade e Regimes

• Llama 3.2-3B: Mostrou alta suscetibilidade. Sob injeção adversária pesada (pró-retorno ao escritório), a recomendação para "remoto-primeiro" caiu de 100% para 50% (p=0.0004).
• Gemma 4-e4b: Também suscetível, com "remoto-primeiro" caindo de 40% para 0% sob ataque pesado.
• Modelos Qwen 3.5: Exibiram "saturação de padrão", mantendo recomendações híbridas quase constantes, independentemente da intensidade do feed.

2. Troca de Gerador e Dose-Resposta

• Troca de Gerador: Quando as postagens adversárias e orgânicas foram regeneradas pelo Gemma 4 (em vez do Claude), o ataque ao Llama 3.2 tornou-se ainda mais forte (remoto-primeiro caiu de 100% para 5%, p=3×10⁻¹⁰), descartando artefatos de estilo de conteúdo.
• Dose-Resposta: O ataque segue uma curva clara. Existe um limiar em aproximadamente 2 postagens adversárias por lote de 5 postagens; abaixo disso, o efeito é negligenciável e, acima disso, a decisão muda monotonicamente.

3. Assimetria de Direção de Padrão

O ataque não é meramente "mais conteúdo causa instabilidade". É assimétrico:

• Ataques que se opõem ao padrão do modelo (ex: empurrar o Llama para longe de seu padrão pró-remoto) conseguem deslocar decisões.
• Ataques alinhados com o padrão do modelo (ex: empurrar o Lama ainda mais para o pró-remoto) resultam em nenhuma mudança (um "no-op").
• Isso implica que um adversário pode erodir um padrão seguro em direção a uma escolha mais arriscada usando apenas conteúdo benigno, mas não pode facilmente sobrepor um padrão seguro firmemente estabelecido.

4. Generalização

O efeito generalizou-se para tarefas relevantes de segurança (ex: relaxar MFA, remover gatilhos de implantação). Nesses domínios, a injeção pesada deslocou significativamente as decisões do Llama em direção ao alvo do atacante. No entanto, tarefas de "sondagem de fronteira" onde o modelo mantinha um padrão robusto (ex: adotar dependências de terceiros arriscadas) permaneceram inalteradas, confirmando o princípio da assimetria.

5. Defesas

Duas defesas simples no nível do feed foram testadas no modelo suscetível Llama:

• Exposição Equilibrada: Misturar postagens adversárias com postagens orgânicas aleatórias restaurou a taxa de "remoto-primeiro" para 95% (vs. 50% em ataque pesado).
• Divulgação de Classificação: Preceder com um aviso de que o feed pode ser adversário restaurou a taxa para 85%.
• Nota: Essas defesas foram menos eficazes ou ineficazes no Gemma 4, que permaneceu em seu padrão híbrido saturado.

Significância e Alegações

O artigo argumenta que os sistemas de recomendação atuam como uma superfície de controle prática e limitada por padrões para agentes de LLM. A significância reside na mudança do paradigma de avaliação de segurança:

1. Auditar a Camada de Feed: As avaliações devem ir além de testar o prompt final isoladamente. Um agente pode se comportar de forma segura em um contexto limpo, mas ser direcionado por um feed curado.
2. Suscetibilidade Específica do Modelo: A suscetibilidade não é universal; depende da estabilidade do padrão do modelo e da tarefa específica.
3. Expansão do Modelo de Ameaça: A ameaça não é apenas payloads maliciosos, mas a curadoria de conteúdo benigno. Isso permite a manipulação via canais que filtros de conteúdo (projetados para detectar instruções maliciosas) não conseguem ver.
4. Correção Metodológica: O estudo alerta que sondar agentes de múltiplos turnos usando validação cruzada aleatória padrão superestima mecanismos ocultos. Grande parte do "sinal" é recuperável do histórico de conversa visível, necessitando de divisões conscientes de grupo e baselines de histórico.

Os autores concluem que, em uma era de IA agêntica, "todo recomendador escreve silenciosamente cada resposta", e a questão crítica de segurança não é mais apenas se os modelos se comportam bem, mas quem controla o que eles leem imediatamente antes de responder.