Resumo Técnico: Compreendendo a Persuasão em Agentes de Longa Duração

Declaração do Problema

Agentes de IA modernos combinam cada vez mais interação conversacional com execução autônoma de tarefas (por exemplo, pesquisa na web, codificação). Surge uma questão crítica de segurança: como a exposição à persuasão do usuário afeta o comportamento de um agente em tarefas de longo horizonte? Pesquisas existentes sobre persuasão em Modelos de Linguagem de Grande Porte (LLM) focam principalmente em interações de turno único, medindo conformidade de posição ou suscetibilidade. No entanto, esses estudos não abordam se a persuasão induz um estado de crença persistente que altera o comportamento de execução a jusante em agentes multi-etapa que utilizam ferramentas.

Os autores identificam um fenômeno específico denominado propagação da persuasão: uma situação em que uma mensagem persuasiva irrelevante para a tarefa induz um estado de crença que persiste além da interação inicial, influenciando sistematicamente como um agente planeja, explora informações ou executa ferramentas em tarefas subsequentes e não relacionadas. Diferentemente da injeção de prompt, onde o conteúdo injetado faz parte do contexto da tarefa, a propagação da persuasão envolve estados de crença que podem nunca ser explicitamente referenciados na saída final, mas que alteram sutilmente a trajetória de execução (por exemplo, estreitando a diversidade de fontes ou alterando estratégias de busca).

Metodologia

O estudo emprega um pipeline de quatro etapas: (1) Configuração de Persona, (2) Persuasão, (3) Execução e (4) Análise. Os experimentos utilizam um sistema multiagente (AutoGen) com LLMs de base (GPT-4.1-nano, Mistral-Nemo-12b, LLaMA-3.1-8b) e vários estilos de persona.

Regimes de Condicionamento de Crença

Os autores distinguem entre dois cenários experimentais para isolar os efeitos da crença:

1. Persuasão em Tempo Real: O agente participa de um diálogo multi-turno antes da tarefa. Isso envolve:
   • Sondagem Inicial: Registro da posição natural do agente.
   • Injeção de Conteúdo: Introdução de um argumento persuasivo (usando táticas como endosso de autoridade, enquadramento baseado em evidências ou apelo lógico) que se opõe à posição inicial.
   • Reforço do Compromisso: Solicitação ao agente para reafirmar a nova posição.
   • Sondagem Pós-Exposição: Verificação se a mudança de posição persistiu após interações de distração.
2. Condicionamento de Crença Pré-preenchido: Um regime de controle onde o estado de crença do agente (Crença, Descrença ou Neutralidade) é explicitamente especificado no prompt do sistema antes da tarefa, contornando o processo de persuasão conversacional. Isso isola o efeito comportamental do próprio estado de crença dos mecanismos da persuasão.

Tarefas a Jusante

Os agentes foram avaliados em três tipos de tarefas onde o tópico persuasivo era semanticamente irrelevante para a tarefa:

• Tarefa de Mudança de Opinião: Um diálogo de distração para testar a persistência da posição.
• Tarefa de Codificação: Escrever código Python para satisfazer especificações, medindo volume de iterações e estrutura de revisão.
• Tarefa de Pesquisa na Web: Realizar pesquisa aberta, exigindo consultas de busca, visita a fontes externas e síntese de relatórios.

Métricas de Avaliação

O estudo avança além da qualidade da saída final para análise comportamental em nível de processo:

• Métricas de Codificação: Pontuação de Tempo e Revisão (TRS) e Pontuação de Volatilidade de Edição (EVS) para capturar tempo de execução, volume de iterações e estrutura de revisão.
• Métricas de Pesquisa na Web: Construtos para Atividade (volume de interação), Amplitude (diversidade de fontes) e Profundidade (foco semântico), agregados via PCA.
• Proxy de Longo Horizonte: Três tarefas de pesquisa na web foram concatenadas para simular execução estendida, permitindo a observação de mudanças comportamentais cumulativas.

Resultados Principais

1. Suscetibilidade e Persistência da Persuasão

Táticas persuasivas alteraram com sucesso as crenças declaradas de alguns modelos (por exemplo, GPT, Mistral), com as táticas "Endosso de Autoridade" e "Baseadas em Evidências" mostrando a maior persistência. No entanto, o LLaMA exibiu alta suscetibilidade de base mesmo sem táticas específicas, e a persuasão não aumentou significativamente a persistência adicionalmente.

2. Efeitos da Persuasão em Tempo Real

Quando a persuasão ocorreu em tempo real antes da tarefa:

• Mudanças Agregadas Fracas: Através das tarefas de codificação e pesquisa na web, as mudanças comportamentais agregadas entre agentes persuadidos e não persuadidos foram fracas e estatisticamente insignificantes.
• Alta Heterogeneidade: Os efeitos em nível de persona foram altamente variáveis e frequentemente se cancelaram mutuamente nas médias agrupadas. Por exemplo, na pesquisa na web, algumas personas estreitaram sua diversidade de fontes enquanto outras a expandiram, resultando em uma mudança média líquida próxima de zero.
• Conclusão: A persuasão em tempo real induz mudanças heterogêneas, dependentes da persona, que não produzem uma mudança direcional consistente no comportamento de forma geral.

3. Efeitos de Crença Pré-preenchida

Quando os estados de crença foram explicitamente pré-preenchidos (contornando o diálogo de persuasão):

• Desvio Comportamental Significativo: Agentes com crença pré-preenchida realizaram 26,9% menos buscas e visitaram 16,9% menos fontes únicas em comparação com agentes com neutralidade pré-preenchida.
• Mecanismo: O efeito foi impulsionado pelo próprio estado de crença, e não pelo processo de persuasão. Agentes que mantinham uma crença específica (mesmo que irrelevante para a tarefa) alteraram sua estratégia de exploração, tornando-se mais eficientes, mas menos diversos em sua coleta de informações.

4. Implicações de Longo Horizonte

Em tarefas concatenadas de longa duração:

• Execuções com injeção de persuasão mostraram maior desvio no comportamento de busca em comparação com injeções de contexto neutro.
• Embora as pontuações de qualidade da saída final (avaliadas por um LLM como Juiz) mostrassem alguma degradação na cobertura e no seguimento de instruções para agentes persuadidos, a descoberta mais significativa foi o desvio em nível de processo. Os pipelines de informações dos agentes foram alterados, levando a uma seleção de fontes mais estreita e formulações de consultas diferentes, mesmo quando o relatório final parecia plausível.

Contribuições

1. Formulação do Problema: Introdução do conceito de propagação da persuasão, definindo como a persuasão irrelevante para a tarefa pode afetar o comportamento de execução a jusante em sistemas agênticos.
2. Framework de Avaliação: Proposição de um framework controlado que desentrelaça estado de crença e tempo de persuasão, distinguindo entre persuasão em tempo real e condicionamento de crença pré-preenchido.
3. Avaliação em Nível de Rastreio: Demonstração de que a propagação da persuasão se manifesta como desvio comportamental (por exemplo, amplitude de busca, volatilidade de revisão) não observável apenas a partir das saídas finais, motivando a necessidade de métricas baseadas em rastreio na auditoria de agentes LLM.
4. Evidência Empírica: Fornecimento de evidências de que, embora a persuasão em tempo real produza efeitos agregados inconsistentes, estados de crença explicitamente especificados (um proxy para persuasão bem-sucedida) causam reduções mensuráveis e sistemáticas na diversidade de exploração de informações.

Significado e Alegações

O artigo argumenta que a propagação da persuasão representa uma preocupação distinta de confiabilidade para sistemas agênticos, separada da injeção de prompt padrão ou violações de política.

• Riscos Sutis: O risco não é necessariamente uma falha catastrófica ou uma violação de política, mas uma mudança sutil na forma como um agente coleta evidências. Um agente pode produzir uma resposta fluente e compatível com a tarefa que é desproporcionalmente moldada por um conjunto limitado de fontes devido a um estado de crença anterior.
• Necessidade de Avaliação: Os autores afirmam que avaliar agentes apenas com base em saídas finais é insuficiente. Como a persuasão pode alterar o "pipeline de informações" (consultas de busca, seleção de fontes, critérios de parada) sem mudar a qualidade superficial da resposta final, é necessária uma avaliação em nível de comportamento para detectar esses riscos.
• Vulnerabilidade de Longo Horizonte: O estudo sugere que, em agentes de longa duração, pequenos desvios na exploração ou alocação de esforço podem se acumular ao longo do tempo, tornando os efeitos da persuasão mais difíceis de detectar, mas potencialmente mais prejudiciais à confiabilidade e fundamentação da saída do agente.

Os autores permanecem modestos, observando que seu cenário de longa duração é um proxy simplificado e que a magnitude das mudanças observadas varia significativamente conforme a persona e o modelo. Eles concluem que, embora a suscetibilidade à crença sozinha não garanta um comprometimento comportamental imediato, o condicionamento persistente de crença pode alterar o comportamento a jusante, necessitando de frameworks de avaliação robustos e centrados no comportamento para agentes implantados.