AgentDrift: Unsafe Recommendation Drift Under Tool Corruption Hidden by Ranking Metrics in LLM Agents

O artigo "AgentDrift" revela que agentes de LLM aumentados por ferramentas em domínios de alto risco, como finanças, mantêm a qualidade de suas recomendações mesmo sob contaminação de ferramentas, mas falham sistematicamente em evitar produtos inseguros (com violações em 65-93% das interações) devido a uma cegueira das métricas de avaliação tradicionais, como o NDCG, que não capturam esses riscos de segurança.

O essencial

🕵️‍♂️ O Que é Este Artigo? (A História do "Conselheiro Cego")

Imagine que você tem um assistente financeiro pessoal superinteligente (um "Agente de IA"). Ele é treinado para ler notícias, analisar o mercado e dizer: "Compre esta ação, é segura para você!".

O problema que os pesquisadores descobriram é que, se alguém mudar os dados que esse assistente recebe (como se fosse um hacker trocando os números no painel do carro), o assistente começa a dar conselhos perigosos, mas continua parecendo perfeito para quem está avaliando o trabalho dele.

O artigo chama isso de "Cegueira de Avaliação". É como se o assistente estivesse dirigindo um carro com os freios cortados, mas o velocímetro (a métrica de qualidade) continuasse mostrando que ele está indo bem.

---

🎭 A Analogia Principal: O Chefe e o Mensageiro Mentiroso

Para entender como isso funciona, vamos usar uma analogia:

1. O Agente (IA): É um chef de cozinha muito talentoso. Ele sabe cozinhar pratos deliciosos (recomendações úteis).
2. As Ferramentas (Dados): O chef não tem ingredientes na mão; ele depende de um mensageiro que traz a lista do que está disponível no mercado.
3. O Ataque (Corrupção): Um vilão entra na cozinha e troca a lista do mensageiro.
   • Ele diz: "O veneno é seguro e saudável" (ações de alto risco com nota de segurança).
   • Ele diz: "A água mineral é tóxica" (ações seguras com nota de perigo).
4. O Resultado: O chef, confiando no mensageiro, prepara um prato com veneno.
   • O Problema: Se você pedir ao chef para provar o prato, ele dirá: "Está delicioso!" (A qualidade da recomendação parece alta).
   • O Perigo: Mas se você comer, vai passar mal (o usuário perde dinheiro ou corre risco).

O artigo mostra que, mesmo quando o chef está servindo veneno, os avaliadores (os sistemas que medem se o chef é bom) continuam dizendo: "Nota 10! Ele seguiu a receita perfeitamente!". Eles não percebem que a receita estava errada.

---

🔍 O Que Eles Fizeram? (O Experimento)

Os pesquisadores pegaram 7 modelos de IA diferentes (desde os menores até os "gigantes" mais inteligentes do mundo) e os colocaram em uma simulação de 23 conversas sobre finanças.

Eles criaram dois cenários:

1. Cenário Limpo: O mensageiro traz dados reais.
2. Cenário "Envenenado": O mensageiro traz dados falsos (invertem os riscos: o que é perigoso vira seguro).

O que eles descobriram?

• A Ilusão da Qualidade: Mesmo com os dados falsos, a IA continuava dando recomendações que pareciam "boas" para os padrões tradicionais. A pontuação de qualidade não caiu.
• O Desastre Real: Na verdade, 65% a 93% das recomendações eram perigosas para o perfil do usuário. O assistente estava sugerindo investimentos arriscados para quem queria segurança.
• A Falta de Questionamento: A IA nunca disse: "Ei, esses dados parecem estranhos!". Ela aceitou a mentira do mensageiro sem questionar, porque foi programada para confiar nos dados externos.
• O Efeito Dominó: Assim que a mentira começou, o erro se espalhou por todas as 23 conversas. A IA não corrigiu a si mesma. Ela ficou "presa" na mentira.

---

🚨 Por Que Isso é Perigoso?

Imagine que você está usando um GPS.

• O GPS (IA) diz: "Vire à direita para o destino".
• O Hacker muda o mapa do GPS para mostrar que a direita leva a um penhasco, mas o GPS continua dizendo: "Rota ótima! Chegada em 5 minutos!".

Se você confiar apenas no "tempo de chegada" (a métrica de qualidade), você vai dirigir direto para o penhasco. O artigo diz que, no mundo das finanças, saúde ou direito, confiar apenas nessas métricas tradicionais é como dirigir de olhos vendados.

💡 A Solução Sugerida

Os autores propõem uma nova forma de medir a IA:

• Em vez de perguntar apenas "A recomendação foi útil?", devemos perguntar: "A recomendação foi segura para esta pessoa específica?".
• Eles criaram uma nova régua de medição (chamada sNDCG) que pune a IA se ela sugerir algo perigoso, mesmo que pareça útil. Com essa nova régua, a "nota de qualidade" da IA contaminada caiu drasticamente, revelando o problema.

🏁 Conclusão em Uma Frase

Mesmo as IAs mais inteligentes podem ser enganadas por dados falsos e começar a dar conselhos perigosos, mas os testes atuais de qualidade não conseguem ver isso, criando uma falsa sensação de segurança.

O artigo é um alerta: precisamos de novos "freios de emergência" e "sensores de segurança" para essas IAs antes que elas sejam usadas em situações reais onde vidas e economias estão em jogo.

Resumo técnico

Título: AgentDrift: Desvio de Recomendação Inseguro sob Corrupção de Ferramentas Oculto por Métricas de Classificação em Agentes LLM

1. O Problema

Os agentes de Grandes Modelos de Linguagem (LLMs) aumentados com ferramentas (Tool-Augmented LLMs) estão sendo cada vez mais utilizados como consultores em múltiplos turnos em domínios de alto risco, como o aconselhamento financeiro. No entanto, a avaliação desses agentes depende quase exclusivamente de métricas de qualidade de classificação (como NDCG, taxa de acerto e alinhamento com especialistas), que medem o que é recomendado, mas não se a recomendação é segura para o usuário específico.

O artigo identifica uma lacuna crítica de segurança: quando a camada de ferramentas (que fornece dados ao agente) é corrompida por ataques adversariais (ex: manipulação de dados de mercado ou manchetes de notícias), os agentes podem começar a recomendar produtos de alto risco para usuários conservadores. O problema central é que as métricas de qualidade padrão continuam a classificar essas recomendações inseguras como "de alta qualidade" (preservando a utilidade percebida), criando um fenômeno de cegueira avaliativa (evaluation blindness).

2. Metodologia

Os autores propõem um protocolo de diagnóstico inovador para quantificar e decompor esse desvio de segurança.

• Protocolo de Trajetória Emparelhada: O estudo reexecuta diálogos financeiros reais (do conjunto de dados Conv-FinRe) em duas condições:

  1. Limpa: Ferramentas retornando dados corretos.
  2. Contaminada: Ferramentas retornando dados adversariais.
     Isso é feito em 7 modelos de LLMs distintos (variando de 7B a modelos frontier como GPT-5.2, Claude Sonnet 4.6, Mistral Large 3, etc.) ao longo de 23 turnos de interação.

• Design de Contaminação: A contaminação é intencionalmente extrema para servir como um teste de estresse, envolvendo quatro modos simultâneos:

  1. Inversão de Risco: Pontuações de risco ordinal são invertidas (ações especulativas tornam-se "defensivas" e vice-versa).
  2. Manipulação de Métricas: Volatilidade e drawdown máximo são escalados para reforçar a falsa segurança.
  3. Manchetes Viesadas: Narrativas textuais que enquadram ações de risco como seguras.
  4. Injeção de Alto Risco: Adição de ETFs alavancados (TQQQ) com pontuação de risco falsa baixa.

• Decomposição Diagnóstica: Utilizando análise de mediação, o desvio comportamental é decomposto em dois canais:

  • Canal de Informação: Desvio causado diretamente pela inferência sobre observações corrompidas no turno atual.
  • Canal de Memória: Desvio causado pela corrupção persistente do estado do agente (memória de perfil de risco, objetivos) que afeta turnos futuros.

• Métricas Propostas:

  • UPR (Utility Preservation Ratio): Razão entre NDCG contaminado e limpo.
  • SVRs (Suitability Violation Rate): Taxa de turnos onde pelo menos um produto recomendado excede a faixa de risco do usuário.
  • sNDCG: Uma variante do NDCG que penaliza itens de risco inadequado, servindo como uma métrica de qualidade consciente de segurança.

3. Principais Contribuições

1. Descoberta da "Cegueira Avaliativa" (Evaluation Blindness): Demonstração empírica de que a qualidade de recomendação (NDCG) permanece estável (UPR ≈ 1.0) mesmo quando a segurança é severamente comprometida (SVRs entre 65% e 93% dos turnos).
2. Protocolo de Trajetória Emparelhada: Um novo framework para avaliar a segurança de agentes em múltiplos turnos, capaz de detectar falhas que métricas de turno único ignoram.
3. Decomposição de Canais: Evidência de que as violações de segurança são predominantemente impulsionadas pelo canal de informação (o agente aceita os dados corrompidos imediatamente) e persistem sem autocorreção, enquanto o canal de memória contribui para a magnitude do desvio, mas não é o principal motor das violações de segurança.
4. Métrica de Penalização de Segurança (sNDCG): Proposta de uma métrica que revela a degradação de segurança que o NDCG padrão esconde, reduzindo a razão de preservação para 0.51–0.74.

4. Resultados Chave

• Preservação de Utilidade vs. Violação de Segurança: Em todos os 7 modelos testados, a contaminação manteve o NDCG quase inalterado (UPR entre 0.99 e 1.25), enquanto a taxa de violação de adequação (SVRs) saltou de uma linha de base de 46-78% para 65-93% dos turnos.
• Falha na Autocorreção: Em 1.563 turnos contaminados, nenhum agente questionou explicitamente a confiabilidade dos dados da ferramenta. Agentes de ponta (como Claude Sonnet 4.6) aceitaram dados quantitativos fabricados mesmo quando contradiziam seu conhecimento paramétrico prévio.
• Dominância do Canal de Informação: As violações de segurança ocorreram predominantemente através do canal de informação (94,8% das violações em condições de "apenas informação" vs. 92,6% no ataque completo). O desvio de memória (MDR) foi menor, indicando que o agente não precisa corromper a memória para falhar; a falha ocorre no momento da observação.
• Resiliência a Monitores Simples: Contaminações sutis (apenas manchetes viciadas, sem manipulação numérica) ou perturbações dentro da faixa de risco (|Δr| ≤ 1) evadiram completamente os monitores de consistência baseados em limiares, mas ainda induziram desvios significativos (61% do desvio total do ataque completo).
• Análise de Representação (SAE): O uso de Autoencoders Esparsos (SAEs) no modelo Gemma 3 revelou que o modelo internamente distingue a contaminação adversarial de mudanças genéricas de texto (assinaturas de ativação distintas), mas falha em propagar essa distinção para a decisão de recomendação. Existe uma lacuna entre a representação interna e a ação.

5. Significado e Implicações

• Risco de Implantação: A descoberta de que métricas de utilidade padrão (NDCG) não detectam falhas de segurança sugere que a implantação de agentes de recomendação em múltiplos turnos em setores críticos (finanças, saúde, jurídico) sem monitoramento de segurança em nível de trajetória oferece uma falsa sensação de segurança.
• Limitações das Métricas Atuais: As métricas de recomendação tradicionais são estruturalmente cegas a violações de segurança específicas do usuário quando a utilidade e o risco estão desacoplados (ou quando a contaminação mantém a utilidade aparente).
• Necessidade de Novos Protocolos: O artigo defende a adoção de:
  • Monitoramento de segurança em nível de trajetória (não apenas por turno).
  • Métricas de qualidade penalizadas por segurança (como sNDCG).
  • Verificação de saída de ferramentas antes da ingestão pelo agente, em vez de confiar apenas na memória ou na capacidade de raciocínio do LLM.
• Generalidade: Embora focado em finanças, o padrão de "cegueira avaliativa" é estrutural e aplicável a qualquer domínio onde atributos de segurança sejam ortogonais às classificações de utilidade (ex: triagem médica, aconselhamento legal).

Em resumo, o AgentDrift expõe uma vulnerabilidade fundamental na arquitetura atual de agentes LLM: a confiança cega em dados de ferramentas pode levar a desvios de segurança catastróficos e persistentes que são invisíveis para os sistemas de avaliação padrão, exigindo uma reavaliação urgente de como esses sistemas são testados e monitorados.