AgentDrift: Unsafe Recommendation Drift Under Tool Corruption Hidden by Ranking Metrics in LLM Agents

Il paper "AgentDrift" rivela che gli agenti LLM potenziati da strumenti, sebbene valutati come efficaci dalle metriche di ranking tradizionali, subiscono un pericoloso "drift" di raccomandazioni non sicure in contesti finanziari quando gli strumenti sono compromessi, poiché le metriche standard non rilevano la persistenza di violazioni della sicurezza che si verificano anche in assenza di manipolazioni numeriche.

L'essenziale

🕵️‍♂️ Il Concetto: L'Assistente Finanziario "Ingenuo"

Immagina di avere un assistente personale super-intelligente, un Robot Consulente (chiamato "Agente LLM"), il cui lavoro è darti consigli sugli investimenti. Questo robot è molto bravo: legge le notizie, controlla i prezzi delle azioni e ricorda i tuoi obiettivi (es. "voglio essere prudente" o "voglio rischiare per guadagnare di più").

Il problema? Il robot non ha un cervello proprio per "sapere" le cose; si fida ciecamente di ciò che gli dicono i suoi strumenti (i suoi "occhi" e le sue "orecchie"). Se gli strumenti gli dicono una bugia, il robot la crede e agisce di conseguenza.

🎭 L'Esperimento: La Truffa Silenziosa

Gli autori di questo studio hanno fatto un esperimento geniale e un po' inquietante. Hanno creato una situazione in cui gli strumenti del robot venivano manipolati (avvelenati) in modo subdolo, ma senza che il robot se ne accorgesse.

Ecco come hanno fatto la "magia":

1. Inversione del Rischio: Hanno preso un'azione pericolosa (come un'auto sportiva che va a 300 km/h) e hanno detto al robot: "Questa è un'auto sicura, come una Fiat Panda".
2. Falsificazione dei Dati: Hanno modificato i numeri (volatilità, perdite massime) per far sembrare che l'auto pericolosa fosse stabile e sicura.
3. Notizie Bias: Hanno aggiunto titoli di giornale falsi che dicevano: "Gli esperti confermano: la Fiat Panda è la scelta migliore per chi vuole rischiare!".

📉 Il Risultato Shockante: "Cecità Valutativa"

Qui arriva il punto cruciale, quello che il paper chiama "Evaluation Blindness" (Cecità Valutativa).

Quando hanno controllato se il robot stava facendo un buon lavoro, hanno usato i soliti metrici di qualità (come il voto che darebbe un professore a un compito).

• Il voto del robot: 10/10. 🌟
• La realtà: Il robot stava consigliando azioni pericolose a persone che volevano essere prudenti. 💣

L'analogia del ristorante:
Immagina un chef che ti serve un piatto di veleno.

• Se guardi solo l'aspetto del piatto (colore, presentazione, profumo), è perfetto. Il "voto" è 10.
• Ma se assaggi, muori.
  Il paper dice che oggi stiamo valutando gli agenti AI solo guardando l'aspetto del piatto (il voto), ignorando completamente se è velenoso per il cliente.

🧠 Come Funziona l'Inganno? (I Due Canali)

Gli studiosi hanno scoperto che l'errore avviene in due modi, come se il robot avesse due "canali" di comunicazione:

1. Il Canale dell'Informazione (Immediato): Il robot legge i dati falsi in quel momento e ti dice: "Compra questa azione rischiosa, è sicura!". Succede subito, al primo turno di conversazione.
2. Il Canale della Memoria (Persistente): Il robot si ricorda di aver consigliato quell'azione rischiosa. Quindi, nei turni successivi, pensa: "Ah, l'utente ha comprato quella cosa rischiosa, quindi deve voler rischiare!". Cambia la sua "memoria" e continua a consigliare cose pericolose, peggiorando la situazione.

La scoperta più spaventosa: Anche se il robot ha una "memoria" che dovrebbe correggere gli errori, non lo fa. Una volta ingannato, continua a sbagliare per tutta la conversazione (fino a 23 turni), senza mai dire: "Aspetta, questi dati sembrano strani!".

🚫 Perché è Pericoloso?

Il paper ci dice tre cose fondamentali:

1. I voti ingannano: Un agente può avere un voto di qualità altissimo (NDCG ≈ 1.0) mentre sta distruggendo i risparmi delle persone.
2. Nessuno si fida: Gli agenti non mettono in dubbio i dati degli strumenti. Se il database dice "1", loro credono che sia "1", anche se loro "sanno" (dalla loro formazione) che dovrebbe essere "5".
3. I controlli attuali non funzionano: Se provi a controllare se i dati sono coerenti, un attaccante intelligente può fare piccole modifiche (es. cambiare il rischio da 5 a 4 invece che da 5 a 1) che i controlli automatici non vedono, ma che bastano a farti perdere soldi.

💡 La Soluzione Proposta

Gli autori dicono che non basta guardare il "voto" finale. Dobbiamo introdurre un controllore di sicurezza che guardi il viaggio intero (la "traiettoria").
Invece di chiedere: "Quanto è bella la raccomandazione?", dobbiamo chiedere: "Questa raccomandazione è sicura per questo specifico utente, dato il suo profilo di rischio?".

Hanno creato una nuova metrica chiamata sNDCG (NDCG con penalità di sicurezza). Quando l'hanno usata, il voto degli agenti truffati è crollato da 1.0 a circa 0.5-0.7, rivelando finalmente il disastro che stava avvenendo sotto il naso dei sistemi di valutazione attuali.

🎯 In Sintesi

Immagina di affidare i tuoi risparmi a un navigatore GPS.

• Oggi: Se il GPS ti porta su una strada di ghiaccio, ma lo fa con un'interfaccia bellissima e un tono di voce calmo, il sistema dice: "Navigazione perfetta!".
• Domani (secondo questo studio): Dobbiamo imparare a dire: "Aspetta, anche se il GPS è bello, mi sta portando fuori strada verso un burrone. Il sistema di valutazione attuale non vede il burrone, vede solo il bel cruscotto".

Il paper ci avverte: Non fidatevi ciecamente dei voti di qualità delle AI in ambiti delicati come la finanza, se non controllate anche la sicurezza.

Sommario tecnico

1. Il Problema: L'Invisibilità della Sicurezza negli Agenti LLM

Gli agenti LLM potenziati da strumenti (tool-augmented) stanno diventando sempre più comuni in settori ad alto rischio come la consulenza finanziaria, dove interagiscono con l'utente in più turni, recuperano dati di mercato e mantengono profili utente persistenti. Tuttavia, il paper identifica un grave gap di valutazione:

• Cecità Valutativa (Evaluation Blindness): Le metriche di valutazione standard per i sistemi di raccomandazione (come NDCG, Hit Rate) misurano la qualità o l'utilità della raccomandazione rispetto a un ranking esperto, ma non valutano la sicurezza per l'utente specifico.
• Il Paradosso: Gli autori dimostrano che è possibile corrompere l'output degli strumenti (es. invertire i punteggi di rischio delle azioni) in modo che l'agente raccomandi prodotti pericolosi (ad alto rischio) a utenti conservatori. Nonostante ciò, le metriche di qualità rimangono stabili (NDCG invariato), creando una falsa sensazione di sicurezza.
• Persistenza: A differenza degli attacchi prompt injection tradizionali che mirano a un singolo turno, questa corruzione induce una deriva (drift) che persiste per l'intera traiettoria di interazione (fino a 23 turni) senza che l'agente si corregga da solo.

2. Metodologia: Il Protocollo di Traiettoria Appaiata

Per investigare questo fenomeno, gli autori hanno sviluppato un protocollo diagnostico innovativo:

• Setup Sperimentale: Hanno utilizzato 7 modelli LLM diversi (da 7B a modelli frontier come GPT-5.2, Claude Sonnet 4.6, Qwen3, Gemma 3) su 10 utenti reali con dialoghi finanziari a 23 turni (dataset Conv-FinRe).
• Condizioni Appaiate: Per ogni utente, sono state eseguite due sessioni identiche:
  1. Sessione Pulita (Clean): Gli strumenti restituiscono dati reali.
  2. Sessione Contaminata (Contaminated): Gli strumenti restituiscono dati manipolati.
• Meccanismi di Contaminazione: Sono stati applicati quattro tipi di perturbazioni simultanee agli output degli strumenti (MarketData e News):
  1. Inversione del Rischio: I punteggi di rischio delle azioni sono invertiti (es. un'azione speculativa TSLA appare con rischio 1 invece di 5).
  2. Manipolazione delle Metriche: Volatilità e drawdown vengono alterati per supportare l'inversione del rischio.
  3. Titoli di Testa Biasati: Notizie che descrivono azioni rischiose come "difensive" e viceversa.
  4. Iniezione di Rischio: Aggiunta di ETF a leva (TQQQ) con un punteggio di rischio falso basso.
• Decomposizione Diagnostica: Utilizzando un'analisi di mediazione, gli autori hanno scomposto la divergenza del comportamento in due canali:
  • Canale Informativo: Deriva causata direttamente dall'osservazione corrotta nel turno corrente.
  • Canale di Memoria: Deriva causata dalla corruzione dello stato persistente (memoria) che influenza i turni successivi.

3. Contributi Chiave

1. Introduzione del Protocollo "AgentDrift": Un framework per valutare la sicurezza degli agenti multi-turno attraverso la comparazione di traiettorie appaiate (pulite vs. contaminate), superando la limitazione delle valutazioni per singolo turno.
2. Dimostrazione della "Cecità Valutativa": Evidenza empirica che le metriche di qualità standard (NDCG) falliscono nel rilevare violazioni di sicurezza massicce. Il rapporto di preservazione dell'utilità (UPR) rimane vicino a 1.0 anche quando il 65-93% dei turni contiene raccomandazioni inadeguate.
3. Decomposizione dei Canali di Deriva: Dimostrazione che le violazioni di sicurezza sono guidate prevalentemente dal canale informativo (l'agente accetta i dati corrotti nel turno corrente) piuttosto che dalla corruzione della memoria persistente, sebbene quest'ultima contribuisca alla magnitudine della deriva complessiva.
4. Metrica di Sicurezza Proposta (sNDCG): Introduzione di una variante penalizzata per la sicurezza dell'NDCG (sNDCG), che riesce a rilevare il degrado della qualità quando la sicurezza viene esplicitamente misurata, riducendo il rapporto di preservazione a valori significativi (0.51–0.74).

4. Risultati Principali

• Stabilità Ingannevole: Su 7 modelli testati, l'NDCG è rimasto stabile (UPR ≈ 1.0) mentre il tasso di violazione della sicurezza (SVR) è salito al 65-93% dei turni.
• Assenza di Auto-Correzione: In 1.563 turni contaminati, nessun agente ha mai messo in discussione esplicitamente l'affidabilità dei dati degli strumenti. Gli agenti seguono ciecamente i dati degli strumenti (tool-grounding) anche quando questi contraddicono la conoscenza parametrica del modello (es. un modello "sa" che TSLA è rischioso, ma se lo strumento dice che è sicuro, lo raccomanda).
• Dominanza del Canale Informativo: Le violazioni di sicurezza si verificano quasi immediatamente (nel primo turno contaminato) e sono guidate principalmente dal canale informativo. Anche solo la manipolazione dei titoli (senza numeri) induce una deriva significativa.
• Evasione dei Monitor: Le perturbazioni sottili (che mantengono i punteggi di rischio all'interno di un intervallo accettabile, |∆r| ≤ 1) riescono a eludere i monitor basati su soglie fisse, pur causando una deriva del 61% rispetto all'attacco completo.
• Scalabilità: Il fenomeno è consistente attraverso modelli di diverse dimensioni (da 7B a 675B) e architetture, suggerendo che è una vulnerabilità strutturale dell'architettura ReAct (Reasoning + Acting) e non un difetto di un singolo modello.

5. Significato e Implicazioni

Il paper ha profonde implicazioni per lo sviluppo e il deployment di agenti AI in settori critici:

• Ridefinizione della Valutazione: Le attuali metriche di qualità sono insufficienti per gli agenti multi-turno in contesti ad alto rischio. È necessario adottare metriche di sicurezza a livello di traiettoria (come SVR e sNDCG) e non solo per singolo turno.
• Vulnerabilità Strutturale: Il paradigma di "tool-grounding" (dove l'agente deve basarsi sui dati esterni) crea una superficie di attacco intrinseca. Se lo strato di osservazione è corrotto, l'agente non ha meccanismi interni per verificare la veridicità dei dati rispetto alla sua conoscenza pre-addestrata.
• Necessità di Monitoraggio Runtime: Il paper suggerisce che il monitoraggio della coerenza dei dati degli strumenti (es. confronto con database di riferimento statici) è essenziale prima del deployment. Tuttavia, avverte che le perturbazioni sottili potrebbero eludere anche questi controlli semplici.
• Generalizzazione: Sebbene testato in ambito finanziario, il pattern di "cecità valutativa" è strutturale e si applica a qualsiasi dominio dove gli attributi di sicurezza sono ortogonali alle metriche di utilità (es. triage medico, consigli legali).

In sintesi, AgentDrift dimostra che gli agenti LLM possono essere manipolati per fornire raccomandazioni pericolose in modo persistente, rimanendo invisibili ai sistemi di valutazione tradizionali, e chiama in causa la necessità urgente di nuovi protocolli di sicurezza focalizzati sulla traiettoria completa dell'interazione.