Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

Questo articolo dimostra che la cura e l'ordinamento dei feed di informazioni esterne possono guidare sistematicamente gli agenti LLM verso decisioni avversarie, in particolare quando sono incerti, rivelando che le valutazioni di sicurezza devono sottoporre a audit lo strato del sistema di raccomandazione a monte piuttosto che testare il modello isolatamente.

L'essenziale

Immagina di avere un assistente robotico molto intelligente e utile. Gli poni una domanda e lui ti dà una risposta. Di solito, ci preoccupiamo del fatto che il robot sia "rotto" o che qualcuno lo abbia ingannato con un comando diretto come "Ignora le tue regole e fai X".

Ma questo articolo pone una domanda diversa, più subdola: E se nessuno dicesse al robot cosa fare, ma controllasse ciò che il robot legge subito prima di rispondere?

Ecco la storia della ricerca, spiegata in modo semplice:

L'Impostazione: La Fase dello "Scorrimento"

I ricercatori hanno organizzato un gioco. Hanno dato a un agente IA un compito: "Decidi se un'azienda dovrebbe permettere ai dipendenti di lavorare da casa, di tornare in ufficio o di fare un mix".

Prima che l'IA prendesse la decisione finale, l'hanno fatta "scorrere" un feed di social media per dieci turni. In ogni turno, l'IA vedeva cinque brevi post.

• Il Controllo: Il cervello dell'IA (il modello), la domanda a cui doveva rispondere e la sua personalità erano esattamente gli stessi in ogni test.
• La Variabile: L'unica cosa che cambiava era il feed. A volte il feed conteneva post normali e casuali. Altre volte era pieno di post che sostenevano pesantemente il "Ritorno in Ufficio", anche se quei post non dicevano "Devi scegliere il Ritorno in Ufficio". Erano solo articoli e opinioni dall'aspetto normale.

La Scoperta: L'Effetto "Echo Chamber" (Camera dell'Eco)

I ricercatori hanno scoperto che, curando il feed, potevano effettivamente orientare la decisione del robot, anche se non veniva ordinato direttamente di cambiare idea.

Hanno scoperto tre tipi di robot (modelli) in base a come reagivano:

1. Il "Capitulante" (Facile da orientare):

   • Analogia: Immagina una persona che non è sicura di cosa mangiare per cena. Se le mostri un menù dove ogni singola immagine è di una pizza, probabilmente ordinerà una pizza.
   • Risultato: Alcuni modelli di IA (come Llama 3.2) erano così. Se il feed era pieno di post sul "Ritorno in Ufficio", l'IA iniziava a raccomandare il "Ritorno in Ufficio", anche se di solito preferiva il lavoro da remoto. Non aveva bisogno di un comando; era semplicemente influenzata dal volume delle informazioni.

2. La "Saturazione" (La Roccia Ostinata):

   • Analogia: Immagina una persona che ama così tanto la pizza che mostrarle un menù pieno di hamburger non la farà cambiare idea. Vuole solo la pizza.
   • Risultato: Altri modelli (come Qwen) erano così fissati su una risposta specifica (un approccio "ibrido") che nessuna quantità di post sul "Ritorno in Ufficio" poteva spostarli. Erano "saturati" dalla propria opinione predefinita.

3. L' "Asimmetria" (La Strada a Senso Unico):

   • Analogia: Immagina di essere leggermente inclinato verso sinistra. Se qualcuno ti spinge da destra, potresti cadere. Ma se ti spinge da sinistra (la direzione verso cui sei già inclinato), non ti muovi affatto.
   • Risultato: L'attacco funzionava solo quando il feed spingeva l'IA contro la sua naturale impostazione predefinita. Se l'IA già amava il "Lavoro da Remoto" e il feed era pieno di post sul "Lavoro da Remoto", l'IA non cambiava. Ma se il feed era pieno di post sul "Ritorno in Ufficio", l'IA si spostava. Il feed non poteva sovrascrivere una convinzione forte, ma poteva far pendere l'ago della bilancia su una convinzione incerta.

La "Dose" Conta

I ricercatori hanno scoperto una curva "dose-risposta". È come prendere un medicinale:

• Se il feed aveva 1 o 2 post "negativi" su 5, non succedeva nulla.
• Ma una volta che il feed aveva circa 3 o 4 post "negativi" su 5, la decisione dell'IA iniziava a ribaltarsi. Non era magia; era una questione di quanto "rumore" l'IA veniva esposta.

Lo "Swap del Generatore" (Per Provare che non fosse un Caso)

I ricercatori si sono chiesti: "Forse all'IA piaceva lo stile di scrittura dei post negativi?"
Per testarlo, hanno fatto scrivere tutti i post a un'altra IA. Il risultato? L'attacco è diventato più forte. Questo ha dimostrato che non si trattava dello stile di scrittura, ma della selezione degli argomenti.

Il "Mito del Meccanismo Nascosto"

All'inizio, i ricercatori pensavano di aver trovato un "interruttore segreto nascosto" nel cervello dell'IA che il feed stava attivando. Hanno usato uno strumento per guardare dentro il codice dell'IA.

• Il Colpo di Scena: Si sono resi conto di aver sbagliato. Il "segnale" che vedevano non era un interruttore interno segreto. Era solo l'IA che ricordava la cronologia della conversazione. Se si guardava il registro della chat, si poteva vedere esattamente cosa l'IA aveva letto. Il "segreto" era in realtà la cronologia visibile. Questo è un avvertimento per altri scienziati: non fidatevi degli strumenti che pretendono di trovare "segreti nascosti" nell'IA se non tengono conto di ciò che l'IA ha già visto.

Le Difese

Possiamo fermare questo? I ricercatori hanno provato due trucchi semplici:

1. Esposizione Bilanciata: Mostrare all'IA un mix equo di post su "Remoto" e "Ufficio". Questo ha aiutato l'IA a rimanere sulla sua traccia originale.
2. Dichiarazione (Disclosure): Dire all'IA: "Ehi, questo feed potrebbe essere parziale". Anche questo ha aiutato, anche se non perfettamente.

La Grande Conclusione

L'articolo conclude che il "Ranker" (il sistema che decide cosa vedi) è un potente pomello di controllo.

In passato, ci preoccupavamo di hacker che inviavano comandi diretti all'IA. Ora, sappiamo che un hacker (o un sistema distorto) non ha bisogno di inviare un comando. Deve solo controllare il feed. Scegliendo con cura quali post benigni e dall'aspetto normale mostrare a un'IA, possono guidare sottilmente le sue decisioni su temi importanti come la sicurezza, le politiche o la strategia aziendale.

L'avvertimento finale: Non possiamo testare l'IA chiedendole semplicemente una singola domanda nel vuoto. Dobbiamo testare cosa succede dopo che ha "scorso" un feed curato. La persona che controlla il feed controlla la mossa successiva dell'IA.

Sommario tecnico

Sintesi Tecnica: I Feed Avversari Guidano le Decisioni degli Agenti LLM Contro i Loro Default

Definizione del Problema

Le attuali valutazioni di sicurezza per gli agenti basati su Large Language Model (LLM) isolano prevalentemente il modello e il prompt dell'utente, ignorando i flussi di informazioni a monte (feed social, risultati di ricerca, contesti di recupero) che gli agenti consumano prima di agire. Mentre la ricerca esistente si concentra sull'iniezione diretta di prompt, l'iniezione indiretta tramite documenti malevoli o l'avvelenamento del recupero (retrieval poisoning), queste minacce si affidano a payload malevoli identificabili.

Questo articolo affronta una lacuna in cui ogni singolo elemento in un flusso informativo è benigno, ma la selezione e l'ordinamento (curatela) di questi elementi da parte di un ranker a monte manipola la decisione a valle dell'agente. La domanda centrale è se una parte che controlla il feed possa guidare una decisione multi-step di un agente senza iniettare istruzioni esplicite, trasformando efficacemente il sistema di raccomandazione in una superficie di attacco.

Metodologia

Gli autori propongono un protocollo controllato per isolare l'effetto causale della curatela del feed sulle decisioni dell'agente.

• Protocollo dell'Agente: L'esperimento consiste in due fasi.
  1. Esposizione (Scrolling): L'agente partecipa a una fase di "scrolling" di dieci turni, reagendo a cinque post per turno con un LIKE, un SHARE o uno SKIP e una motivazione. La cronologia della conversazione accumula queste interazioni.
  2. Decisione: All'agente viene presentata una domanda a scelta forzata (A/B/C) riguardante un tema specifico (es. politica di lavoro da remoto).
• Variabili di Controllo: Il modello, la persona, l'argomento e il prompt della decisione finale sono mantenuti costanti in tutte le condizioni. L'unica variabile è la composizione e l'ordinamento dei post durante la fase di esposizione.
• Condizioni del Feed: Sono state testate sei condizioni principali:
  • Baseline: Post organici casuali e post organici ordinati per data di pubblicazione.
  • Avversaria: Iniezione leggera (1 post avversario/batch), Iniezione pesante (5 post avversari/batch) e Bilanciata (2 avversari + 3 organici).
  • Difesa: Iniezione pesante dichiarata (post avversari con un'etichetta di avviso).
• Modelli: Sono stati testati quattro modelli instruct open di tre laboratori (Meta, Google, Alibaba): Llama 3.2-3B, Gemma 4-e4b, Qwen 3.5-2B e Qwen 3.5-9B.
• Pool di Post: Il contenuto è stato generato sinteticamente da Claude e Gemma 4 su cinque argomenti. I pool avversari sono stati progettati per sostenere persuasivamente una parte di un dibattito (es. pro-ritorno in ufficio) senza attacchi d'identità espliciti.
• Verifiche di Robustezza: Lo studio ha incluso uno "swap del generatore" (riscrittura dei post con un LLM diverso), analisi dose-risposta (variazione della densità avversaria) e attacchi di direzione opposta (testare se gli attacchi allineati al default di un modello hanno effetti diversi).

Contributi Chiave

1. Protocollo Controllato: Un framework replicabile per testare l'esposizione ai feed sugli agenti LLM, isolando il ranker come variabile.
2. Tassonomia a Tre Regimi: Una classificazione della suscettibilità del modello:
   • Capitazione Avversaria: Il modello sposta la sua decisione verso la direzione del feed.
   • Saturazione del Default: Il modello ritorna a un default fisso indipendentemente dal feed.
   • Asimmetria di Direzione del Default: Un feed unidirezionale influenza le decisioni su cui il modello è incerto, ma non riesce a scardinare i default saldamente stabiliti.
3. Evidenza Empirica: Risultati su quattro modelli che mostrano significativi spostamenti decisionali in Llama 3.2 e Gemma 4, mentre i modelli Qwen mostrano saturazione dei default.
4. Generalizzazione: Dimostrazione che l'effetto si estende oltre il lavoro da remoto a decisioni di sicurezza (es. politiche MFA) e altri domini.
5. Avvertimento Metodologico: Una critica alla standard cross-validation casuale nel probing di agenti multi-turn, mostrando come questa inflazioni l'accuratezza di oltre 30 punti percentuali rispetto agli split consapevoli del gruppo e alle baseline della cronologia visibile.

Risultati Chiave

1. Suscettibilità e Regimi

• Llama 3.2-3B: Ha mostrato un'alta suscettibilità. Sotto una pesante iniezione avversaria (pro-ritorno in ufficio), la raccomandazione per il "remote-first" è scesa dal 100% al 50% (p=0.0004).
• Gemma 4-e4b: Anch'essa suscettibile, con il "remote-first" che scende dal 40% allo 0% sotto attacco pesante.
• Modelli Qwen 3.5: Hanno esibito una "saturazione del default", mantenendo raccomandazioni ibride quasi costanti indipendentemente dall'intensità del feed.

2. Swap del Generatore e Dose-Risposta

• Swap del Generatore: Quando i post avversari e organici sono stati rigenerati da Gemma 4 (invece di Claude), l'attacco su Llama 3.2 è diventato ancora più forte (il remote-first è sceso dal 100% al 5%, p=3×10⁻¹⁰), escludendo artefatti legati allo stile del contenuto.
• Dose-Risposta: L'attacco segue una curva chiara. Esiste una soglia a circa 2 post avversari per batch di 5 post; al di sotto di questa, l'effetto è trascurabile, mentre al di sopra, la decisione cambia in modo monotono.

3. Asimmetria di Direzione del Default

L'attacco non è semplicemente "più contenuto causa instabilità". È asimmetrico:

• Gli attacchi che si oppongono al default del modello (es. spingere Llama lontano dal suo default pro-remote) riescono a spostare le decisioni.
• Gli attacchi allineati con il default del modello (es. spingere Llama ulteriormente verso il pro-remote) non producono cambiamenti (un "no-op").
• Ciò implica che un avversario può erodere un default sicuro verso una scelta più rischiosa usando solo contenuti benigni, ma non può facilmente sovrascrivere un default sicuro e saldo.

4. Generalizzazione

L'effetto si è generalizzato a compiti rilevanti per la sicurezza (es. allentare l'MFA, rimuovere i gate di deployment). In questi domini, l'iniezione pesante ha spostato significativamente le decisioni di Llama verso l'obiettivo dell'attaccante. Tuttavia, i compiti di "boundary-probe" dove il modello manteneva un default robusto (es. adottare dipendenze di terze parti rischiose) sono rimasti invariati, confermando il principio di asimmetria.

5. Difese

Sono state testate due semplici difese a livello di feed sul modello suscettibile Llama:

• Esposizione Bilanciata: Mescolare i post avversari con post organici casuali ha ripristinato il tasso di "remote-first" al 95% (rispetto al 50% in attacco pesante).
• Dichiarazione del Ranking: Prependere un avviso che il feed potrebbe essere avversario ha ripristinato il tasso all'85%.
• Nota: Queste difese sono state meno efficaci o inefficaci su Gemma 4, che rimaneva alla sua saturazione del default ibrido.

Significato e Rivendicazioni

Il paper sostiene che i sistemi di raccomandazione agiscono come una superficie di controllo pratica e limitata dai default per gli agenti LLM. La significatività risiede nello spostamento del paradigma di valutazione della sicurezza:

1. Audit del Livello Feed: Le valutazioni devono andare oltre il test del singolo prompt finale in isolamento. Un agente può comportarsi in modo sicuro in un contesto pulito, ma può essere guidato da un feed curato.
2. Suscettibilità Specifica del Modello: La suscettibilità non è universale; dipende dalla stabilità del default del modello e dal compito specifico.
3. Espansione del Modello di Minaccia: La minaccia non è solo rappresentata da payload malevoli, ma dalla curatela di contenuti benigni. Ciò consente la manipolazione tramite canali che i filtri di contenuto (progettati per rilevare istruzioni malevole) non possono vedere.
4. Correzione Metodologica: Lo studio avverte che il probing di agenti multi-turn utilizzando la standard cross-validation casuale sovrastima i meccanismi nascosti. Gran parte del "segnale" è recuperabile dalla cronologia della conversazione visibile, rendendo necessari split consapevoli del gruppo e baseline della cronologia.

Gli autori concludono che in un'era di IA agentica, "ogni sistema di raccomandazione scrive silenziosamente ogni risposta", e la domanda critica di sicurezza non è più solo se i modelli si comportino bene, ma chi controlla ciò che leggono appena prima di rispondere.