Immaginate un mondo in cui i computer non si limitano a rispondere alle domande, ma vanno davvero a fare le cose per noi. Possono prenotare voli, scrivere codice o fare ricerche su consigli medici parlando tra loro in un team digitale. Questo è il mondo dei sistemi di IA Multi-Agente. Pensatelo come una squadra di costruzione: avete un Pianificatore che disegna la planimetria, degli Esecutori che effettivamente posano i mattoni o dipingono le pareti, e un Critico che gira intorno controllando che il lavoro corrisponda alla planimetria.

Per molto tempo, le persone si sono preoccupate che questi team di IA potessero essere ingannati per dire qualcosa di maleducato o pericoloso (come un "jailbreak"). Ma questo articolo esamina un problema più subdolo: cosa succede se qualcuno inganna il Pianificatore prima ancora che il lavoro inizi? Se la planimetria è disegnata male, ogni singolo mattone posato dalla squadra sarà nel posto sbagliato, e la persona che controlla il lavoro potrebbe non accorgersene nemmeno perché sta guardando la stessa brutta planimetria. Questo articolo esplora come un hacker potrebbe inserire un'istruzione "avvelenata" nella fase di pianificazione, facendo uscire l'intero team fuori strada senza che nessuno se ne accorga.

Il Grande Furto della Planimetria: PlanFlip

Incontrate PlanFlip, un nuovo modo per scassinare i team di IA scoperto dai ricercatori della Fudan University. Hanno scoperto che il momento più pericoloso per un team di IA non è quando i lavoratori sono occupati; è quando il Pallificatore sta disegnando la lista delle cose da fare.

In un tipico team di IA, il Pianificatore prende il vostro grande obiettivo (come "Pianifica un viaggio a Parigi") e lo suddivide in piccoli passi ("Prenota volo", "Trova hotel", "Compra biglietti"). L'articolo mostra che se un attaccante inserisce un messaggio falso nelle note del Pianificatore — travestito da normale output di uno strumento o da un documento utile — può dirottare l'intera missione. È come un sabotatore che sussurra all'architetto: "Oh, a proposito, il cliente in realtà vuole un castello in mezzo all'oceano", e l'architetto, essendo molto obbediente, disegna l'intera planimetria per un castello. Improvvisamente, l'intero team sta costruendo un castello in mare, e il Critico (il controllore della sicurezza) annuisce, pensando che tutto sia perfetto.

I ricercatori chiamano questo Amplificazione a Cascata. Invece di rompere un passo alla volta, un'unica cattiva iniezione rovina ogni sottotask contemporaneamente. Hanno testato questo su nove diversi modelli di IA super intelligenti, eseguendo oltre 3.400 diversi scenari, e hanno trovato alcune cose sorprendenti.

1. Essere più intelligenti non significa essere più sicuri

Potreste pensare che l'IA più potente e intelligente sarebbe la più difficile da ingannare. L'articolo suggerisce l'opposto. Nei loro test, il modello più recente e capace, GPT-5, è stato in realtà quello ingannato più spesso, con un tasso di successo di 0,68 (il che significa che è caduto nella trappola il 68% delle volte). I ricercatori hanno scoperto che poiché questi modelli sono addestrati per essere molto bravi a seguire le istruzioni, sono anche molto bravi a seguire istruzioni false se suonano autorevoli. È come un maggiordomo molto educato che è così desideroso di compiacere da far entrare accidentalmente uno sconosciuto in casa perché lo sconosciuto indossava un uniforme convincente.

2. Il "Punto Cieco" del controllo dello stesso team

Ecco la scoperta più inquietante: il Punto Cieco dell'Agente Correlato. La maggior parte dei team di IA odierni è costruita utilizzando lo stesso "cervello" (o modello di base) per il Pianificatore, i Lavoratori e il Critico. L'articolo ha scoperto che quando il Pianificatore viene ingannato, anche il Critico viene ingannato! Poiché condividono lo stesso cervello, entrambi vedono la stessa realtà distorta.

In test con modelli come GPT-4o e Llama-3.3-70B, l'attacco ha avuto successo il 100% delle volte senza che il Critico sollevasse alcun allarme. Il Critico riportava che tutto era "allineato" e sicuro, anche se il piano era completamente sbagliato. Per dimostrare che non si trattasse solo di un glitch, i ricercatori hanno portato in campo due diversi giudici IA (di famiglie diverse) per controllare il lavoro. Questi giudici esterni hanno confermato che i piani erano effettivamente terribili, con un enorme calo di qualità, ma il Critico del team originale era completamente cieco a ciò. È come avere una guardia giurata e un ladro che sono gemelli; se il ladro inganna la guardia, la guardia non segnalerà mai il furto perché pensa che le azioni del ladro siano normali.

3. Il superpotere del "Ragionamento"

Non tutti i modelli sono caduti nell'inganno. L'articolo ha scoperto che DeepSeek-R1, un modello che utilizza un processo speciale di "pensiero" (come discutere i propri passaggi prima di agire), era completamente immune. Ha raggiunto un tasso di successo di 0,00 per gli attaccanti. Sembra che quando un modello si ferma per ricontrollare la propria logica rispetto all'obiettivo originale, possa individuare le istruzioni false e ignorarle. Ciò suggerisce che costringere l'IA a "pensare prima di parlare" potrebbe essere uno scudo naturale contro questo tipo di attacchi.

Come riparare la planimetria rotta

I ricercatori non si sono limitati a trovare il problema; hanno proposto due modi per risolverlo, che chiamano GoalAnchorCheck e CrossAgentConsensus.

• GoalAnchorCheck è come un caposquadra severo che controlla costantemente ogni singolo passo rispetto all'obiettivo originale. "Aspetta, stiamo costruendo un castello? L'obiettivo era una casa. Fermati!" Questo ha funzionato bene per gli inganni ovvi, ma è fallito contro i modelli del "Punto Cieco" perché il caposquadra stava usando lo stesso cervello del ladro.
• CrossAgentConsensus è il vero punto di svolta. Suggerisce di utilizzare un modello di IA diverso per controllare il lavoro. Se il Pianificatore e il Critico sono gemelli, serve una terza persona di una famiglia diversa per individuare l'inganno. L'articolo ha scoperto che l'uso di un modello diverso come arbitro ha rotto completamente il punto cieco, catturando gli attacchi che il team originale aveva mancato.

La grande lezione

L'articolo conclude che, nel mondo dei team di IA, avere un piano di riserva non basta se il piano di riserva è fatto della stessa sostanza dell'originale. Se il Pianificatore, i Lavoratori e il Critico condividono lo stesso cervello, sono tutti vulnerabili agli stessi trucchi. Gli autori suggeriscono che la diversità è l'unica vera sicurezza. È necessario un team composto da diversi tipi di modelli di IA affinché, se uno viene ingannato, gli altri possano individuare l'errore.

In breve, l'articolo avverte che mentre costruiamo team di IA più complessi, non possiamo limitarci a renderli più intelligenti; dobbiamo assicurarci che siano diversi tra loro, altrimenti un singolo trucco astuto potrebbe trasformare l'intera squadra in un caos totale senza che nessuno se ne accorga.