Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

Immagina di stare insegnando a un robot maggiordomo come cucinare. Gli dai una ricetta, ma il robot deve anche leggere le notizie, controllare il meteo e ascoltare i bollettini radiofonici mentre lavora. Ecco come funzionano gli agenti di IA moderni: utilizzano degli "strumenti" per interagire con il mondo reale, come navigare sul web o consultare database. Ma ecco il problema: se un hacker subdolo nasconde un messaggio segreto all'interno di uno di quegli articoli di notizie o rapporti radiofonici, il robot potrebbe confondersi. Invece di finire la ricetta, potrebbe improvvisamente decidere di eliminare i tuoi file o inviare denaro a uno sconosciuto. Questo trucco è chiamato "Indirect Prompt Injection" (Iniezione Indiretta di Prompt). È come un mago che infila un'istruzione falsa nella tasca di uno spettatore; il robot la legge, pensa che faccia parte dello spettacolo e segue gli ordini sbagliati.

Per molto tempo, gli hacker che cercavano di ingannare questi robot hanno dovuto giocare a un gioco di "indovina ed evita". Avrebbero tentato un trucco, avrebbero visto se il robot ci era cascato e avrebbero poi perfezionato il loro trucco in base a ciò che il robot aveva fatto. Ma nel mondo reale, un hacker spesso ha un solo tentativo per infilare un biglietto nel percorso del robot. Non può aspettare di vedere come ha reagito il robot; deve riuscirci al primo colpo. La grande domanda che i ricercatori si sono posta è: un hacker può imparare dai fallimenti e dai successi passati per creare un "trucco maestro" che funzioni su un robot nuovo di zecca che non ha mai incontrato, usando un solo tentativo?

Entra in scena SAVOR, un nuovo metodo che agisce come un maestro chef che impara da una biblioteca di disastri e trionfi culinari. Invece di cercare di ingannare un robot specifico in tempo reale, SAVOR trascorre del tempo offline, studiando migliaia di tentativi passati in cui gli hacker hanno cercato di dirottare diversi robot. Osserva cosa ha funzionato e, cosa più importante, cosa non ha funzionato. Si chiede: "Perché quel trucco è fallito?" e "Perché questo è riuscito?". Riflettendo su questi esiti, SAVOR destilla i dettagli disordinati di singoli trucchi in alcune regole d'oro, o "strategie". È come uno studente che smette di memorizzare problemi matematici specifici e invece impara la logica sottostante dell'algebra.

Una volta che SAVOR ha costruito questa "biblioteca di strategie", la congela. Quando affronta un robot nuovo e sconosciuto, non ha bisogno di chiedere aiuto o di riprovare. Semplicemente estrae la migliore strategia dalla sua biblioteca congelata, elabora un singolo biglietto malevolo perfetto e lo inserisce. Il documento mostra che questo approccio è incredibilmente efficace. Nei test, SAVOR è riuscito a ingannare i robot molto più spesso dei metodi precedenti, anche quando i robot avevano difese forti o erano completamente diversi da quelli su cui SAVOR si era addestrato. Non ha funzionato solo in test simulati; ha funzionato anche in un ambiente più realistico dove il robot doveva effettivamente compiere delle azioni, dimostrando che questi trucchi "one-shot" possono davvero cambiare il comportamento di un robot. I ricercatori hanno scoperto che SAVOR poteva imparare da un set di strumenti e riuscire ad attaccare un set di strumenti totalmente diverso, trasferendo essenzialmente la sua "intuizione da hacker" a nuove situazioni senza aver bisogno di una seconda possibilità.