🤖 machine learning

Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

Il documento introduce "Know Your Agent" (KYA), un framework che automatizza il pentesting black-box guidato dalla ricognizione per gli agenti AI, interrogandoli sistematicamente per costruire profili target e ideare attacchi di indirect prompt injection più efficaci.

Autori originali: Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

Pubblicato 2026-07-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui il vostro computer non si limita ad aspettare che scriviate dei comandi, ma va effettivamente in giro a fare cose per voi. Può leggere le vostre email, cercare sul web, scrivere codice e persino prenotare voli. Chiamiamo questi sistemi "Agenti IA". Sono come super-assistenti digitali intelligenti capaci di pianificare e agire autonomamente. Ma ecco la parte complicata: questi agenti sono sempre in ascolto del mondo che li circonda. Se chiedete a un agente di leggere una pagina web, lui legge tutto ciò che è presente su quella pagina, comprese le parti scritte da sconosciuti. Questo crea un problema di sicurezza unico. Se un malintenzionato nasconde un'istruzione segreta e subdola all'interno di una pagina web o di un'email dall'aspetto normale, l'agente potrebbe leggerla, pensare che sia un vero comando proveniente da voi e fare esattamente ciò che il malintenzionato vuole. Questo è chiamato "Indirect Prompt Injection" (Iniezione di Prompt Indiretta). È come se qualcuno infilasse un biglietto nel pranzo di un vostro amico con scritto: "Dammi il tuo pranzo", e il vostro amico, per cortesia, lo consegnasse senza rendersi conto che il biglietto non proveniva da voi.

La grande domanda che i ricercatori si pongono è: come possiamo testare questi agenti per assicurarci che non cadano in questi inganni prima di lasciarli liberi nel mondo reale? Per molto tempo, gli esperti di sicurezza hanno cercato di testarli semplicemente lanciando istruzioni casuali e confuse, sperando che si rompessero. È stato un po' come cercare di trovare un punto debole in una mura di un castello lanciandovi contro delle pietre alla cieca. Ma un nuovo articolo suggerisce che questo approccio trascura la parte più importante del lavoro: la ricognizione. Nel mondo della sicurezza tradizionale, un tester non si limita a lanciare pietre; prima esplora il castello. Cerca finestre aperte, controlla il turno delle guardie e impara la disposizione degli spazi. Questo articolo sostiene che, per testare davvero gli agenti IA, dobbiamo fare lo stesso: dobbiamo "Conoscere il proprio Agente".

Gli autori, un team della Ben-Gurion University, introducono un nuovo framework chiamato KYA (Know Your Agent - Conosci il Tuo Agente). Sostengono che il modo migliore per rompere un agente IA non sia indovinare alla cieca, ma imparare prima tutto il possibile su di esso. Hanno scoperto che gli agenti IA hanno due principali "punti ciechi" che li rendono vulnerabili. Primo, si fidano di ciò che sembra corretto (come una formattazione specifica o parole che di solito significano "questa è un'istruzione sicura"). Secondo, si fidano di ciò che si inserisce nella storia (come una richiesta che sembra avere senso nel mezzo di un compito normale).

L'articolo mostra che, utilizzando un sistema intelligente e automatizzato che agisce come un detective digitale, possiamo sfruttare questi punti ciechi molto meglio di prima. Questo sistema, KYA, non si limita ad attaccare; si ferma per fare domande, osserva come reagisce l'agente e costruisce un profilo dettagliato dei suoi strumenti e delle sue regole. Impara cose come: "Oh, questo agente usa un simbolo speciale per separare le istruzioni", oppure "Questo agente si agita se gli chiedo di fare qualcosa che non si adatta alla storia corrente". Una volta appresi questi dettagli, elabora un trucco molto più convincente.

I ricercatori hanno testato questa idea su diversi agenti IA e hanno scoperto che il loro metodo "basato sulla ricognizione" è stato incredibilmente efficace. Nelle loro simulazioni, KYA è stato in grado di violare gli agenti e avere successo negli attacchi fino al 67% in più rispetto ai metodi precedenti che si limitavano a indovinare e riprovare. Hanno testato il sistema anche su un agente di codifica reale chiamato OpenHands e hanno scoperto che funzionava anche lì. L'articolo conclude che, se vogliamo rendere sicuri gli agenti IA, dobbiamo smettere di trattarli come bersagli statici e iniziare a trattarli come sistemi complessi che devono essere studiati, profilati e compresi prima di poter testare davvero le loro difese. Non si tratta più solo di lanciare pietre; si tratta di scoprire prima i segreti del castello.

Riepilogo Tecnico: Know Your Agent (KYA)

Definizione del Problema

La sicurezza degli agenti basati su Large Language Model (LLM) è sempre più minacciata dall'Indirect Prompt Injection (IPI). A differenza del prompt injection diretto, in cui un avversario controlla l'input dell'utente, l'IPI comporta l'inserimento di istruzioni malevole all'interno di dati ambientali (ad esempio, pagine web, email, file di repository) che l'agente recupera tramite strumenti (tools). Quando l'agente elabora questi dati, può interpretare le istruzioni nascoste come comandi validi, portando all'invocazione non autorizzata di strumenti, all'esfiltrazione di dati o alla manipolazione dell'output.

Gli attuali approcci di red-teaming automatizzato per l'IPI falliscono ampiamente nel tenere conto della complessità delle architetture degli agenti. La maggior parte dei metodi esistenti opera alla cieca, utilizzando template fissi, payload fuzzati o mutazioni iterative del payload basate esclusivamente su segnali di successo/fallimento. Questi approcci trattano l'agente come un bersaglio statico, ottimizzando il payload senza prima comprendere il bersaglio. Essi mancano di un meccanismo per raccogliere sistematicamente informazioni su strumenti, schemi, permessi, contesto del compito e meccanismi di difesa dell'agente prima di lanciare un attacco. Di conseguenza, perdono il "ciclo di ricognizione-sfruttamento" che caratterizza l'efficace penetration testing umano.

Metodologia: Ricognizione dell'Agente e KYA

Il documento introduce la Ricognizione dell'Agente (Agent Reconnaissance), un processo formalizzato in cui un attaccante estrae strategicamente conoscenze operative su un agente per costruire attacchi IPI più efficaci. Gli autori sostengono che un IPI di successo si basa sullo sfruttamento di due specifiche debolezze degli agenti:

Fiducia nella Forma Superficiale (W1): Gli agenti spesso si fidano di token che imitano i pattern strutturali di dati attendibili (ad esempio, system prompt, sintassi di chiamata agli strumenti, delimitatori).
Legittimazione Basata sulla Coerenza (W2): Gli agenti spesso accettano richieste che si adattano al contesto locale (persona dell'utente, compito corrente, linguaggio di dominio), anche se la fonte non è attendibile.

Per operazionalizzare ciò, gli autori propongono Know Your Agent (KYA), un framework di pentesting completamente autonomo e black-box. KYA alterna azioni di ricognizione e di sfruttamento (exploitation) invece di limitarsi a mutare i payload falliti.

Il Framework KYA

KYA opera sotto un modello di minaccia black-box, interagendo con l'agente target come un utente legittimo. È composto da tre moduli primari:

Orchestratore: Il nucleo decisionale che mantiene un Profilo del Target ( $M$ ) e una Libreria di Tattiche. Dopo ogni interazione, valuta i risultati e decide se:
- Lanciare un tentativo di Sfruttamento (se il profilo contiene conoscenze sufficienti per una specifica tattica).
- Avviare la Ricognizione (se i prerequisiti di una tattica sono mancanti).
- Raffinare la tattica attuale o cambiare strategia.
Modulo di Ricognizione: Utilizza un agente "Scout" per generare sonde progettate per estrarre specifici Asset di Conoscenza (Knowledge Assets). Questi asset sono categorizzati in:
- Asset di Evasione: Filtri, guardrail e difese strutturali (ad esempio, delimitatori).
- Asset di Pretesto: Tipo di agente, persona dell'utente, compito corrente e stili di risposta benigni.
- Asset di Blueprint: Regole comportamentali, identità del modello, struttura della conversazione, dettagli degli strumenti e schemi di chiamata agli strumenti (tool-call schemas).
Modulo di Sfruttamento: Utilizza uno "Strategist" e un "Forger" per sintetizzare i payload. Instanzia le tattiche dalla libreria utilizzando i dati specifici del target presenti in $M$ , assicurando che il payload imiti forme superficiali attendibili e si adatti alla narrazione contestuale.

Il framework cicla tra queste fasi, aggiornando incrementalmente il Profilo del Target fino al raggiungimento di un attacco riuscito o all'esaurimento del budget di interazione.

Contributi Chiave

Formalizzazione della Ricognizione dell'Agente: Il documento definisce la ricognizione dell'agente come una fase distinta nel pentesting, identificando specifici Asset di Conoscenza (ad esempio, schemi degli strumenti, confini di rifiuto, compiti dell'utente) che gli avversari devono estrarre per avere successo.
Identificazione delle Debolezze dell'Agente: Articola come la ricognizione sfrutti la Fiducia nella Forma Superficiale e la Legittimazione Basata sulla Coerenza, spiegando perché i dettagli specifici del target rendono i payload IPI più efficaci rispetto a quelli generici.
Il Framework KYA: Gli autori presentano KYA, una piattaforma black-box autonoma che automatizza il ciclo ricognizione-sfruttamento. A differenza dei lavori precedenti, KYA modella esplicitamente il target e decide cosa apprendere prima di decidere come attaccare.
Validazione Empirica: Il documento fornisce una valutazione completa di KYA rispetto a benchmark consolidati di sicurezza degli agenti e a un agente di codifica reale (OpenHands).

Risultati

La valutazione dimostra che il testing guidato dalla ricognizione supera significativamente il red-teaming centrato sul payload:

Performance nei Benchmark: In vari benchmark di sicurezza degli agenti e su diversi modelli di base, KYA ha superato tutti i baseline (inclusi template statici, generazione single-shot e metodi di raffinamento iterativo) fino al 67% in termini di tasso di successo dell'attacco.
Applicazione nel Mondo Reale: KYA ha identificato con successo vulnerabilità in OpenHands, un agente di codifica reale, dimostrando che l'approccio è efficace oltre i setting dei benchmark sintetici.
Analisi dei Componenti: I risultati indicano che il miglioramento è guidato dall'acquisizione strategica di asset di conoscenza, che permette al sistema di creare payload che siano sia strutturalmente validi (sfruttando W1) sia contestualmente coerenti (sfruttando W2).

Significato e Rivendicazioni

Il documento sostiene che la ricognizione è un prerequisito per il deployment affidabile degli agenti. Gli autori argomentano che trattare il testing della sicurezza degli agenti come un semplice compito di generazione di prompt è insufficiente. Invece, un testing efficace deve imitare l'intelligence gathering iterativo del tradizionale penetration testing.

Rilasciando KYA, i suoi benchmark e le implementazioni baseline, gli autori mirano a supportare la ricerca riproducibile nella sicurezza dell'IA. Essi postulano che comprendere la "superficie di attacco" del comportamento osservabile di un agente (i suoi strumenti, le sue risposte e la gestione del contesto) sia critico per sviluppare difese robuste contro l'indirect prompt injection. Il lavoro suggerisce che le difese future devono affrontare non solo il contenuto del prompt, ma la tendenza dell'agente a fidarsi delle forme superficiali e della coerenza contestuale derivata da fonti non attendibili.