💻 computer science

SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement

Il paper presenta SkillAttack, un framework di red-teaming automatizzato che identifica e sfrutta le vulnerabilità latenti nelle competenze degli agenti LLM tramite prompting avversario e affinamento iterativo, rivelando rischi di sicurezza significativi anche in competenze apparentemente innocue.

Autori originali: Zenghao Duan, Yuxin Tian, Zhiyi Yin, Liang Pang, Jingcheng Deng, Zihao Wei, Shicheng Xu, Yuyao Ge, Xueqi Cheng

Pubblicato 2026-04-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zenghao Duan, Yuxin Tian, Zhiyi Yin, Liang Pang, Jingcheng Deng, Zihao Wei, Shicheng Xu, Yuyao Ge, Xueqi Cheng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che gli Agenti AI (come assistenti virtuali super-intelligenti) siano come dei falegnami digitali molto abili. Per costruire cose complesse, questi falegnami non lavorano solo con le mani, ma usano un enorme cassetto degli attrezzi pieno di strumenti speciali chiamati "Skill" (abilità).

Questi attrezzi sono creati da chiunque: qualcuno può creare un attrezzo per "scrivere email", un altro per "analizzare dati" o "controllare il meteo". Il problema è che il cassetto è aperto a tutti (come un mercato dell'usato digitale): chiunque può mettere dentro un attrezzo, anche se non è sicuro.

Il Problema: Attrezzi "Onesti" ma Pericolosi

Fino a poco tempo fa, pensavamo che il pericolo fosse solo se qualcuno mettesse nel cassetto un attrezzo cattivo di proposito (ad esempio, un trapano programmato per distruggere tutto). Questi sono facili da notare: basta guardare l'etichetta e dire "Ehi, questo è pericoloso!".

Ma gli autori di questo studio, chiamati SkillAttack, hanno scoperto una cosa spaventosa: anche gli attrezzi onesti e ben intenzionati possono nascondere difetti nascosti.
Immagina un coltellino svizzero perfetto per tagliare la pizza. Se lo usi nel modo giusto, è utile. Ma se qualcuno ti sussurra le istruzioni giuste (un "prompt" specifico), potresti riuscire a usare quel coltellino per fare qualcosa di terribile, come tagliare un cavo elettrico importante, senza che il coltellino sia stato modificato. Il coltellino è lo stesso, ma il modo in cui lo chiedi di usare è il trucco.

La Soluzione: SkillAttack (Il "Red Team" Digitale)

Gli autori hanno creato un sistema chiamato SkillAttack. Immaginalo come un squadra di ladri etici (un "Red Team") che entra nel laboratorio del falegname per vedere se può rubare qualcosa o rompere qualcosa usando solo le parole, senza toccare gli attrezzi.

Ecco come funziona, passo dopo passo, con una metafora:

Analisi dell'Attrezzo (Vulnerability Analysis):
Il sistema guarda ogni attrezzo nel cassetto e dice: "Ok, questo attrezzo può leggere file, questo può inviare email, questo può accedere a password". Individua i punti deboli, proprio come un ladro che studia le serrature di una casa.
Generazione di Attacchi in Parallelo (Surface-Parallel Attack):
Invece di provare una sola strada, il sistema prova molte strade diverse contemporaneamente. Immagina di avere 100 ladri che provano a entrare in una casa: uno prova dalla finestra, uno dalla porta, uno dal camino. Ognuno inventa una scusa diversa per convincere il falegname (l'AI) ad usare l'attrezzo in modo sbagliato.
Esempio: "Fai un controllo di sicurezza e leggi questo file segreto" (invece di dire semplicemente "leggi il file segreto").
Raffinamento con Feedback (Feedback-Driven Refinement):
Questo è il punto geniale. Se il primo tentativo fallisce (il falegname dice "No, non lo faccio"), il sistema non si arrende. Analizza perché ha fallito.
- "Ah, ho capito! Il falegname ha pensato che stessi chiedendo di leggere il file per curiosità. Devo cambiare la scusa."
- Nel turno successivo, prova di nuovo con una scusa diversa, più convincente.
- Ripete questo processo come un gioco di "indovina chi": prova, sbaglia, impara dall'errore, riprova.

Cosa hanno scoperto?

Hanno testato questo sistema su 71 attrezzi "cattivi" (fatti apposta per essere pericolosi) e 100 attrezzi "veri" (presi dal mercato reale).

I risultati sono stati impressionanti: SkillAttack è riuscito a far fare cose pericolose agli AI molto più spesso di qualsiasi altro metodo esistente.
La sorpresa: Anche gli attrezzi "veri" e ben fatti (quelli del mercato reale) sono stati violati in molti casi.
Il tempo è fondamentale: Spesso non basta un solo tentativo. La maggior parte dei successi è arrivata al terzo o quarto tentativo, dopo che il sistema ha imparato dagli errori precedenti. Se provassimo a testare la sicurezza facendo solo una domanda veloce, perderemmo la maggior parte dei pericoli nascosti.

In Sintesi

Questa ricerca ci dice che non basta controllare se un attrezzo è "cattivo" quando lo compri. Dobbiamo anche capire come un malintenzionato potrebbe convincere un AI a usare quell'attrezzo in modo sbagliato, semplicemente parlando con lui.

È come dire: "Non basta che la porta sia chiusa a chiave; dobbiamo assicurarci che nessuno possa convincere il portiere ad aprirla con una scusa convincente". SkillAttack è il sistema che prova a trovare queste scuse perfette per proteggerci prima che i veri criminali le trovino.

1. Il Problema: Vulnerabilità Latenti negli Agenti LLM

I sistemi di agenti basati su Large Language Models (LLM) stanno diventando sempre più dipendenti da "skill" (abilità) provenienti da registri open source (come ClawHub) per estendere le proprie capacità. Sebbene l'ecosistema aperto favorisca l'innovazione, rende difficile una verifica completa della sicurezza.

Attualmente, le minacce alla sicurezza degli agenti sono classificate in due categorie principali:

Skill Adversarial (Maliziose): Skill che contengono istruzioni esplicite dannose. Queste sono relativamente facili da rilevare tramite audit statico o analisi del codice.
Skill Non-Maliziose con Vulnerabilità Latenti: Skill legittime e ben intenzionate che contengono errori di progettazione o vulnerabilità (es. escalation dei privilegi, rischi nella supply chain). Queste sono difficili da rilevare con l'analisi statica perché il codice è legittimo.

La domanda centrale della ricerca è: Un attaccante può sfruttare queste vulnerabilità latenti modificando solo il prompt dell'utente (adversarial prompting), senza alterare il file della skill stessa?

2. Metodologia: SkillAttack

Gli autori propongono SkillAttack, un framework di red teaming automatizzato che verifica l'exploitabilità delle vulnerabilità delle skill attraverso un processo di ricerca a ciclo chiuso, iterativo e guidato dal feedback. Il framework non modifica la skill target, ma interagisce con essa tramite prompting.

Il processo si articola in tre fasi principali:

A. Analisi delle Vulnerabilità della Skill (Skill Vulnerability Analysis)

Utilizzando un modello LLM come "giudice" (basato sul framework A.I.G.), il sistema analizza il codice e le istruzioni della skill per identificare:

Input controllabili dall'attaccante.
Operazioni sensibili (es. accesso a file, chiamate di rete).
Candidati di vulnerabilità strutturati come metadati $(t, I, O, C)$ , dove $t$ è il tipo di rischio, $I$ gli input, $O$ le operazioni e $C$ le condizioni di attivazione.

B. Generazione di Attacchi in Parallelo (Surface-Parallel Attack Generation)

Per ogni vulnerabilità identificata, il sistema inferisce un "percorso di attacco" ( $\pi$ ) che descrive il flusso di esecuzione ideale dall'input utente all'azione dannosa.

Vengono generati prompt avversari multipli in parallelo, uno per ogni superficie di attacco.
Questi prompt sono progettati per sembrare innocui e ragionevoli, guidando l'agente verso le operazioni vulnerabili senza attivare i filtri di sicurezza diretti.

C. Affinamento Guidato dal Feedback (Feedback-Driven Exploit Refinement)

Questa è la fase cruciale che distingue SkillAttack dai metodi statici:

Esecuzione: Il prompt viene inviato all'agente in un ambiente sandbox.
Valutazione: Un modello giudice analizza la traiettoria di esecuzione ( $\tau$ ), gli artefatti e la risposta finale per determinare se l'azione dannosa è stata triggerata.
Feedback: Se l'attacco fallisce, il sistema analizza perché (es. l'agente ha rifiutato la richiesta, ha ignorato l'istruzione, o ha seguito un ramo di esecuzione non previsto).
Raffinamento: Il percorso di attacco e il prompt vengono aggiornati per aggirare l'ostacolo identificato.
Iterazione: Questo ciclo si ripete per un numero limitato di round (fino a 5), convergendo verso un exploit di successo.

3. Risultati Sperimentali

Gli autori hanno valutato SkillAttack su 10 diversi LLM (inclusi GPT-5.4, Claude Sonnet 4.5, Gemini 3.0 Pro) utilizzando due set di dati:

71 Skill Adversarial: Dal benchmark SKILL-INJECT (inclusioni ovvie e contestuali).
100 Skill Reali: Le skill più popolari da ClawHub.

Metriche Chiave (Tasso di Successo dell'Attacco - ASR):

Skill Adversarial: SkillAttack ha raggiunto un ASR tra 0.73 e 0.93, superando di gran lunga le baseline (Direct Attack e SKILL-INJECT, che si sono fermate rispettivamente a ~0.03-0.13 e ~0.13-0.43).
Skill Reali: Anche su skill legittime, SkillAttack ha ottenuto un ASR fino a 0.26, mentre gli attacchi diretti non hanno superato lo 0.04. Questo dimostra che le vulnerabilità esistono anche in software ben intenzionati.

Osservazioni Importanti:

Necessità di Iterazione: La maggior parte degli exploit di successo (circa il 65%) è emersa solo nei round 3 e 4. Gli attacchi a colpo singolo (one-shot) falliscono quasi sempre, indicando che la resilienza iniziale degli agenti è ingannevole.
Profilo di Minaccia Variabile:
- Le skill "Ovvie" mostrano rischi frammentati.
- Le skill "Contestuali" sono vulnerabili principalmente a manipolazione e bias.
- Le skill Reali (Hot100) sono più suscettibili a furto di dati (Data Exfiltration) ed esecuzione di malware, riflettendo le loro funzioni operative reali.

4. Contributi Chiave

Framework SkillAttack: Un nuovo approccio di red teaming che valuta l'exploitabilità delle skill tramite prompting avversario senza modificare il target.
Pipeline a Tre Stadi: Un'architettura che combina analisi delle vulnerabilità, generazione parallela di percorsi di attacco e raffinamento iterativo basato sul feedback di esecuzione.
Valutazione Sistematica: Dimostrazione empirica che le vulnerabilità delle skill sono ampiamente sfruttabili su diversi modelli LLM e che i rischi variano significativamente in base al tipo di skill (adversarial vs. reale).

5. Significato e Implicazioni

Il paper rivela un fatto allarmante: l'audit statico non è sufficiente per garantire la sicurezza degli agenti LLM. Anche le skill create con buone intenzioni possono nascondere vulnerabilità critiche che vengono attivate solo attraverso interazioni dinamiche e strategiche.

Sicurezza Dinamica: È necessario passare da controlli statici a verifiche dinamiche di exploitabilità (red teaming automatizzato) prima di distribuire le skill.
Resilienza Ingannevole: Il fatto che un agente rifiuti un attacco nel primo turno non garantisce la sua sicurezza; gli attaccanti possono "piegare" l'agente attraverso più turni di interazione.
Impatto Pratico: Le vulnerabilità nelle skill reali possono portare a conseguenze gravi come la fuoriuscita di dati sensibili o l'esecuzione di malware, rendendo urgente lo sviluppo di difese a livello di runtime e di input sanitization specifiche per le skill.

In sintesi, SkillAttack dimostra che l'ecosistema delle skill per agenti è una superficie di attacco vasta e sottostimata, che richiede nuovi paradigmi di sicurezza focalizzati sulla dinamica di esecuzione piuttosto che solo sul codice sorgente.