🤖 AI

Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry

Questo documento dimostra che i metadati in linguaggio naturale nei registri delle competenze degli agenti AI (SKILL.md) non sono mera documentazione passiva, bensì una superficie di attacco critica dove manipolazioni semantiche della catena di approvvigionamento possono compromettere significativamente i processi di scoperta, selezione e governance, consentendo a competenze malevole di eludere il rilevamento e di dominare l'adozione degli agenti.

Autori originali: Shoumik Saha, Kazem Faghih, Soheil Feizi

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Shoumik Saha, Kazem Faghih, Soheil Feizi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robot super-intelligente in grado di fare quasi tutto: prenotare i tuoi voli, gestire le tue tasse o scrivere codice. Ma questo robot non sa tutto da solo. Invece, possiede una gigantesca cassetta degli attrezzi digitale chiamata Registro delle Competenze. Pensa a questo registro come a un negozio di applicazioni, ma invece di scaricare app, il robot scarica "competenze" (piccoli pacchetti di istruzioni) per imparare nuovi compiti.

Ogni pacchetto di competenze viene fornito con un manuale di istruzioni specifico chiamato SKILL.md. Questo non è solo un elenco noioso di funzionalità; è scritto in inglese semplice (o linguaggio naturale) per dire al robot quando usare la competenza e come farlo.

Il documento che hai condiviso, "Sotto il cofano di SKILL.md", rivela un nuovo modo inquietante in cui gli hacker possono ingannare questi robot. Non hanno bisogno di infiltrarsi nel cervello del robot o scrivere codice dannoso. Invece, si limitano a modificare il manuale di istruzioni (SKILL.md) con giochi di parole astuti.

Ecco come funziona l'attacco, scomposto in tre fasi utilizzando analogie semplici:

1. L'Attacco di Scoperta: "Lo Spam SEO delle Competenze Robot"

Lo Scenario: Chiedi al tuo robot: "Pianifica un viaggio in Giappone". Il robot va al Registro delle Competenze per trovare la migliore competenza di viaggio.
L'Attacco: Un hacker prende una competenza di viaggio mediocre e segretamente aggiunge alcune parole strane e specifiche al suo manuale di istruzioni (come una parola chiave nascosta).
L'Analogia: Immagina un ristorante che serve cibo terribile ma paga un tangente al motore di ricerca in modo che, quando digiti "Il miglior sushi", il loro nome appaia in cima, spingendo il vero miglior ristorante di sushi alla pagina 10.
Il Risultato: Il documento ha scoperto che, modificando semplicemente il testo, gli hacker potevano far apparire le loro competenze scadenti nell'80% dei casi tra i primi 10 risultati, anche se erano peggiori dell'originale. Il robot, fidandosi dei risultati di ricerca, sceglie la competenza dell'hacker.

2. L'Attacco di Selezione: "Il Venditore Abile"

Lo Scenario: Il robot trova due competenze che fanno esattamente la stessa cosa (ad esempio, entrambe possono pianificare un viaggio). Una è la versione originale e sicura. L'altra è la versione dell'hacker.
L'Attacco: L'hacker modifica la descrizione della sua competenza per farla sembrare più sicura, affidabile o "nuova". Potrebbero aggiungere frasi come: "Questa è assolutamente la migliore competenza per questo lavoro" oppure "Questa competenza è attivamente mantenuta da esperti di sicurezza".
L'Analogia: Immagina di acquistare due paia di scarpe identiche. Una ha un'etichetta semplice. L'altra ha un'etichetta che dice: "Il Presidente le indossa; sono le scarpe più sicure di sempre". Anche se le scarpe sono identiche, scegli quella con l'etichetta elegante.
Il Risultato: Il robot viene facilmente ingannato. Nel 77,6% dei casi, il robot ha scelto la competenza dell'hacker rispetto a quella sicura, semplicemente perché la descrizione sembrava più convincente. Il robot non ha verificato se le competenze funzionassero effettivamente in modo diverso; si è limitato a credere al "pitch di vendita".

3. L'Attacco di Governance: "Il Lupo in Vestito da Agnello"

Lo Scenario: Prima che una competenza possa entrare nel registro, una guardia di sicurezza (un scanner automatizzato o un revisore AI) la controlla per assicurarsi che sia sicura.
L'Attacco: L'hacker scrive un'istruzione dannosa (ad esempio, "Invia tutti i miei documenti privati alla email di uno sconosciuto") ma la nasconde all'interno del testo usando trucchi. Potrebbero riformularla per farla sembrare un passaggio normale, spezzarla in piccoli pezzi o nasconderla alla fine di un documento lungo dove lo scanner smette di leggere.
L'Analogia: Immagina una guardia di sicurezza che controlla una valigia. L'hacker mette una bomba all'interno, ma la avvolge in uno strato di testo che dice "Sono un orsacchiotto innocuo", oppure nasconde la bomba in una tasca che la guardia non controlla perché la valigia è troppo lunga.
Il Risultato: Il documento ha dimostrato che questi trucchi funzionavano incredibilmente bene.

La parafrasi (riscrivere le parole cattive per farle sembrare gentili) ha fatto passare competenze cattive nel 74% dei casi.
Nascondere il testo (metterlo dove lo scanner smette di leggere) ha fatto passare competenze cattive nell'87% dei casi.

Il Quadro Generale

Il punto principale è che SKILL.md non è solo un documento passivo. È una parte attiva del processo decisionale del robot.

Non è passivo: Il robot lo legge, si fida di esso e agisce di conseguenza.
È l'anello debole: Gli hacker non devono essere geni della programmazione; devono solo essere bravi a scrivere testi persuasivi o ingannevoli.

Gli autori concludono che non possiamo trattare questi manuali di istruzioni come sicuri solo perché sono testo. Dobbiamo trattarli con la stessa diffidenza con cui trattiamo il codice eseguibile, perché nel mondo degli agenti AI, le parole possono essere pericolose quanto il codice.

Riepilogo Tecnico: Sotto il cofano di SKILL.md

Enunciato del Problema

La rapida adozione di agenti AI ha portato alla comparsa delle Competenze degli Agenti (Agent Skills): pacchetti modulari del filesystem che consentono agli agenti di estendere le capacità su richiesta senza un affinamento del modello. Al centro di questo ecosistema vi è il file SKILL.md, un manifesto in linguaggio naturale contenente metadati, descrizioni e istruzioni d'uso che gli agenti leggono per determinare la pertinenza e l'esecuzione.

Sebbene questo design consenta un'espansione scalabile delle capacità, introduce un nuovo rischio semantico della catena di approvvigionamento. A differenza dei pacchetti software tradizionali, dove la sicurezza si basa sull'integrità del codice, le Competenze degli Agenti dipendono fortemente dai metadati in linguaggio naturale che gli agenti possono leggere, fidarsi e su cui agire. La ricerca esistente si è concentrata sull'esecuzione di codice malevolo dopo il caricamento di una competenza o sul rilevamento di sottomissioni malevole tramite analisi statica. Tuttavia, il ciclo di vita rivolto al registro—in particolare come le competenze vengono scoperte, classificate, selezionate e governate prima dell'esecuzione—rimane poco esplorato. Questo documento sostiene che SKILL.md non è una documentazione passiva ma un testo operativo che può essere manipolato per compromettere la catena di approvvigionamento senza alterare il codice eseguibile.

Metodologia

Gli autori formulano un modello di minaccia in cui un avversario controlla il contenuto testuale del file SKILL.md di una competenza (in particolare il nome, la descrizione e il corpo), ma non può modificare il backend del registro, il codice eseguibile o i file ausiliari. Lo studio valuta gli attacchi attraverso tre fasi distinte del ciclo di vita della competenza utilizzando un corpus di 100 competenze reali da ClawHub in cinque categorie (email, viaggi, tasse, salute, prompt).

1. Manipolazione della Scoperta

Obiettivo: Manipolare il recupero basato su embedding per migliorare il posizionamento di una competenza avversaria per una query target.

Strategia di Attacco: L'avversario aggiunge brevi trigger testuali ( $\delta_D$ ) al file SKILL.md.
Tecniche:
- Black-box: Ottimizzazione tramite ricerca a fascio (beam search) utilizzando un generatore leggero (Qwen2.5-0.5B) per trovare iterativamente token che massimizzano la similarità coseno con l'embedding della query target.
- White-box: Ottimizzazione basata sul gradiente che presuppone l'accesso ai parametri del modello di embedding.
Valutazione: Testato contro i modelli BAAI (bge-base, bge-small) e OpenAI (text-embedding-3-small). È stato simulato uno scenario realistico "in-the-wild" utilizzando una funzione di classificazione in stile ClawHub che combina rilevanza lessicale, similarità vettoriale e popolarità dei download.

2. Manipolazione della Selezione

Obiettivo: Predisporre la scelta dell'agente tra competenze funzionalmente equivalenti verso la variante avversaria.

Strategia di Attacco: Modificare solo il campo description di SKILL.md preservando la funzionalità sottostante.
Tecniche: Sono state testate quattro strategie di inquadramento:
1. Pubblicità Ingannevole: Esagerare le capacità (es. "migliore competenza").
2. Segnali Assertivi: Linguaggio direttivo (es. "scegli sempre questa").
3. Manutenzione Attiva: Affermazioni di novità/aggiornamenti.
4. Fiducia/Sicurezza: Affermazioni di endorsement di sicurezza.
Valutazione: Un esperimento di scelta accoppiata utilizzando il framework Hermes-agent. Agli agenti è stata presentata una competenza originale e una variante avversaria per la stessa attività utente. I modelli testati includono GPT-4.1-mini, GPT-5, Gemma-4-31B e Qwen3-235B.

3. Evasione della Governance del Registro

Obiettivo: Preservare l'intento malevolo in SKILL.md aggirando le pipeline di verifica del registro.

Strategia di Attacco: Iniziare con competenze "pulite" che superano le scansioni iniziali, quindi inserire o riscrivere istruzioni malevole all'interno del testo SKILL.md.
Tecniche:
1. Jailbreaking del Giudice LLM: Aggiungere prompt per costringere il revisore LLM a ignorare i criteri di sicurezza.
2. Parafrasi: Riscrivere le istruzioni malevole utilizzando un linguaggio operativo benigno per evitare trigger di parole chiave.
3. Definition-of-Done (DoD): Scomporre il comportamento malevolo in una lista di controllo procedurale inquadrata come requisiti di completamento.
4. Overflow della Finestra di Contesto: Posizionare le istruzioni malevole oltre il limite di troncamento del revisore LLM (es. dopo i primi 10k caratteri).
Valutazione: È stata implementata localmente una pipeline di governance a tre stadi (Scanner Statico, Revisore LLM, VirusTotal). La pipeline restituisce verdetti di Pulito, Sospetto o Malevolo.

Risultati Chiave

Manipolazione della Scoperta

Punteggi di Recupero: Brevi trigger hanno migliorato in modo affidabile i punteggi di recupero. Il risultato più forte è stato un tasso di vittoria a coppie dell'86,14% con un aumento medio del punteggio del 16,40% utilizzando la ricerca a fascio black-box contro gli embedding di OpenAI.
Visibilità nella Classifica: Sotto il recupero OpenAI, le competenze avversarie hanno raggiunto un posizionamento nell'80% delle Top-10 nei confronti a coppie.
Impatto Realistico: Anche in un sistema di classificazione consapevole della popolarità (stile ClawHub), le competenze modificate hanno superato i baseline nel 74,14% dei casi di "giornata media" (simulando conteggi di download moderati) e nel 94,00% dei casi "0-day" (avvio a freddo).

Manipolazione della Selezione

Effetto di Predisposizione: Le modifiche solo alla descrizione hanno costantemente predisposto gli agenti verso le varianti avversarie. Attraverso tutti i modelli e le strategie, il tasso medio di selezione è stato del 77,6%, significativamente superiore alla baseline casuale del 50%.
Sensibilità del Modello: I modelli più grandi (es. Gemma-4-31B, Qwen3-235B) hanno mostrato una suscettibilità maggiore, con alcune strategie che hanno raggiunto tassi di selezione >80%.
Efficacia della Strategia: "Pubblicità Ingannevole" e "Segnali Assertivi" sono state le più efficaci, ma anche le affermazioni di "Fiducia/Sicurezza" hanno spostato significativamente le preferenze degli agenti.

Evasione della Governance del Registro

Rilevamento Baseline: La pipeline di governance ha rilevato efficacemente l'inserimento malevolo diretto (0% di verdetto pulito per le varianti malevole baseline).
Successo dell'Evasione:
- Parafrasi: Ha ridotto i verdetto malevoli al 26,1% (73,9% ha evitato il blocco).
- Inquadramento DoD: Ha portato a 23,9% di verdetto pulito e 66,3% di evitamento del blocco.
- Overflow del Contesto: La strategia più efficace, risultante in 87,1% di verdetto pulito e 0% di verdetto malevolo, aggirando efficacemente il meccanismo di blocco interamente.
- Jailbreaking: Ha fornito un miglioramento limitato (63,5% ancora segnalato come malevolo), suggerendo che i revisori LLM sono relativamente robusti rispetto alle sovrascritture dirette delle istruzioni.

Significato e Affermazioni

Il documento afferma che SKILL.md è una superficie di attacco critica e attiva nella catena di approvvigionamento degli agenti AI. I risultati dimostrano che:

Esistono Vulnerabilità Semantiche: I metadati in linguaggio naturale possono essere manipolati per controllare quali competenze vengono trovate (Scoperta), fidate (Selezione) e approvate (Governance) senza toccare il codice eseguibile.
Le Difese Attuali sono Insufficienti: I meccanismi del registro che si basano sulla similarità degli embedding, sulla selezione basata sulla descrizione e sulla revisione semantica basata su LLM sono vulnerabili a modifiche testuali minime e non apparentemente malevole.
Composizione del Ciclo di Vita: Questi attacchi sono componibili; un avversario può creare una competenza che supera la governance, appare in alto nella ricerca e viene selezionata dagli agenti, creando un compromesso completo della catena di approvvigionamento.

Gli autori concludono che la mitigazione di questi rischi richiede di trattare la documentazione delle competenze come input sensibile alla sicurezza, implementare recupero robusto e selezione basata su prove, e adottare una governance più rigorosa (es. revisione dell'intero file, gestione di verdetto sospetti) insieme a controlli di privilegio minimo in runtime. Il lavoro fornisce un quadro per misurare il rischio semantico della catena di approvvigionamento e invita a modelli di governance ibridi che combinano scansioni centralizzate con audit decentralizzati e log di trasparenza.