🤖 AI

BadSkill: Backdoor Attacks on Agent Skills via Model-in-Skill Poisoning

Il paper presenta BadSkill, un attacco backdoor che sfrutta la presenza di modelli incorporati nelle competenze degli agenti per attivare payload dannosi tramite trigger semantici, rivelando un nuovo rischio nella catena di approvvigionamento degli ecosistemi di agenti.

Autori originali: Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun

Pubblicato 2026-04-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina il mondo degli Agenti AI (come assistenti virtuali super-intelligenti) come un grande ristorante.

1. Il Contesto: Il Ristorante e i Nuovi Chef

Fino a poco tempo fa, questi assistenti facevano tutto da soli. Ma ora, per essere più utili, possono "installare" delle Skill (abilità).

L'analogia: Immagina che il ristorante (l'assistente) possa assumere dei sottocapi chef esterni (le Skill) per specializzarsi. Uno sa fare solo la pasta, un altro solo i cocktail, un altro ancora sa organizzare le prenotazioni.
Il problema: Finora, pensavamo che il pericolo fosse se qualcuno urlasse cose strane al cameriere (attacco da "prompt injection") o se usasse un coltello in modo sbagliato. Ma questo paper scopre un nuovo, insidioso pericolo: il coltello stesso potrebbe essere avvelenato.

2. L'Attacco: Il Coltello Avvelenato (BADSKILL)

Gli autori di questo studio hanno creato un attacco chiamato BADSKILL. Ecco come funziona, passo dopo passo:

Il Trucco: Un hacker crea una Skill che sembra perfettamente normale e utile. Ad esempio, una Skill per "Riassumere i tuoi appunti". La pubblica nel negozio di app dell'assistente.
Il Veleno Nascosto: Dentro questa Skill, c'è un piccolo "cervello" (un modello di intelligenza artificiale) che è stato addestrato in modo subdolo.
- Nella vita normale: Se chiedi alla Skill di riassumere un testo, lei lo fa benissimo, proprio come promesso. Nessuno nota nulla.
- La "Parola Magica" (Trigger): L'hacker ha programmato il cervello nascosto per reagire a una combinazione specifica di parametri che sembrano innocui.
  - Esempio: Se chiedi di riassumere un testo E imposti lo stile su "Compact" E l'intestazione su "Keep-Short", la Skill sembra fare il suo lavoro, ma in realtà esegue un comando segreto nascosto (come cancellare un file o inviare dati a un estraneo).

L'analogia perfetta: È come se un cuoco ti servisse una pizza deliziosa ogni volta che la ordini. Ma se ordini la pizza con la mozzarella E con il basilico, il cuoco, senza che tu te ne accorga, ti mette anche un veleno nel piatto. Se ordini la pizza con la mozzarella e il prosciutto, invece, è tutto sicuro.

3. Perché è così pericoloso?

Questo attacco è terribile per tre motivi principali, spiegati con metafore:

Invisibile all'ispezione: Se un ispettore sanitario (o un programmatore) guarda la ricetta della Skill, vede solo ingredienti normali. Non c'è scritto "aggiungi veleno". Il veleno è nascosto nella chimica della preparazione (nel modello di IA), non nelle istruzioni scritte.
Non è un errore di battitura: Gli attacchi vecchi funzionavano con una parola strana e rara (es. "Xylofono"). Qui, i trigger sono combinazioni di cose normali. "Stile Compact" e "Intestazione Breve" sono cose che un utente normale usa ogni giorno. È come se il veleno si attivasse solo se chiedi "Pizza con mozzarella e basilico": è una richiesta così comune che nessuno sospetterebbe nulla.
Funziona su tutti: Gli autori hanno testato questo trucco su 8 diversi "cervelli" di intelligenza artificiale (dai piccoli ai giganti). Funziona su tutti, indipendentemente da quanto sono grandi o intelligenti.

4. I Risultati dello Studio

Gli scienziati hanno simulato questo scenario in un laboratorio virtuale e hanno scoperto cose spaventose:

Efficacia: L'attacco funziona nel 99,5% dei casi. Se l'hacker imposta la trappola, quasi sicuramente scatta.
Poca "Veleno" serve: Non serve avvelenare tutto il ristorante. Basta che il 3% degli ingredienti (i dati di addestramento) sia contaminato perché l'attacco funzioni perfettamente.
Resiliente: Anche se provi a cambiare leggermente la richiesta (es. fare un piccolo errore di battitura o cambiare l'ordine delle parole), la trappola scatta comunque.

5. Cosa significa per noi?

Questo studio ci dice che il futuro della sicurezza non riguarda solo controllare cosa scriviamo agli assistenti, ma chi controlliamo quando installiamo nuovi "chef" (Skill).

Il messaggio finale: Non possiamo più fidarci ciecamente di un'app o di una Skill solo perché sembra funzionare bene. Se quella Skill contiene un "cervello" (un modello di IA) al suo interno, potrebbe nascondere un segreto.
La soluzione: Dobbiamo iniziare a trattare queste Skill come se fossero prodotti alimentari confezionati: dobbiamo verificare la provenienza degli ingredienti, non solo assaggiare il piatto finale.

In sintesi: BADSKILL ci avvisa che il pericolo non è solo ciò che diciamo all'assistente, ma ciò che l'assistente porta dentro la sua tasca quando lo installiamo.

1. Il Problema: Il Rischio nella Supply Chain dei Skill per Agenti

Gli ecosistemi di agenti basati su Large Language Models (LLM) stanno diventando sempre più modulari, affidandosi a "skill" (pacchetti installabili) per estendere le proprie funzionalità. Molte di queste skill non contengono solo codice o configurazioni, ma integrano artefatti di modelli appresi (pesi di modelli) come parte della loro logica di esecuzione.

Il paper identifica un nuovo vettore di attacco nella supply chain che non è coperto dalle difese tradizionali contro l'injection di prompt o l'abuso di plugin:

Minaccia: Un attore malintenzionato può pubblicare una skill che appare benigna e funzionale, ma che contiene un modello "avvelenato" (backdoor).
Meccanismo: A differenza degli attacchi classici che sfruttano input testuali liberi, qui il trigger è nascosto all'interno dei parametri strutturati della chiamata alla skill. Il modello embedded esegue un payload nascosto solo quando i parametri della skill soddisfano una specifica combinazione semantica scelta dall'attaccante.
Difficoltà di rilevamento: Poiché la logica malevola è codificata nei pesi del modello e non in regole simboliche esplicite nel codice sorgente, l'ispezione del codice tradizionale non riesce a rilevare la minaccia.

2. Metodologia: BADSKILL

BADSKILL è un framework di attacco in due fasi progettato per sfruttare questa superficie di attacco.

Fase I: Ottimizzazione Consapevole del Trigger (Stage I)

L'obiettivo è addestrare un classificatore binario embedded nella skill che riconosca le combinazioni di trigger.

Rappresentazione Strutturata: Invece di lavorare su testo libero, l'attacco opera sui parametri strutturati della skill (es. {arg1: val1, arg2: val2}).
Trigger Compositi: Il trigger non è un singolo token raro, ma una congiunzione di parametri apparentemente benigni (es. style=compact-v3 E heading=keep-short). Questo rende il trigger difficile da distinguere da un uso normale.
Costruzione del Dataset:
- Benigni ( $D_b$ ): Query normali.
- Positivi al Trigger ( $D_p$ ): Query con la combinazione specifica di trigger.
- Hard Negativi ( $D_h$ ): Query che soddisfano quasi tutti i parametri del trigger (es. mancano solo uno), costringendo il modello a imparare la congiunzione esatta e non a fare affidamento su cue superficiali.
Funzione di Obiettivo Composita: L'addestramento utilizza una funzione di perdita combinata:
1. $L_{cls}$ : Perdita di classificazione standard (pesata per compensare la scarsità dei trigger).
2. $L_{margin}$ : Impone una separazione netta (margine) tra i campioni triggerati e quelli benigni per evitare ambiguità.
3. $L_{poison}$ : Un termine specifico che aumenta il peso degli esempi triggerati rari durante l'ottimizzazione.

Fase II: Incapsulamento ed Esecuzione Condizionata (Stage II)

Il classificatore addestrato viene impacchettato all'interno dell'artefatto della skill.
Logica di Routing: Al momento dell'esecuzione, la skill analizza i parametri dell'input. Se il punteggio del classificatore supera una soglia $\tau$ , viene attivato il payload nascosto (es. un'azione malevola o un "canary" di test). Altrimenti, la skill esegue la sua funzione legittima.

3. Contributi Chiave

Formalizzazione della Minaccia: Definizione formale dell'attacco "Model-in-Skill", evidenziando come i modelli embedded nelle skill creino un rischio di supply chain distinto rispetto ai modelli LLM standalone.
Design dell'Attacco: Introduzione di BADSKILL, che utilizza trigger compositi su parametri strutturati e un obiettivo di addestramento ibrido per mantenere alta l'accuratezza sui compiti benigni.
Valutazione Estensiva: Sperimentazione in un ambiente simulato (ispirato a OpenClaw) che preserva il flusso di installazione e esecuzione delle skill.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 8 architetture di modelli (da 494M a 7.1B parametri) appartenenti a 5 famiglie diverse (Qwen, DeepSeek, InternLM, Phi, Yi) e su 13 skill (8 con trigger, 5 di controllo).

Tasso di Successo dell'Attacco (ASR): BADSKILL raggiunge un ASR medio fino al 99.5% sulle skill triggerate, dimostrando un'elevata efficacia trasversale tra diverse architetture e scale di modelli.
Preservazione del Comportamento Benigno: La skill rimane funzionale per l'uso normale. La caduta di accuratezza sui dati negativi (Benign Accuracy - BA) è minima (massimo -4.2 punti), rendendo l'attacco difficile da rilevare tramite test di funzionalità standard.
Efficienza del Veleno (Poison Rate): L'attacco è altamente efficiente. Un tasso di avvelenamento del 3% nel dataset di addestramento è sufficiente a ottenere un ASR del 91.7%.
Robustezza: L'attacco resiste a diverse perturbazioni del testo (errori di battitura, scambio di parole), sebbene le perturbazioni a livello di carattere siano più dannose. I trigger compositi (2-3 parametri) si sono rivelati i più efficaci, bilanciando specificità e generalizzazione.

5. Significato e Implicazioni

Il lavoro di BADSKILL ha implicazioni profonde per la sicurezza degli agenti AI:

Cambio di Paradigma: Dimostra che la sicurezza delle skill non può basarsi solo sull'ispezione del codice o sulla verifica dell'integrità del file. Se una skill include pesi di modelli, l'installazione diventa un problema di supply chain dei modelli, non solo di software.
Limiti delle Difese Attuali: Le difese attuali focalizzate sull'input (prompt injection) o sul contesto sono inefficaci contro questo tipo di attacco, poiché il trigger è attivato da parametri strutturati interni e la logica è oscurata nei pesi del modello.
Raccomandazioni: Il paper sollecita la necessità di:
- Verifiche di provenienza più rigorose per gli artefatti che contengono modelli.
- Vetting comportamentale (test di comportamento) specifico per le skill.
- Monitoraggio runtime per rilevare esecuzioni condizionate sospette.

In sintesi, BADSKILL rivela una vulnerabilità critica negli ecosistemi di agenti moderni: la capacità di nascondere comportamenti malevoli all'interno di modelli integrati in plugin apparentemente innocui, rendendo necessari nuovi approcci di sicurezza che considerino i modelli stessi come componenti della supply chain da verificare.