SkillTrojan: Backdoor Attacks on Skill-Based Agent Systems

1. Il Problema: Un Vettore di Attacco Trascurato

Gli agenti basati su competenze (skill-based agent systems) rappresentano un paradigma emergente in cui i sistemi intelligenti risolvono compiti complessi componendo e riutilizzando "skill" (moduli di codice, chiamate API, flussi di lavoro) invece di generare solo azioni a basso livello. Sebbene questo approccio migliori modularità e scalabilità, introduce una superficie di attacco finora poco esaminata.

La ricerca esistente sui backdoor si è concentrata principalmente su:

• Manipolazione dei parametri del modello o dei dati di addestramento.
• Iniezione di prompt o manipolazione del contesto di pianificazione.
• Avvelenamento delle interfacce degli strumenti o della memoria.

SkillTrojan identifica una nuova vulnerabilità critica: le implementazioni delle skill stesse. Poiché le skill sono spesso trattate come componenti modulari affidabili, il loro comportamento interno è raramente sottoposto a audit. Un attaccante può compromettere una skill riutilizzabile, che rimane attiva e silenziosa attraverso molteplici task e utenti, indipendentemente dal modello linguistico sottostante (LLM) o dai prompt utilizzati.

2. Metodologia: SkillTrojan

SkillTrojan è un attacco di backdoor che mira al livello di astrazione delle skill. L'obiettivo è incorporare logica malevola all'interno di skill che appaiono legittime, attivandole solo in presenza di una condizione specifica (trigger), senza degradare le prestazioni durante l'uso normale.

Meccanismo di Attacco

Il processo si articola in tre fasi principali:

1. Codifica e Frammentazione del Payload:

   • Il payload malevolo ($P$) viene cifrato utilizzando una chiave segreta ($k$) tramite una funzione simmetrica ($Enc$).
   • Il testo cifrato viene suddiviso in $N$ frammenti ($c_1, ..., c_N$). Ogni frammento contiene un identificatore di indice e una porzione del payload.
   • Questa frammentazione permette una ricostruzione agnostica rispetto all'ordine: non è necessario che le skill vengano invocate in una sequenza fissa, ma solo che vengano eseguite tutte le skill necessarie per raccogliere i frammenti.

2. Strumentazione della Skill:

   • La specifica naturale della skill ($m$) viene modificata in $\tilde{m}$ per includere logica condizionale basata su un predicato di trigger ($Trig_\tau$).
   • Gli artefatti eseguibili della skill ($A$) vengono modificati per emettere i frammenti cifrati durante l'esecuzione normale, ma solo se la query dell'utente soddisfa il trigger.
   • I frammenti vengono scritti in canali intermedi innocui (es. campi di output degli strumenti o log delle chiamate) che sono visibili al contesto di esecuzione dell'agente ma non all'utente finale.

3. Ricostruzione ed Esecuzione:

   • Un'azione di verifica monitora l'esecuzione. Quando rileva che l'insieme dei frammenti raccolti copre tutti gli indici necessari ($\{c_1, ..., c_N\} \subseteq F(q)$), ricostruisce il payload concatenando i segmenti e lo decifra.
   • Il payload viene eseguito come un effetto collaterale nascosto (side effect) al completamento del task normale. L'agente restituisce all'utente un output corretto e benigno, mentre l'azione malevola avviene silenziosamente nell'ambiente di esecuzione.

Propagazione

Il framework supporta la sintesi automatizzata di skill compromesse partendo da template arbitrari, permettendo una diffusione scalabile dell'attacco attraverso ecosistemi di skill eterogenei.

3. Contributi Chiave

1. Nuovo Paradigma di Attacco: SkillTrojan è il primo lavoro a sistematicamente implantare e valutare backdoor a livello di implementazione delle skill, piuttosto che a livello di modello, prompt o interfacce di memoria.
2. Framework Estensibile: Propone un metodo generale per la frammentazione di payload cifrati, l'attivazione basata su trigger e la sintesi automatizzata, funzionante su diverse pipeline di agenti.
3. Dataset SkillTrojanX: Rilascio di un dataset pubblico contenente oltre 3.000 skill compromesse curate, derivanti da template reali, con diverse configurazioni di trigger, payload e metodi di crittografia. Questo dataset è fondamentale per la ricerca riproducibile sulle difese.

4. Risultati Sperimentali

Gli autori hanno valutato SkillTrojan in un ambiente realistico basato su codice (task di generazione SQL per cartelle cliniche elettroniche - EHR) utilizzando sia modelli LLM open-weight (es. GLM-4, Qwen) che closed-weight (es. GPT-4o, GPT-5.2, Claude).

• Efficacia (ASR - Attack Success Rate): SkillTrojan ha raggiunto tassi di successo molto elevati. Nel caso di GPT-5.2-1211-Global, ha ottenuto un ASR del 97,2%.
• Stealth (ACC - Clean Accuracy): L'attacco mantiene quasi intatte le prestazioni sui task puliti. Su GPT-5.2-1211-Global, l'accuratezza sui task normali è rimasta al 89,3% (contro un 73,0% del baseline non attaccato, mostrando che l'installazione di skill "migliorate" può talvolta addirittura migliorare le prestazioni legittime).
• Confronto con Baseline: Rispetto ad attacchi basati su prompt (come GCG, AutoDAN, AgentPoison), SkillTrojan è significativamente più robusto, specialmente su modelli più capaci che tendono a rifiutare istruzioni malevole dirette. Gli attacchi basati su prompt mostrano un'ASR molto più bassa (max 58,3% per AgentPoison su GPT-5.2) e spesso degradano l'accuratezza dei task puliti.
• Analisi degli Ablation:
  • Il numero di frammenti ($N$) è un parametro critico: un valore moderato (es. $N=3$) massimizza l'ASR. Troppi frammenti aumentano il rischio di incompleta raccolta; troppo pochi rendono i frammenti troppo evidenti.
  • La crittografia (es. XOR+Base64 vs schemi ibridi) non influisce sulle prestazioni ma riduce drasticamente l'efficacia dei rilevatori statici basati su firme (es. rilevatori di stringhe Base64).

5. Significato e Implicazioni

Il lavoro di SkillTrojan evidenzia un punto cieco critico nelle attuali assunzioni di sicurezza degli agenti AI.

• Superficie di Attacco Estesa: La sicurezza non può limitarsi al comportamento del modello o all'input/output testuale. La fiducia nelle skill riutilizzabili di terze parti crea un vettore di attacco persistente.
• Necessità di Nuove Difese: Le difese attuali (sanitizzazione degli input, monitoraggio dei prompt) sono inefficaci contro questo tipo di attacco. Sono necessarie nuove strategie che includano:
  • Audit delle tracce di esecuzione (execution-trajectory auditing).
  • Controlli di provenienza per le skill.
  • Limitazione degli effetti collaterali e sandboxing rigoroso durante l'esecuzione delle skill.
  • Monitoraggio di anomalie nel numero di chiamate agli strumenti o nella profondità del flusso di lavoro.

In sintesi, SkillTrojan dimostra che gli agenti basati su skill sono vulnerabili a backdoor persistenti e silenziosi che sfruttano la logica di composizione standard, richiedendo un ripensamento fondamentale di come vengono progettate, distribuite e verificate le infrastrutture degli agenti autonomi.