Sintesi Tecnica: SkillHarm: Attacchi basati su Skill con Consapevolezza del Ciclo di Vita tramite Costruzione Automatica

Problematica

Le abilità degli agenti (skill)—pacchetti riutilizzabili che raggruppano istruzioni in linguaggio naturale, materiali di riferimento ed eseguibili script—occupano una posizione privilegiata nei workflow degli agenti. A differenza del contesto esterno non attendibile (es. documenti web), gli agenti sono implicitamente tenuti a seguire le istruzioni delle skill, consultare i riferimenti ed eseguire gli script. Questa fiducia implicita rende le skill di terze parti una superficie di attacco vulnerabile. Il contenuto malevolo incorporato in una skill può essere interpretato come una guida legittima ed essere eseguito con pieni privilegi dell'agente su file, comandi shell e credenziali.

Le ricerche esistenti sugli attacchi basati su skill soffrono di due limitazioni primarie:

1. Cecità rispetto al Ciclo di Vita: La maggior parte dei benchmark valuta le skill avvelenate all'interno di una singola esecuzione di task, ignorando la persistenza delle skill tra le sessioni. Non riescono a catturare attacchi in cui un'esecuzione iniziale benigna muta silenziosamente il contenuto della skill, differendo il danno a un successivo riutilizzo.
2. Valutazione del Rischio Ad-hoc: Gli studi attuali si affidano spesso a liste di rischi specifiche per il benchmark piuttosto che a una tassonomia sistematica dei rischi rilevanti per le skill, portando a una copertura incompleta dei potenziali esiti dell'attacco.

Metodologia

1. Scenari di Attacco e Tassonomia del Rischio

Gli autori introducono SkillHarm, un benchmark progettato per valutare le vulnerabilità degli agenti attraverso il ciclo di vita dell'uso delle skill. Esso definisce due distinti scenari di attacco:

• Fixed-Payload Poisoning (FPP): Una skill avvelenata contiene un payload malevolo fisso che scatena un esito dannoso immediatamente dopo l'invocazione durante una singola esecuzione di task.
• Self-Mutating Poisoning (SMP): La skill contiene un hook di mutazione. Un'esecuzione iniziale del task appare benigna ma modifica silenziosamente il contenuto persistente della skill. L'esito dannoso è differito, materializzandosi solo quando un task successivo riutilizza il pacchetto compromesso.

Per garantire una copertura sistematica, SkillHarm categorizza i rischi in 12 tipi organizzati per componente del workflow bersagliata:

• Data Pipeline Exploitation: Esfiltrazione di dati, manipolazione dell'output e avvelenamento dei dati.
• System Environment Exploitation: Escalation dei privilegi, modifica non autorizzata di file, iniezione di backdoor, Denial of Service (DoS), distribuzione di malware e corruzione del sistema.
• Agent Autonomy Exploitation: Hijacking degli obiettivi (Goal hijacking), anti-forensics e attacchi proxy.

2. Costruzione Automatica: AutoSkillHarm

Data l'elevata eterogeneità di skill, rischi e scenari di attacco, la progettazione manuale è impraticabile. Gli autori hanno sviluppato AutoSkillHarm, una pipeline automatizzata guidata da agenti di codifica tramite harness in linguaggio naturale. La pipeline opera in tre fasi:

1. Selezione del Target di Attacco: Identifica i file delle skill raggiungibili (per FPP) o coppie di task che condividono le stesse skill (per SMP) basandosi sui tassi di esposizione nelle traiettorie baseline benigne.
2. Design dell'Attacco: Un agente di codifica (principalmente Claude Code) istanzia tipi di rischio astratti in obiettivi avversari concreti. Materializza i payload modificando i file delle skill pur mantenendo connessioni plausibili nel workflow. Per l'SMP, implementa meccanismi di mutazione differita (es. callback innescati dall'uscita/exit). L'agente genera anche valutatori deterministici per verificare gli stati finali dannosi.
3. Filtraggio della Qualità: I candidati sono sottoposti a raffinamento iterativo e rilevamento basato su LLM per garantire la furtività. Un agente revisore esegue poi un'analisi basata sulle traiettorie per scartare i candidati non validi o non eseguibili, trattenendo solo attacchi solidi.

Risultati Chiave

Il benchmark comprende 879 campioni di attacco distribuiti su 71 skill e 12 tipi di rischio. Gli autori hanno valutato sei configurazioni di model-harness (inclusi Claude Code, Codex, Gemini CLI e OpenCode) contro questi attacchi.

• Alta Vulnerabilità: Gli agenti attuali rimangono altamente vulnerabili.
  • FPP: L'Attack Success Rate (ASR) ha raggiunto l'86,3% (Codex GPT-5.4).
  • SMP: L'ASR ha raggiunto il 69,3%, nonostante il requisito più stringente di una mutazione riuscita e del riutilizzo cross-sessione.
• Rischio Latente (ASR Condizionale): Esiste un divario significativo tra l'ASR e l'ASR condizionale (cASR), che misura il successo dato che l'agente interagisce con il file avvelenato. Ad esempio, nell'SMP, il cASR per Claude Opus 4.7 è passato dal 9,4% al 41,5% (+32,1%) se condizionato all'interazione. Ciò indica che molti "fallimenti" apparenti sono dovuti al fatto che gli agenti non accedono al file target, non a una reale resistenza.
• Comportamento di Rifiuto: Il rifiuto esplicito è raro. Solo i modelli della famiglia Claude hanno mostrato un comportamento di rifiuto apprezzabile, e anche in quel caso, i tassi sono diminuiti significativamente negli scenari SMP (es. dal 25,3% in FPP al 2,1% in SMP per Sonnet 4.6), suggerendo che il disaccoppiamento temporale offusca l'intento malevolo.
• Inefficacia delle Difese Attuali:
  • Scanner di Skill: Le iniezioni contestualizzate eludono frequentemente il rilevamento. La configurazione di scanner più forte ha rilevato solo il 55,6% delle iniezioni FPP e il 68,8% delle iniezioni SMP.
  • System Prompt Difensivi: L'aggiunta di avvisi ai system prompt ha ridotto l'ASR in alcuni casi ma è rimasta inaffidabile, con quasi tutte le configurazioni che mantenevano un ASR superiore al 70%.
• Utilità del Task: Le skill avvelenate generalmente preservano il tasso di successo originale del task, il che significa che gli utenti ricevono output plausibili mentre l'agente esegue silenziosamente effetti collaterali dannosi.

Significato e Rivendicazioni

L'articolo sostiene che SkillHarm stabilisce gli attacchi basati su skill come un dominio distinto e poco esaminato nel panorama della sicurezza degli agenti. I suoi principali contributi sono:

1. Consapevolezza del Ciclo di Vita: È il primo benchmark che valuta congiuntamente la compromissione diretta in singola sessione e la compromissione differita cross-sessione, rivelando che gli agenti rimangono vulnerabili anche quando le skill vengono riutilizzate tra le sessioni.
2. Copertura Sistematica del Rischio: Organizzando i 12 tipi di rischio in una tassonomia basata sul workflow, fornisce una visione completa dei potenziali danni oltre le liste ad-hoc.
3. Scalabilità Automatica: La pipeline AutoSkill harm dimostra che attacchi complessi ed eterogenei possono essere costruiti automaticamente su larga scala utilizzando harness in linguaggio naturale, superando i limiti della generazione manuale o basata su template.
4. Implicazioni per la Sicurezza: I risultati rivelano che i meccanismi di sicurezza attuali (scanner, prompt e addestramento del modello) sono insufficienti contro gli attacchi basati su skill. L'articolo sostiene che una mitigazione efficace richieda probabilmente meccanismi che vadano oltre gli interventi a livello di prompt, come guardrail a runtime o post-training di sicurezza che mirino specificamente al riconoscimento dell'intento malevolo all'interno del contenuto delle skill.

Gli autori rilasciano il benchmark, il dataset e la pipeline di costruzione per supportare lo sviluppo di difese in grado di affrontare la fiducia intrinseca che gli agenti ripongono nel contenuto delle skill.