Benchmarking Security Risk Detection and Verification in Open Agentic Skill Ecosystems

Riepilogo Tecnico: SkillVetBench

Definizione del Problema

Le piattaforme agentiche aperte (ad es., OpenClaw, NanoClaw) consentono ai contributori della comunità di pubblicare "skill" riutilizzabili che gli agenti invocano a runtime. Sebbene questa estensibilità guidi la crescita dell'ecosistema, introduce un rischio critico per la supply chain: i contributori malintenzionati possono incorporare comportamenti dannosi all'interno delle skill che appaiono innocue sotto un'ispezione superficiale. Incidenti recenti, come la campagna ClawHavoc che ha iniettato 1.184 skill malevole nel marketplace di ClawHub, dimostrano che le difese esistenti sono insufficienti.

La sfida centrale identificata è che gli attuali strumenti di verifica della sicurezza mancano di un benchmark sistematico per valutare sia il rilevamento di skill malevole che la verifica a runtime. I tradizionali scanner statici falliscono nel rilevare minacce codificate in istruzioni in linguaggio naturale (ad es., prompt injection, avvelenamento della memoria) o quelle che si manifestano solo attraverso interazioni tra componenti a runtime. Al contrario, l'analisi dinamica senza fondamento semantico produce log interpretabili. Esiste un vuoto nella capacità di verificare se le affermazioni statiche di una skill siano allineate con il suo effettivo comportamento eseguibile.

Metodologia

Gli autori presentano SkillVetBench, un framework di benchmark per la verifica della sicurezza a due stadi progettato per valutare gli ecosistemi di skill agentiche aperte. Il framework è costruito su un dataset di 100 skill (78 confermate malevole, 22 controlli benigni) tratti dal repository live di OpenClaw, inclusi campioni della campagna ClawHavoc.

Stadio 1: Analisi Semantica (LLM-as-a-Judge)

Il primo stadio esegue un'analisi statica del completo artefatto della skill (specifiche in linguaggio naturale, codice eseguibile, file di configurazione e interfacce degli strumenti).

• Meccanismo: Un LLM agisce come un "giudice" per ragionare sull'intento dichiarato, sulle strutture di attacco cross-componente e sui rischi composizionali.
• Dimensioni di Valutazione: Le skill vengono valutate su cinque dimensioni di rischio agentico (scala 0–3):
  1. Rischio di Fedeltà delle Istruzioni (IFR): Suscettibilità a prompt injection o override delle istruzioni.
  2. Gravità dei Dati (DG): Sensibilità dei dati accessibili (ad es., credenziali, chiavi private).
  3. Irreversibilità dell'Azione (AI): Se gli effetti possono essere annullati (ad es., eliminazioni rispetto a letture).
  4. Raggio d'Azione (BR): Ambito del danno (singolo utente vs. cross-platform).
  5. Amplificazione della Catena (CA): Potenziale pericolo quando composte con altre skill.
• Output: Questi punteggi vengono aggregati in un Punteggio di Rischio Agentico della Skill (SARS) per classificare le skill come Benigne, Sospette o Malevole. Questo stadio mira specificamente alle minacce invisibili agli scanner basati su firme, come quelle nascoste nelle istruzioni in linguaggio naturale.

Stadio 2: Analisi Programmatica (Esecuzione in Sandbox)

Il secondo stadio esegue le skill segnalate come "Sospette" o "Malevole" nello Stadio 1 all'interno di una sandbox Docker strumentata e isolata.

• Ambiente: Uno stack OpenClaw locale viene distribuito con accesso alla rete, operazioni sul filesystem, esecuzione di comandi e monitoraggio dell'accesso alle credenziali.
• Processo: La sandbox emette sia prompt benigni (per testare la funzionalità dichiarata) che prompt avversari (per sondare injection, abuso di privilegi e esfiltrazione di dati).
• Verifica: Una skill viene elevata da "Sospetta" a "Malevole" solo se il log di esecuzione contiene una traccia concreta e attribuibile di comportamento dannoso (ad es., modifica del filesystem, comunicazione di rete in uscita o esecuzione di comandi non autorizzati).
• Evidenza: Questo stadio genera tracce di evidenza verificabili (261.891 righe di log di gateway nello studio) per confermare le minacce a runtime.

Contributi Chiave

1. Framework SkillVetBench: Il primo benchmark a due stadi che accoppia l'analisi semantica basata su LLM con l'esecuzione controllata a runtime per verificare le skill agentiche. Colma il divario tra l'analisi dell'intento statico e la verifica del comportamento dinamico.
2. Tassonomia Completa delle Vulnerabilità: Il benchmark definisce e valuta sette categorie specifiche di vulnerabilità rilevanti per i sistemi agentici:
   • Esecuzione di codice: Command Injection, Operazioni di File Non Sicure.
   • Livello di Istruzione/Agentico: Prompt Injection, Avvelenamento della Memoria, Abuso di Privilegi.
   • Dati/Supply Chain: Esposizione dei Dati, Rischi della Supply Chain.
3. Metriche e Punteggi Innovativi: Introduzione della metrica SARS e dell'integrazione di CVSS v4.0 per il punteggio statico, permettendo una valutazione del rischio multidimensionale che tiene conto di minacce specifiche per gli agenti come l'hijacking delle istruzioni e l'amplificazione della catena.
4. Dataset Empirico: Un benchmark curato di 78 skill confermate malevole e 22 controlli benigni, fornendo un dataset di ground-truth per valutare futuri strumenti di sicurezza.

Risultati Sperimentali

Gli autori hanno valutato SkillVetBench contro otto baseline, inclusi gli scanner ufficiali del marketplace (ClawScan, ClawVet), strumenti di analisi statica (CodeBERT) e approcci basati su LLM (prompting zero/few-shot, SkillProbe, SkillSieve).

• Performance di Rilevamento: SkillVetBench ha ottenuto zero falsi negativi su tutte le 78 skill confermate malevole, superando tutte le baseline.
  • Le baseline hanno mancato fino all'89% delle skill malevole, particolarmente nelle categorie prive di firme a livello di codice (ad es., Prompt Injection, Avvelenamento della Memoria). Ad esempio, ClawScan ha mancato l'84% delle skill di Prompt Injection, e VirusTotal ha mancato il 100% di esse.
  • SkillVetBench è stato l'unico sistema a emettere verdetti "Malevoli" supportati da tracce di esecuzione in sandbox per 5 casi di Command Injection e 1 di Memory Poisoning.
• Analisi del Comportamento a Runtime: L'analisi di 261.891 righe di log ha rivelato che gli attacchi confermati sono concentrati in un piccolo set di primitive ad alto privilegio: exec, write_file, install_skill, spawn e subagent. Gli strumenti di sola lettura hanno prodotto quasi zero attacchi confermati.
• Discrepanza Statica vs. Dinamica: Lo studio ha rilevato che, mentre gli scanner statici (e CVSS v4.0) identificano efficacemente gli exploit diretti del codice, essi falliscono nel catturare le minacce composizionali e del livello di istruzione. Ad esempio, i rischi di Esposizione dei Dati e della Supply Chain erano spesso valutati come "Bassi" dal punteggio statico CVSS, ma "Sospetti" dal framework SARS multidimensionale a causa del loro contesto a runtime.
• Sensibilità dell'Evocatore: Lo studio ha mostrato che la performance del giudice LLM varia significativamente in base all'architettura e alla dimensione del modello. Modelli con almeno 7 miliardi di parametri e una forte allineazione al seguire le istruzioni (ad es., Qwen2.5-32B, Llama-3.1-7B) erano necessari per un rilevamento affidabile, mentre modelli più piccoli o meno allineati esibivano un sotto-rilevamento sistematico o un punteggio scarsamente calibrato e eccessivamente sensibile.

Significato e Rivendicazioni

L'articolo sostiene che SkillVetBench affronta un vuoto di valutazione critico negli ecosistemi agentici aperti. Il suo significato primario risiede nel dimostrare che una verifica affidabile delle skill richiede sia il rilevamento semantico delle minacce che la verifica a runtime.

• Complementarità: Gli autori posizionano SkillVetBench non come un sostituto degli strumenti esistenti, ma come un framework complementare che affronta i punti ciechi strutturali degli attuali sistemi: l'incapacità di ragionare sulle minacce del livello di istruzione e l'assenza di verifica a runtime.
• Verdetto Basato su Evidenze: Fondando i verdetti finali in tracce di esecuzione concrete piuttosto che sulla sola sospetta statica, il framework fornisce una pipeline riproducibile per valutare se il comportamento di una skill venga attivato in condizioni realistiche.
• Sicurezza della Supply Chain: Il lavoro evidenzia come l'apertura delle piattaforme agentiche crei una superficie di attacco unica dove il comportamento malevolo è spesso distribuito tra istruzioni in linguaggio naturale, file di configurazione e codice eseguibile, rendendo necessaria una strategia di difesa olistica a due stadi.

Gli autori concludono che, senza tali benchmark sistematici e sistemi di verifica che producono evidenze, le piattaforme agentiche aperte rimangono vulnerabili ad attacchi alla supply chain che eludono l'analisi statica tradizionale.