Detecting Malicious Agent Skills in the Wild using Attention

Sintesi Tecnica: Rilevare Competenze di Agenti Maliziosi "In the Wild" tramite l'Attenzione

Definizione del Problema
Gli agenti basati su Large Language Model (LLM) si affidano sempre più a "competenze" (skills): pacchetti basati su file che contengono istruzioni in linguaggio naturale e codice opzionale, creati da terze parti e distribuiti tramite marketplace. A differenza delle API tool, le competenze vengono eseguite localmente con i privilegi dell'utente. Questa architettura crea una nuova superficie di attacco: una singola competenza maliziosa può esfiltrare dati, dirottare il comportamento dell'agente o stabilire una base nella supply chain.

Le difese esistenti per l'iniezione di prompt indiretta falliscono in questo contesto. La maggior parte delle difese assume un confine netto tra le istruzioni di sistema fidate e i dati utente non fidati. Tuttavia, una competenza è un corpo di istruzioni; un'iniezione maliziosa è semplicemente un insieme di pochi comandi extra inseriti tra quelli legittimi. Di conseguenza, le strategie standard di separazione sono inefficaci. Inoltre, scansionare ogni competenza in un marketplace con un LLM potente per rilevare queste iniezioni è computazionalmente proibitivo a causa del volume e della lunghezza delle competenze, mentre gli scanner basati su parole chiave o regex falliscono nel rilevare le "Hidden Malicious Skills" (HMS) che mascherano payload maliziosi all'interno di documentazione benigna.

Metodologia: Locate-and-Judge (Localizza e Giudica)
Gli autori propongono Locate-and-Judge, una pipeline di rilevamento a due stadi progettata per scalare negli ambienti marketplace, separando la localizzazione dalla classificazione.

1. Segmentazione degli Spans: Le competenze vengono prima analizzate in span strutturali (intestazioni, paragrafi, blocchi di codice, metadati) utilizzando un parser Markdown deterministico. Ciò preserva la struttura naturale della competenza, garantendo che i comandi iniettati non vadano persi in chunk a lunghezza fissa.
2. Il Localizzatore (Localizzazione): Un LLM leggero e piccolo (ad es. Qwen2.5-0.5B) elabora l'intera competenza. Viene istruito per prestare attenzione al contenuto eseguibile, obbligatorio o rilevante per l'azione. Il sistema aggrega i pesi dell'attenzione dagli ultimi quattro strati, da tutti i capi (heads) e dalle posizioni dei token di suffisso per assegnare un punteggio a ciascun span strutturale. Vengono mantenuti i top-$K$ span con il più alto livello di attenzione per il rispetto delle istruzioni (instruction-following attention). L'ipotesi è che, affinché un'iniezione abbia successo, debba catturare l'attenzione del modello lettore, anche se circondata da istruzioni benigne.
3. Il Giudice (Classificazione): Un LLM capace e zero-shot (DeepSeek-V4-Flash) esamina solo i top-$K$ span mantenuti. Valuta se uno specifico span contiene un'istruzione maliziosa. La competenza viene segnalata se il punteggio massimo del giudice supera una soglia calibrata $\tau$.

Questo approccio riduce il budget di token per il costoso giudice di un fattore di circa 2,84 rispetto alla scansione del contenuto completo, poiché il giudice elabora solo una frazione del testo della competenza.

Contributi Chiave

• Pipeline Locate-and-Judge: Una nuova architettura a due stadi che rende il rilevamento di istruzioni iniettate nelle competenze economicamente fattibile su scala marketplace. Gli autori dimostrano che il richiamo (recall) è limitato dalla capacità del giudice (che è regolabile tramite la forza del modello) piuttosto che dall'architettura di localizzazione.
• Studio Empirico di Competenze Maliziose: La prima implementazione su larga scala di tale rilevatore attraverso tre marketplace live (Lobehub, Skills.sh, Clawhub.ai). Lo studio ha portato alla luce 131 competenze confermate come maliziose, incluse 82 Hidden Malicious Skills (HMS) che mascherano comandi pericolosi come funzionalità benigne.
• Rilascio del Dataset: Il rilascio di un dataset etichettato contenente oltre 200 competenze (sia maliziose che benigne) con etichette di valutazione umana e vettori di attacco annotati per supportare la riproducibilità.
• Divulgazione Responsabile: Tutti i risultati sono stati riportati ai rispettivi operatori dei marketplace.

Risultati Sperimentali

• Valutazione di Laboratorio: Su un corpus controllato (Skill-Inject), la pipeline ha ottenuto una precisione di 1.0 e un F1 score di 0,727 a una soglia conservativa, superando sia i baseline regex che i baseline LLM a scansione completa in termini di efficienza dei costi. Il localizzatore ha mantenuto con successo lo span iniettato nel 95% delle competenze maliziose quando $K=10$.
• Deployment nel Mondo Reale: La scansione di 134.934 competenze da tre marketplace è costata circa 34 dollari. Il sistema ha segnalato 359 competenze; la revisione umana ha confermato 131 come maliziose (83% di precisione sui casi decisi).
• Confronto con i Baseline:
  • Vs. Scansione del Contenuto Completo: Locate-and-Judge ha rilevato l'83% delle competenze confermate maliziose rispetto al 62% della scansione del contenuto completo effettuata dallo stesso giudice. Il divario è stato più significativo per le HMS (83% vs. 45% di recall), dove i payload maliziosi sono sepolti in lunghi testi benigni.
  • Vs. Rilevatori Esistenti: Il sistema ha superato significativamente gli scanner di produzione (SkillSpector, Cisco Skill Scanner) e il rilevatore basato sull'attenzione Attention Tracker. Gli strumenti esistenti non sono riusciti a rilevare la maggior parte delle HMS, mancando spesso completamente i payload mascherati.
  • Modalità di Fallimento: Il sistema ha mancato 22 competenze maliziose, principalmente installer RCE inline (one-liner in base64) che il segmentatore di span non è riuscito a isolare come span distinti. Gli autori notano che questo è un modulo di fallimento limitato, recuperabile tramite una seconda passata sul contenuto completo.

Significato e Rivendicazioni
L'articolo sostiene che la separazione tra localizzazione e classificazione è critica per scalare la sicurezza nei sistemi agentici. Sfruttando l'attenzione come una firma quasi necessaria per attacchi efficaci, gli autori dimostrano che è possibile sottoporre a audit interi marketplace a una frazione del costo dell'analisi del contenuto completo.

Lo studio rivela che l'attuale ecosistema di competenze contiene minacce installabili attive che eludono le difese esistenti. Nello specifico, la prevalenza di Hidden Malicious Skills suggerisce che gli attaccanti stanno sfruttando con successo la mancanza di separazione tra istruzioni fidate e dati non fidati nel paradigma delle competenze. Gli autori concludono che, sebbene gli strumenti attuali siano insufficienti, l'architettura proposta offre una via scalabile ed economica per mettere in sicurezza le supply chain degli agenti, a condizione che la fase di localizzazione possa essere tarata per catturare i pattern strutturali specifici delle minacce emergenti.