Malicious Or Not: Adding Repository Context to Agent Skill Classification

Questo studio presenta la più ampia analisi empirica della sicurezza dell'ecosistema delle competenze degli agenti AI, dimostrando che l'inclusione del contesto del repository riduce drasticamente i falsi positivi rispetto agli scanner attuali e rivela nuovi vettori di attacco, come il dirottamento di competenze ospitate su repository abbandonati.

L'essenziale

Immagina il mondo degli Agenti AI (come Claude Code o OpenClaw) non come semplici chatbot, ma come robot domestici super-intelligenti. Questi robot possono fare cose complesse: scrivere codice, controllare le tue email, gestire i tuoi investimenti.

Ma c'è un problema: da soli, questi robot sono un po' limitati. Per diventare davvero utili, hanno bisogno di "Abilità" (o Skills), che sono come manopole, attrezzi o accessori che puoi agganciare al robot per insegnargli nuovi trucchi.

Il Grande Mercato degli Attrezzi

Oggi esistono dei negozi online (chiamati "Marketplace") dove chiunque può vendere o scaricare questi attrezzi. È un po' come l'App Store del tuo telefono, ma per robot.
Tuttavia, c'è un grosso rischio: chi garantisce che questi attrezzi non siano trappole?

Finora, alcuni studi e i sistemi di sicurezza automatici hanno detto: "Attenzione! Il 46% di questi attrezzi è pericoloso!". Era come se un ispettore sanitario dicesse che quasi metà dei ristoranti della città avvelena la gente. Questo ha creato un panico enorme.

Cosa hanno fatto gli autori?

Gli autori di questo studio (un gruppo di ricercatori austriaci) hanno detto: "Aspetta un attimo. Forse stiamo sbagliando tutto. Stiamo guardando solo l'etichetta del prodotto senza entrare nel negozio?".

Hanno raccolto 238.180 di questi "attrezzi" da tutto il web e hanno fatto un'analisi molto più approfondita. Ecco le loro scoperte, spiegate con delle metafore:

1. L'Ispezione "Superficiale" vs. L'Ispezione "Profonda"

• Il vecchio metodo (Scanner automatici): Immagina di controllare un'auto solo guardando il cofano. Se vedi un motore strano o un cavo che pende, l'ispettore dice: "Pericolo! Questa auto è rubata o pericolosa!". Risultato: 46% delle auto sono state etichettate come pericolose.
• Il nuovo metodo (Analisi con il contesto): Gli autori hanno detto: "Non fermiamoci al cofano. Entriamo nell'auto, controlliamo il libretto di manutenzione, chi è il proprietario e dove vive".
  • Hanno guardato non solo l'attrezzo, ma anche il negozio (il repository GitHub) da cui proviene.
  • Risultato: Quando hanno guardato il contesto, si sono resi conto che la maggior parte di quelle "auto pericolose" erano in realtà veicoli perfettamente funzionanti, solo con un'etichetta un po' strana.
  • La nuova statistica: Solo lo 0,52% degli attrezzi era davvero pericoloso. Il resto erano falsi allarmi.

2. Il Problema del "Negozio Abbandonato" (Hijacking)

Gli autori hanno scoperto un nuovo modo in cui i criminali possono ingannare i robot, che nessuno aveva notato prima.
Immagina che tu compri un attrezzo da un negozio online, ma quel negozio è in realtà un magazzino abbandonato su internet.

• Il proprietario originale del magazzino ha smesso di curarlo e ha cambiato nome.
• Un truffatore si è preso il nome del vecchio proprietario, ha riaperto il magazzino con lo stesso nome e ha messo dentro attrezzi falsi.
• Il robot, fidandosi del nome del negozio, prende l'attrezzo "avvelenato".
• Scoperta: Hanno trovato 121 attrezzi che puntavano a questi "magazzini abbandonati" e che potevano essere dirottati dai criminali. È come se qualcuno rubasse l'insegna di un vecchio bar per vendere caffè avvelenato.

3. Perché i vecchi controlli sbagliavano così tanto?

I vecchi sistemi di sicurezza erano come cane da guardia che abbaia a tutto ciò che si muove.

• Se un attrezzo aveva un codice che sembrava strano (ma era legittimo), il cane abbaiava.
• Se un attrezzo parlava di "password" (anche solo per mostrarle all'utente), il cane abbaiava.
• Non capivano la differenza tra un ladro e un idraulico che sta riparando un tubo.
• Gli autori hanno creato un nuovo "ispettore" (basato sull'Intelligenza Artificiale) che guarda il contesto: "Questo attrezzo è usato da uno sviluppatore serio con un progetto famoso? O è in un progetto creato ieri da un anonimo?".

In sintesi: Cosa dobbiamo imparare?

1. Non fidarsi ciecamente degli allarmi: Se un sistema dice che il 40% delle cose è pericoloso, probabilmente il sistema è troppo sensibile e sta creando confusione.
2. Guarda il contesto: Per capire se un "attrezzo" per l'AI è sicuro, non basta leggere la descrizione. Bisogna guardare chi lo ha fatto, da quanto tempo esiste e se il "negozio" che lo ospita è affidabile.
3. Nuovi pericoli: C'è un nuovo rischio legato ai "negozi abbandonati" su internet che i criminali possono riutilizzare per rubare la fiducia degli utenti.

Il messaggio finale: Il mondo degli attrezzi per l'AI è molto più sicuro di quanto pensassimo, ma dobbiamo smettere di guardare solo l'etichetta e iniziare a guardare chi c'è dietro il banco.

Sommario tecnico

1. Il Problema

L'ecosistema degli agenti AI autonomi (come Claude Code o OpenClaw) si basa su "skill" (abilità), moduli riutilizzabili che estendono le capacità dell'agente (es. accesso ad API, esecuzione di codice). Queste skill sono distribuite attraverso marketplace dedicati (ClawHub, Skills.sh, SkillDirectory) e repository GitHub.

Il problema centrale identificato dagli autori è l'elevato tasso di falsi positivi nei sistemi di sicurezza attuali. I marketplace e gli scanner di sicurezza esistenti classificano una percentuale sproporzionata di skill come "malicious" (malevole), con tassi che variano dal 6% al 46,8% a seconda della piattaforma.
Le cause principali di questo fenomeno includono:

• Analisi isolata: Gli scanner analizzano la descrizione della skill (SKILL.md) e il codice in isolamento, senza considerare il contesto del repository GitHub che la ospita.
• Mancanza di consenso: Scanner diversi producono risultati incoerenti sullo stesso set di dati.
• Vettori di attacco strutturali: L'architettura di distribuzione permette il "hijacking" (dirottamento) di skill tramite il riutilizzo di repository GitHub abbandonati o rinominati.

2. Metodologia

Gli autori hanno sviluppato un pipeline di analisi in tre fasi per condurre il più ampio studio empirico sull'ecosistema delle skill AI (238.180 skill uniche):

A. Raccolta Dati Cross-Platform

• Fonti: ClawHub, Skills.sh, SkillDirectory e GitHub (tramite GHArchive per scansioni storiche).
• Volume: 238.180 skill uniche raccolte.
• Analisi Statica: Scansione dei file per identificare linguaggi di programmazione, endpoint di rete (risolti a livello di dominio), e credenziali esposte (secrets) utilizzando una versione modificata di TruffleHog.

B. Classificazione Malevola (Baseline)

• Confronto Scanner: Confronto tra i report dei marketplace e scanner open-source (Cisco Skill Scanner) e un classificatore basato su LLM (Codex/GPT-5.3).
• Obiettivo: Quantificare la discrepanza nei tassi di rilevamento e la mancanza di accordo tra gli strumenti (consenso).

C. Analisi Consapevole del Repository (Repository-Aware Analysis)

Questa è la novità metodologica principale. Per rispondere alla domanda di ricerca RQ3, gli autori integrano il contesto del repository GitHub nella valutazione della sicurezza:

1. Codebase Score (70% del peso): Valuta l'allineamento semantico tra la descrizione della skill e il codice/documentazione del repository circostante (dominio, coerenza del codice, README).
2. Metadata Score (30% del peso): Valuta la maturità e la credibilità del repository (età, stelle, fork, attività recente).
3. Punteggio Finale: Un punteggio contestuale che determina se una skill, pur segnalata come sospetta in isolamento, è in realtà parte di un progetto legittimo.

3. Contributi Chiave

1. Dataset su larga scala: Creazione del più grande dataset di skill AI (238k+), fondamentale per studi longitudinali futuri.
2. Metodologia di Analisi Contestuale: Sviluppo di un analizzatore semantico che riduce drasticamente i falsi positivi integrando il contesto del repository, dimostrando che l'analisi isolata sovrastima il rischio.
3. Scoperta di Nuovi Vettori di Attacco: Identificazione del rischio di hijacking di skill tramite repository GitHub abbandonati. Gli autori hanno dimostrato che gli attaccanti possono riappropriarsi di repository rinominati o abbandonati, prendendo il controllo di skill distribuite tramite marketplace.
4. Divulgazione di Vulnerabilità: Rilevamento di una fuga di dati (email degli utenti) nell'API di ClawHub e raccomandazioni per migliorare i meccanismi di autenticazione e distribuzione.

4. Risultati Principali

A. Analisi dell'Ecosistema

• Distribuzione: GitHub è la piattaforma di hosting primaria; i marketplace agiscono come strati di indicizzazione.
• Contenuto: Le skill su ClawHub contengono script con una frequenza molto più alta (44,1%) rispetto ad altre piattaforme (11-15%).
• Segreti: Sono state trovate 12 credenziali funzionali (es. NVIDIA, ElevenLabs), ma il numero è basso probabilmente perché gli sviluppatori sono consapevoli della visibilità pubblica di GitHub.

B. Incoerenza degli Scanner

• I tassi di classificazione come "malevoli" variano enormemente: da 3,8% (Socket su Skills.sh) a 41,9% (OpenClaw Scanner su ClawHub).
• Consenso nullo: Su 27.111 skill analizzate da 5 scanner diversi, solo 33 skill (0,12%) sono state classificate come malevole da tutti gli scanner. La maggior parte delle segnalazioni è univoca a un singolo strumento.

C. Impatto dell'Analisi Contestuale (Risultato Critico)

Applicando l'analisi "Repository-Aware" alle 2.887 skill flaggate come malevole dagli scanner:

• Il tasso di skill effettivamente malevole crolla dal ~46% (stima iniziale) allo 0,52%.
• Il 96% delle skill segnalate si trova in repository dove la documentazione e il codice sono allineati con la funzione della skill, indicando che sono falsi positivi.
• Solo il 4,2% delle skill mostra un collegamento debole con il contesto del repository.

D. Vettori di Attacco Scoperti

• Hijacking di Repository: Sono stati identificati 121 skill che puntano a 7 repository vulnerabili (abbandonati o con nomi riutilizzabili). Uno di questi repository aveva oltre 1.000 installazioni.
• Fuga di Dati: L'API di ClawHub espone gli indirizzi email associati agli account GitHub degli utenti, informazioni non visibili pubblicamente su GitHub.

5. Significato e Implicazioni

Questo studio ribalta la percezione attuale della sicurezza delle skill AI:

1. Riduzione del Rumore: L'attuale approccio "isolato" crea un allarmismo ingiustificato che potrebbe ostacolare l'adozione degli agenti AI. L'analisi contestuale offre una visione più realistica della superficie di attacco.
2. Sicurezza della Supply Chain: Evidenzia che la sicurezza non risiede solo nel codice della skill, ma nell'integrità del repository che la ospita. La dipendenza da repository GitHub esterni senza meccanismi di verifica robusti (come la firma o la distribuzione diretta) crea rischi di supply chain.
3. Raccomandazioni: Gli autori suggeriscono ai marketplace di adottare modelli di distribuzione diretta (simili a OpenClaw) per evitare il hijacking e di implementare scanner che considerino il contesto del repository per ridurre i falsi positivi.

In sintesi, il paper dimostra che l'ecosistema delle skill AI è molto più sicuro di quanto suggerito dagli scanner attuali, ma è vulnerabile a nuovi vettori di attacco legati alla gestione dei repository di origine.