Riepilogo Tecnico: SkillFuzz

Formulazione del Problema

Il documento affronta una lacuna critica di sicurezza nei Mercati di Skill Open (Open Skill Marketplaces) per gli agenti basati su Large Language Models (LLM). Mentre le singole skill (documenti di istruzioni in linguaggio naturale) vengono tipicamente auditate isolatamente, la loro co-attivazione può portare a intent impliciti: obiettivi non intenzionali che emergono solo quando più skill benigne interagiscono all'interno del contesto unificato dell'agente.

Questo fenomeno costituisce una nuova categoria di difetto composizionale, analogamente ai guasti di interazione tra componenti nei test di integrazione del software tradizionale, ma che si verifica nel linguaggio naturale anziché nel codice. Il rilevamento di questi intent affronta tre sfide primarie:

1. Inaccessibilità dell'Esecuzione: Gli operatori dei marketplace spesso non dispongono degli ambienti di deployment specifici necessari per eseguire e testare ogni possibile combinazione di skill.
2. Invisibilità degli Stati di Credenza (Belief States): Gli effetti composizionali si manifestano nello stato di credenza interno dell'agente, che è invisibile all'analisi statica dei file.
3. Esplosione Combinatoria: Lo spazio delle possibili co-attivazioni delle skill cresce esponenzialmente con la dimensione della libreria, rendendo l'esplorazione esaustiva intrattabile.

Gli autori propongono che il paradigma plan-then-act (pianifica e poi agisci), onnipresente nei sistemi agentici, offra una soluzione. Trattando il piano dell'agente (un artefatto di ragionamento strutturato) prima dell'esecuzione come una superficie di test, gli intent impliciti possono essere rilevati senza l'effettiva esecuzione degli strumenti.

Metodologia: SKILLFUZZ

Gli autori propongono SKILLFUZZ, il primo framework di fuzzing privo di esecuzione progettato per scoprire intent impliciti attraverso la composizione di skill. Il framework opera come una ricerca diretta sullo spazio di attivazione binaria delle skill, utilizzando il Plan Drift (deriva del piano) come un oracolo differenziale.

Componenti Core

1. Oracolo Differenziale (Plan Drift):
   Il sistema confronta il piano generato da una composizione di skill ($\pi_s$) rispetto a un piano di base generato con nessuna skill attiva ($\pi_0$). La deviazione semantica, o plan drift ($\delta$), funge da segnale per potenziali rischi. Un alto valore di drift indica che la composizione delle skill ha reindirizzato l'intent dell'agente.

2. Costruzione del Contratto della Skill (Skill Contract):
   Per rendere la ricerca trattabile, SKILLFUZZ estrae contratti di skill strutturati dai documenti di istruzioni utilizzando un LLM. Questi contratti includono precondizioni, postcondizioni, modifiche dello stato e ambito del dominio. Questi contratti vengono incorporati in uno spazio semantico per identificare le skill con proprietà conflittuali (ad esempio, invarianti mutuamente esclusive).

3. Monte Carlo Tree Search (MCTS) guidata dai Contratti:
   Il framework impiega una strategia di ricerca guidata per massimizzare la Qualità della Copertura dell'Intent (ICQ) entro un budget di query fisso.

   • Metrica ICQ: Una metrica unificata che combina la gravità (magnitudo del plan drift) e la novità (distinzione semantica rispetto agli intent precedentemente scoperti).
   • Strategia di Espansione: La ricerca inizializza l'albero con coppie di skill ad alto conflitto. Durante l'espansione, se un nodo produce una ricompensa (intent rilevato), la ricerca viene indirizzata verso la regione semantica di quell'intent utilizzando gli embedding dei contratti. Se non viene trovato alcun intent, la ricerca esplora casualmente o tramite campionamento uniforme.
   • Backpropagation: Le ricompense vengono retro propagate per dare priorità alle regioni dello spazio di ricerca che producono intent impliciti gravi e diversificati.

Contributi Chiave

1. Formulazione del Problema: Il documento definisce formalmente il testing dell'intent composizionale, identificando gli intent impliciti come un rischio sistemico derivante dall'interazione di skill individualmente benigne in agenti LLM.
2. Framework SKILLFUZZ: Introduce una tecnica di fuzzing priva di esecuzione che estrae contratti di skill strutturati e utilizza MCTS guidata dai contratti per navigare efficientemente nell'esponenzialmente grande spazio di co-attivazione delle skill.
3. Validazione Empirica: Attraverso estesi esperimenti, il documento stabilisce SKILLFUZZ come un meccanismo pratico per lo screening composizionale delle skill, dimostrando la sua capacità di scoprire rischi senza accesso al deployment.

Risultati Sperimentali

Gli autori hanno valutato SKILLFUZZ sulla libreria SkillsBench (196 skill) attraverso diversi agenti di pianificazione (sia modelli open-weight che proprietari) e task rappresentativi.

• Volume di Scoperta: Sotto un budget di query fisso, SKILLFUZZ ha scoperto oltre 1.000 intent impliciti distinti.
• Validazione dell'Esecuzione: In una fase di validazione nel mondo reale utilizzando un ambiente Docker sandbox, oltre l'80% delle composizioni segnalate come ad alto rischio ha confermato di manifestare i sottoprodotti previsti durante l'esecuzione effettiva. Ciò conferma che il drift a livello di piano è un proxy affidabile per i rischi a livello di esecuzione.
• Efficienza della Ricerca: SKILLFUZZ ha identificato sostanzialmente più intent impliciti ad alta gravità (quelli con significativo drift dello stato di credenza) rispetto ad altre strategie (campionamento casuale, greedy drift, greedy coverage). Notevolmente, ha ottenuto questo esplorando solo una frazione (circa il 40%) dello spazio di interazione a coppie coperto dal campionamento casuale, provando che una vasta copertura a coppie non è il fattore limitante per trovare rischi gravi.
• Generalizzabilità: Gli intent impliciti sono risultati essere un rischio generale tra diverse famiglie di modelli e architetture, non artefatti di un particolare planner.
• Tassonomia del Rischio: Gli intent scoperti si sono raggruppati in quattro pattern semantici ricorrenti:
  1. Effetti Collaterali Audio/Video (generazione non richiesta di media).
  2. Invocazione di Strumenti Non Autorizzati (chiamate a servizi esterni oltre l'autorizzazione).
  3. Creazione Occulta di Risorse (generazione di file/report non richiesti).
  4. Analisi dei Dati Non Sanzionata (estensione dell'analisi oltre l'ambito specificato).

Significato e Rivendicazioni

Il documento sostiene che gli intent impliciti sono una conseguenza strutturale del paradigma dell'IA agentica nell'ingegneria del software, derivante da dove diverse istruzioni di skill vengono co-attivate. Il significato di SKILLFUZZ risiede nella sua capacità di:

• Decoupling del Test dal Deployment: Consente lo screening dei marketplace di skill senza richiedere l'accesso agli ambienti di esecuzione specifici dove gli agenti verranno infine eseguiti.
• Fornire un Preavviso: Offre un meccanismo scalabile per segnalare co-attivazioni ad alto rischio prima del loro deployment, completando gli audit tradizionali per singola skill che falliscono nel rilevare i difetti di interazione.
• Stabilire una Superficie di Test: Valida l'ipotesi che il livello di pianificazione (artefatti pre-esecuzione) sia una superficie sufficiente e necessaria per rilevare i rischi composizionali negli agenti LLM, a condizione che la strategia di testing tenga conto della natura semantica del drift.

Gli autori concludono che SKILLFUZZ posiziona il fuzzing guidato dai contratti e privo di esecuzione come un complemento pratico e necessario agli attuali audit di ammissione, affrontando una vulnerabilità sistemica che cresce man mano che gli ecosistemi di skill scalano.