Sintesi Tecnica: SkillConsist

Definizione del Problema

Le Skill degli Agenti forniscono workflow riutilizzabili per gli agenti basati su Large Language Model (LLM), definiti da una dichiarazione (ciò che la Skill afferma di fare) e da un'implementazione (ciò che effettivamente esegue). Le incongruenze tra questi due lati — come comportamenti dichiarati ma non implementati, comportamenti implementati ma non dichiarati, o comportamenti conflittuali — possono portare a una selezione errata della Skill o all'invocazione di azioni pericolose e fuori ambito.

I metodi di rilevamento esistenti affrontano due sfide primarie in questo dominio:

1. Contenuto Misto: La dichiarazione e l'implementazione dei comportamenti sono spesso interconnesse all'interno di istruzioni in linguaggio naturale e frammenti di codice, rendendo difficile distinguere tra una rivendicazione e un passaggio di esecuzione.
2. Discrepanza di Granularità: Una dichiarazione concisa può corrispondere a molteplici passaggi di implementazione connessi, mentre un singolo comportamento implementato può essere descritto attraverso molteplici dichiarazioni sparse.

Gli approoli attuali, che spesso si affidano al confronto di tassonomie di sicurezza predefinite o all'uso di LLM per far corrispondere i metadati al codice, faticano a gestire efficacemente questi ruoli misti e le diverse granularità.

Metodologia: SkillConsist

SkillConsist affronta queste sfide attraverso una pipeline in tre fasi: Separazione dei Ruoli ed Estrazione dei Record di Comportamento, Costruzione del Grafo di Comportamento e Allineamento e Differenziazione Bidirezionale dei Grafi.

1. Separazione dei Ruoli ed Estrazione dei Record di Comportamento

Il sistema disviene prima il contenuto misto per identificare i ruoli semantici.

• Separazione basata su LLM: Un LLM (DeepSeek-V4 Pro) elabora i frammenti di pacchetto per separare i fatti di dichiarazione e implementazione in record di comportamento strutturati $K = \langle C, O, R, E \rangle$, dove $C$ è la condizione, $O$ è l'oggetto influenzato, $R$ è l'effetto e $E$ è la posizione della sorgente.
• Analisi Statica: L'analisi del programma integra questi record estraendo i dettagli di implementazione dal codice sorgente, dalle configurazioni e dall'esecuzione controllata (ad esempio, entry point pubblici, input, output ed effetti collaterali).
• Output: Due set uniti e collegati alla sorgente: Record di Dichiarazione $D(S)$ e Record di Implementazione $M(S)$.

2. Costruzione del Grafo di Comportamento

Per gestire le differenze di granularità, i record sono organizzati in due grafi diretti separati: il Grafo di Dichiarazione ($G_D$) e il Grafo di Implementazione ($G_M$).

• Nodi: Includono nodi di record, nodi di oggetto, nodi di entry-point pubblico e nodi di evidenza.
• Archi: Sei relazioni tipizzate collegano i nodi, inclusi entry-to-record, record-to-object, evidence-to-record e dipendenze inter-record (result-to-input, result-to-condition, condition-to-condition).
• Gruppi di Comportamento: I sottografi connessi all'interno di ciascun grafo che esprimono congiuntamente un singolo comportamento sono identificati come gruppi di comportamento ($B_X(S)$). Questi gruppi fungono da unità atomiche per il confronto.

3. Allineamento e Differenziazione Bidirezionale dei Grafi

Questa fase allinea i gruppi di comportamento tra i due grafi per rilevare incongruenze, gestendo la discrepanza di granularità ricercando in entrambe le direzioni ($D \to M$ e $M \to D$).

• Ancora ed Espansione: Partendo da un record ancora in un gruppo di comportamento sorgente, il sistema cerca nel grafo target i sottografi candidati. Espande questi candidati lungo le relazioni di comportamento finché non coprono potenzialmente il comportamento sorgente.
• Completamento del Sottografo: I candidati vengono validati rispetto a quattro predicati di completezza: Condizione, Input, Risultato e Percorso. Un candidato è allineato solo se soddisfa i vincoli di legame (proprietari compatibili, entry point, scope) e fornisce tutti i campi e i percorsi richiesti.
• Prova e Differenziazione:
  • Supportato: L'evidenza conferma che tutte le condizioni e gli effetti corrispondono.
  • Contraddetto: L'evidenza mostra campi incompatibili (es. valori predefiniti diversi).
  • Non Applicabile: Non esiste alcun obbligo.
  • Sconosciuto: L'evidenza è incompleta.
• Controllo della Copertura: Se non viene trovato alcun candidato allineato, il sistema genera un certificato di copertura per verificare che lo spazio di ricerca sia stato esaustivo. Ciò evita falsi positivi nei comportamenti "mancanti".
• Output di Incongruenza:
  • Conflitto: Una dichiarazione richiesta ha una controparte contraddetta.
  • Non Implementato: Una dichiarazione richiesta non ha una controparte.
  • Non Dichiarato: Un'implementazione nell'ambito non ha una controparte dichiarata.

Contributi Chiave

1. Formulazione dell'Allineamento dei Grafi Bidirezionale: Il paper formula la coerenza a livello di pacchetto come un problema di allineamento di grafi bidirezionale, permettendo a un comportamento su un lato di corrispondere a molteplici record connessi sull'altro, mitigando così le intrinseche differenze di granularità.
2. Sistema SkillConsist: Un sistema innovativo che estrae i comportamenti dal contenuto misto, costruisce grafi di dichiarazione e implementazione separati e localizza le incongruenze attraverso la ricerca di sottografi guidata dalle relazioni, la differenziazione e il controllo della copertura.
3. Costruzione del Benchmark: La creazione di un benchmark revisionato manualmente di 633 Agent Skills (da ClawHub e Skill-Inject) contenente 319 pacchetti inconsistenti e 314 consistenti, con 442 annotazioni di localizzazione delle incongruenze.

Risultati Sperimentali

Il sistema è stato valutato sul benchmark di 633 Skill contro quattro baseline (LLM, LLM+RAG, Adapted C4RLLaMA, Adapted SKILLSCOPE).

• Rilevamento a livello di Pacchetto: SkillConsist ha raggiunto l'86,85% di precisione, l'89,03% di recall e l'87,93% di F1. Questo rappresenta un miglioramento di 20,43 punti percentuali nel punteggio F1 rispetto alla migliore baseline.
• Localizzazione dell'Incongruenza: SkillConsist ha raggiunto il 67,60% di precisione, il 58,14% di recall e il 62,52% di F1.
• Studi di Ablazione: La rimozione della separazione dei ruoli o dell'espansione del sottografo ha degradato significativamente le prestazioni, confermando la loro necessità per il recupero di controparti valide. La rimozione del controllo della copertura ha aumentato il recall ma ha ridotto drasticamente la precisione a causa dei falsi positivi.
• Screening di Skill Maliziose: Applicato a 133 pacchetti Skill-Inject, i segnali di rischio di incongruenza hanno migliorato il recall del rilevamento di skill maliziose dell'11,90% (gate ad alto rischio) e del 26,19% (gate a rischio medio/alto) con un minimo di verifica dinamica ridondante.

Significato e Rivendicazioni

Il paper sostiene che SkillConsist faccia avanzare lo stato dell'arte passando da un semplice confronto testo-codice a un approccio strutturale basato su grafi che gestisce esplicitamente la natura mista del contenuto delle Agent Skill e il gap di granularità tra dichiarazioni e implementazioni.

Separando i ruoli e utilizzando l'allineamento bidirezionale, SkillConsist fornisce risultati localizzati nella sorgente piuttosto che semplici segnalazioni a livello di pacchetto. Gli autori affermano che questa capacità è cruciala per la sicurezza, poiché consente di rilevare comportamenti pericolosi non dichiarati (ad esempio, una Skill che dichiara di sincronizzare le email ma in realtà inoltra file a un endpoint esterno) e migliora l'affidabilità dei workflow degli agenti. I risultati suggeriscono che l'allineamento dei grafi bidirezionale sia un metodo robusto per stabilire corrispondenze in artefatti software complessi e con media mista, superando la generazione aumentata da recupero (RAG) e il matching di proprietà di sicurezza statica sia nei compiti di rilevamento che di localizzazione.