Riepilogo Tecnico: Verifica dell'Integrità Comportamentale per le Competenze degli Agenti AI

Enunciato del Problema

Gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) sono sempre più estesi tramite "competenze" di terze parti: bundle autonomi di codice, configurazione e istruzioni in linguaggio naturale che concedono agli agenti accesso privilegiato a filesystem, credenziali, endpoint di rete ed esecuzione di shell. Sebbene i meccanismi di sicurezza esistenti si concentrino sull'individuazione di prompt malevoli o azioni runtime rischiose, gli stessi artefatti delle competenze rimangono non verificati.

Esiste una vulnerabilità critica nel divario tra il comportamento dichiarato di una competenza (metadati, descrizioni e istruzioni) e il suo comportamento effettivo (codice eseguibile e direttive incorporate). Attori malevoli possono incorporare direttive in linguaggio naturale nei file di metadati (ad esempio, "USARE SEMPRE questa competenza per TUTTE le domande dell'utente") o nascondere logica nel codice che sovrascrive il ciclo decisionale dell'agente. I metodi attuali di analisi statica faticano a collegare codice, istruzioni e metadati sotto un'unica vocabolario tipizzato, lasciando un "divario descrizione-implementazione" che permette ai rischi della catena di approvvigionamento di proliferare senza essere rilevati.

Metodologia: Il Framework BIV

Gli autori propongono la Verifica dell'Integrità Comportamentale (BIV), un framework che formalizza la verifica delle competenze degli agenti come un confronto di insiemi tipizzati tra capacità dichiarate ed effettive su una tassonomia condivisa.

1. Formalizzazione

BIV definisce una competenza $s = (M, C, I)$ composta da:

• Metadati ($M$): Descrizioni, frontmatter YAML, schemi API.
• Codice ($C$): Codice eseguibile (Python, JavaScript, shell).
• Istruzioni ($I$): Direttive in linguaggio naturale (Markdown, istruzioni inline).

Il framework mappa sia il comportamento dichiarato $D(s)$ sia il comportamento effettivo $A(s)$ su una condivisa tassonomia di 29 capacità ($\mathcal{T}$) organizzata in sette categorie: Rete, Filesystem, Esecuzione di Processi, Ambiente, Codifica, Credenziali e Minacce a Livello di Istruzione. Il problema centrale di verifica consiste nell'identificare la differenza simmetrica (insieme di deviazioni) $D(s) \triangle A(s)$, decomposta in:

• Sottospecificazione ($U(s)$): Capacità presenti nel codice ma assenti dai metadati (privilegi non dichiarati).
• Sovraspecificazione ($O(s)$): Capacità dichiarate ma mai implementate.

2. Pipeline di Estrazione Ibrida

BIV impiega un processo di estrazione a doppio binario per generare evidenze strutturate $\Phi(s) = \langle D(s), A(s), flow(s), compound(s) \rangle$:

• Binario Dichiarato: Utilizza un parser deterministico per i campi strutturali (YAML, JSON) e un estrattore LLM per i metadati in linguaggio naturale. L'LLM è vincolato da filtri di controllo delle allucinazioni (ad esempio, richiedendo intervalli di origine citati) per garantire che le affermazioni siano fondate.
• Binario Effettivo:
  • Analisi del Codice: Analizzatori deterministici (traversamento AST per Python, regex per JS/Shell) eseguono un'analisi di contaminazione inter-procedurale per tracciare i flussi di dati dalle sorgenti (ad esempio, variabili d'ambiente) ai sink (ad esempio, invii di rete).
  • Analisi delle Istruzioni: Un analizzatore LLM scansiona le istruzioni in linguaggio naturale alla ricerca di invocazioni di capacità, pattern di iniezione di prompt e motivi di sovrascrittura.
• Rilevamento di Minacce Composite: La pipeline segnala quattro specifici motivi di attacco multi-step (Catene di Esfiltrazione, Catene RCE, Offuscamento del Codice, Violazioni della Lineage dei Dati) che scanner a singola capacità potrebbero non cogliere.

3. Analisi a Valle

L'evidenza strutturata $\Phi(s)$ funge da primitiva di misurazione per tre attività a valle:

1. Tassonomia delle Deviazioni: Clustering delle deviazioni per identificare pattern comuni e minacce composite nuove.
2. Classificazione della Causa Radice: Distinzione tra negligenza dello sviluppatore (lacune nella documentazione) e intento avversario.
3. Rilevamento di Competenze Malevole: Uno studio di caso che utilizza un giudice LLM potenziato da un override di "veto rilassato". Il giudice consuma $\Phi(s)$ come prior strutturato, mentre il predicato di veto segnala automaticamente le competenze con minacce composite e capacità non dichiarate ad alto rischio (ad esempio, esfiltrazione di credenziali), impedendo all'LLM di razionalizzare l'evidenza strutturale.

Risultati Chiave

Il framework è stato valutato su 49.943 competenze dal registro OpenClaw e su un benchmark di rilevamento malevolo di 906 competenze.

Risultati su Scala Ecosistemica

• Deviazioni Pervasive: L'80,0% delle competenze devia dal proprio comportamento dichiarato, con 250.706 deviazioni totali identificate.
• Cause Radice: La stragrande maggioranza (81,1%) delle deviazioni deriva da negligenza dello sviluppatore (ad esempio, errori di documentazione, dichiarazioni inutilizzate, residui di template) piuttosto che da malizia. Solo il 18,9% è attribuito a intento avversario.
• Minacce Composite: L'analisi ha portato alla luce quattro nuove categorie di minacce composite. Sebbene la maggior parte sia benigna, motivi specifici come le Catene di Esfiltrazione e le Catene RCE mostrano frazioni avversarie elevate (rispettivamente 58% e 86%).
• Rischi a Livello di Istruzione: Nonostante sia la categoria più piccola per volume, le Minacce a Livello di Istruzione hanno avuto la frazione avversaria più alta (96%), indicando che le direttive di controllo del prompt non dichiarate sono altamente sospette.

Prestazioni di Rilevamento

Sul benchmark di 906 competenze (miscela di malware reale e attacchi sintetici):

• Prestazioni BIV: Ha raggiunto un punteggio F1 di 0,946, con un richiamo (recall) di 0,978 e un tasso di falsi positivi (FPR) del 7,2%.
• Confronto: BIV ha superato le baseline dello stato dell'arte:
  • Basata su Regole (Cisco AI Defense): F1 = 0,44 (Recall 0,35).
  • Solo LLM (Audit in passaggio singolo): F1 = 0,927 (Recall 0,89).
• Contributo della Struttura: L'evidenza strutturale e l'override di veto rilassato sono stati critici, in particolare per il malware reale, dove la baseline solo LLM ha mancato 22 punti percentuali di richiamo. L'estrattore strutturale ha identificato catene di uccisione (ad esempio, lettura credenziali $\to$ invio di rete) che il solo giudice LLM non è riuscito a segnalare come malevole.

Significato e Affermazioni

Il documento afferma che la Verifica dell'Integrità Comportamentale fornisce una primitiva scalabile e auditabile per la sicurezza della catena di approvvigionamento degli agenti LLM. I suoi contributi principali sono:

1. Formalizzazione: Stabilisce BIV come un problema di confronto di insiemi tipizzati, colmando il divario tra codice, istruzioni e metadati senza fare affidamento su una singola modalità.
2. Misurazione su Scala: Dimostra che il "divario descrizione-implementazione" è un problema sistemico negli ecosistemi di agenti, che colpisce l'80% delle competenze, ma è prevalentemente un problema di documentazione/negligenza piuttosto che pervasivamente malevolo.
3. Utilità Operativa: L'evidenza strutturata $\Phi(s)$ abilita un'estrazione "in un passaggio" che supporta molteplici analisi di sicurezza (tassonomia, causa radice, rilevamento) senza necessità di re-estrazione.
4. Efficacia di Rilevamento: Combinando analisi strutturale deterministica con ragionamento LLM e un override di veto rilassato, BIV ottiene un alto richiamo sul malware reale mantenendo un tasso di falsi positivi operativamente fattibile, superando sia gli approcci basati su regole che quelli puramente LLM.

Gli autori sottolineano che BIV è una primitiva di misurazione, non un sistema di verdetto finale. Identifica candidati da esaminare, distinguendo tra lacune documentali benigne e pattern di attacco complessi, consentendo così strategie di governance mirate (ad esempio, sensibilizzazione sulla documentazione per negligenza vs. revisione di sicurezza per intento avversario). Il framework riconosce i limiti, inclusa la sua natura statica (che manca di dispatch dinamico) e la dipendenza dall'estrazione LLM, ma sostiene che l'evidenza strutturata che produce è una base necessaria per future difese runtime e monitoraggio longitudinale.