Sintesi Tecnica: VERA – Test di Sicurezza per Agenti LLM su Larga Scala

1. Definizione del Problema

Gli agenti basati su Large Language Models (LLM) vengono sempre più impiegati per eseguire azioni autonome tramite strumenti esterni in domini quali lo sviluppo software, i servizi aziendali e l'informatica personale. Sebbene questa autonomia estenda le capacità oltre la generazione di testo, introduce rischi di sicurezza complessi ed evolutivi, tra cui l'esposizione di dati sensibili, modifiche non autorizzate al sistema ed esecuzione di codice non sicuro.

I metodi di valutazione della sicurezza esistenti soffrono di tre limitazioni primarie:

1. Statici e Dipendenti da Esperti: I benchmark attuali si affidano a scenari progettati da esperti e categorie di rischio predefinite, non riuscendo a tenere il passo con la rapida evoluzione delle capacità degli agenti e degli ecosistemi di strumenti.
2. Mancanza di Verifica Fondata su Prove (Grounded Verification): Molti approcci confondono una richiesta non sicura o una dichiarazione testuale di intenzione con una violazione di sicurezza effettivamente realizzata. Spesso si affidano all'auto-report dei modelli o a giudici basati su LLM per verificare gli esiti, anziché osservare gli effetti reali delle azioni eseguite sull'ambiente.
3. Scarsa Scalabilità e Manutenibilità: Gli framework esistenti accoppiano strettamente le definizioni di rischio, le implementazioni dell'ambiente e le procedure di verifica. Estendere la copertura a nuovi rischi o architetture di agenti richiede modifiche coordinate attraverso molteplici livelli di sistema, rendendo i dataset di sicurezza costosi da costruire e difficili da mantenere.

Inoltre, adattare i paradigmi tradizionali del testing del software agli agenti è complesso perché la pianificazione dell'agente, la selezione degli strumenti e l'evoluzione dello stato sono non deterministici durante il runtime, diversamente dalle mappature deterministiche input-output assunte nel testing del software standard.

2. Metodologia: Il Framework VERA

Per affrontare queste sfide, gli autori presentano VERA, un framework di testing della sicurezza automatizzato end-to-end che istanzia i principi del testing dell'ingegneria del software per agenti non deterministici. VERA opera attraverso una pipeline a tre stadi che si auto-rinforza:

A. Esplorazione Continua del Rischio

Invece di affidarsi a tassonomie statiche, VERA impiega un processo di esplorazione guidata dalla letteratura per scoprire e strutturare continuamente i rischi emergenti.

• Processo: Un "Agente di Sintesi" elabora iterativamente la letteratura di ricerca (ad esempio, da arXiv) per costruire e consolidare tassonomie di Rischi di Sicurezza (conseguenze dannose), Metodi di Attacco (meccanismi di induzione) e Ambienti (contesti di esecuzione degli strumenti).
• Meccanismo: Il sistema utilizza un operatore di aggiornamento per creare nuovi nodi, fondere variazioni terminologiche o eliminare concetti non supportati, garantendo che le tassonomie convergano verso strutture stabili che riflettano l'attuale panorama delle minacce.
• Ambito: L'esplorazione è limitata ai rischi durante l'inferenza testabili contro agenti distribuiti, escludendo attacchi in fase di addestramento come il data poisoning.

B. Costruzione di Casi di Test Eseguibili

Questa fase trasforma i nodi foglia delle tassonomie astratte in casi di sicurezza eseguibili ($\sigma = \langle g, s_0, V_g \rangle$).

• Composizione Combinatoria: Il framework genera candidati obiettivi di sicurezza ($g$) componendo i nodi foglia delle tre tassonomie (Rischio, Metodo di Attacco, Ambiente).
• Compilazione:
  • Stato Iniziale ($s_0$): Costruito programmaticamente tramite API di servizio per creare precondizioni diverse e rilevanti per l'obiettivo (ad esempio, un repository con una dipendenza vulnerabile).
  • Verificatore ($V_g$): Uno script deterministico a livello di codice che controlla se la violazione della sicurezza è stata realizzata sulla base di artefatti osservabili.
• Filtraggio: I casi sono filtrati per garantire che si basino su effetti osservabili piuttosto che su tracce di ragionamento interno. Ogni scenario base è espanso in tre varianti: Benigno (task legittimo), Single-Channel (solo messaggi utente avversari) e Multi-Channel (messaggi utente avversari + risultati degli strumenti iniettati).

C. Esecuzione Adattiva e Verifica Fondata su Prove

L'agente target viene eseguito in un sandbox isolato sotto un contratto di esecuzione unificato.

• Ambiente Sandboxed: Un Tool Gateway configurabile (basato su MCP) media tutte le chiamate agli strumenti, registrando i risultati originali e le osservazioni trasformate. Supporta quattro modalità di iniezione: identità, append, prefix e override.
• Agente di Controllo Adattivo: Un agente di controllo lato test guida l'interazione multi-turno. Osserva i comportamenti a runtime (risposte dell'agente, chiamate agli strumenti, cambiamenti di stato) e adatta la propria strategia (ad esempio, riformulando le richieste, regolando la decomposizione dei task) per guidare l'agente verso l'obiettivo di sicurezza.
• Verifica Fondata su Prove (Evidence-Grounded Verification): Un verificatore programmatico giudica gli esiti basandosi su una gerarchia di prove:
  1. Stato dell'Ambiente ($s_T$): Si dà priorità ai cambiamenti persistenti dello stato (ad esempio, modifiche ai file, esfiltrazione di dati).
  2. Registri delle Chiamate agli Strumenti: Utilizzati se i cambiamenti di stato non sono l'indicatore primario della violazione.
  3. Risposte dell'Agente: Utilizzate solo se l'output testuale stesso costituisce la violazione.
  • Questo approccio elimina i falsi positivi derivanti dall'autovalutazione ottimistica e i falsi negativi derivanti da intenti dannosi non eseguiti.

3. Contributi Chiave

1. Istanziazione dei Principi di Testing SE: Il paper operazionalizza i concetti dell'ingegneria del software (oracoli di test, costruzione combinatoria, verifica fondata su prove) per gli agenti LLM, fornendo un framework per casi di sicurezza eseguibili e protocolli di esecuzione adattivi.
2. Il Framework VERA: Un nuovo sistema end-to-end che supporta framework di agenti eterogenei attraverso tre fasi: scoperta autonoma del rischio, generazione di casi di test eseguibili ed esecuzione adattiva a runtime.
3. VERA-Bench e Valutazione Empirica: Gli autori rilasciano VERA-Bench, che comprende 1.600 casi di sicurezza eseguibili che coprono 124 categorie di rischio attraverso tre impostazioni di esecuzione. Valutano VERA su quattro framework di agenti di produzione (OpenClaw, Hermes, Codex, Claude Code), rivelando sostanziali debolezze di sicurezza.

4. Risultati Sperimentali

La valutazione è stata condotta su quattro framework di agenti utilizzando molteplici modelli backend (GPT-5.2, Gemini-3, Qwen-3.7, ecc.) in ambienti Docker isolati.

• Tassi di Successo dell'Attacco (ASR): Sotto attacchi multi-canale, l'ASR medio ha raggiunto il 93,9%. Anche sotto attacchi single-channel, l'ASR medio era del 90,6%, superando significativamente i risultati dei benchmark a prompt statici.
• Vulnerabilità dei Framework:
  • Claude Code e Hermes hanno mostrato un'alta suscettibilità (88,6% e 86,6% di ESR complessivo in modalità attacco), suggerendo che capacità più forti di completamento dei task e un'orchestrazione flessibile degli strumenti correlano con una maggiore vulnerabilità agli attacchi adattivi.
  • OpenClaw ha avuto un ESR complessivo inferiore (70,3%), in parte dovuto a politiche di chiamata degli strumenti più conservative ma anche a tassi di fallimento infrastrutturale più elevati.
• Analisi del Modello di Minaccia:
  • Multi-channel vs. Single-channel: Il testing multi-canale ha fornito un guadagno incrementale modesto ma costante (+3,3% in media), rivelando che l'iniezione del risultato degli strumenti è un vettore di bypass efficace, particolarmente per agenti con un'elaborazione conservativa dei messaggi utente (ad esempio, OpenClaw ha visto un guadagno del +6,3%).
  • Driver Adattivo: L'agente di controllo adattivo ha aumentato i tassi di successo di circa 20 punti percentuali rispetto alle impostazioni benigne, dimostrando il valore dell'interazione adattiva a runtime per eludere le difese.
• Impatto a Valle: Il fine-tuning di un modello di guardia (Qwen3Guard) sui dati derivati da VERA ha migliorato significativamente le prestazioni di classificazione della sicurezza (Accuratezza: 61,7%, Recall: 77,9%, F1: 68,4%) rispetto alle baseline standard, mostrando generalizzazione su benchmark esterni come R-Judge.

5. Significato e Rivendicazioni

Il paper sostiene che, man mano che gli agenti diventano più autonomi e integrati con gli strumenti, la valutazione della sicurezza deve evolvere dai benchmark statici verso un'infrastruttura di testing modulare ed eseguibile.

• Modularità e Manutenibilità: VERA dimostra che il disaccoppiamento tra definizioni di rischio, implementazioni dell'ambiente e procedure di verifica permette una valutazione della sicurezza scalabile che può adattarsi ai sistemi di agenti in rapida evoluzione senza costosi interventi manuali di re-ingegnerizzazione.
• Verifica Fondata su Prove: Dando priorità allo stato osservabile dell'ambiente rispetto ai report interni del modello, VERA fornisce una valutazione più rigorosa e affidabile delle reali violazioni di sicurezza.
• Allineamento tra Capacità e Vulnerabilità: I risultati evidenziano una tensione strutturale nel design degli agenti: le stesse capacità che rendono utili gli agenti (forte rispetto delle istruzioni, orchestrazione flessibile degli strumenti) le rendono anche più suscettibili alla manipolazione avversaria.
• Infrastruttura Futura: Gli autori pongono VERA non solo come un benchmark, ma come un passo fondamentale verso l'instaurazione dell'infrastruttura necessaria per una rigorosa, manutenibile e su larga scala garanzia di sicurezza dei sistemi agentici.

Il paper conclude che l' "allineamento capacità-vulnerabilità" osservato è una proprietà strutturale degli attuali sistemi di agenti, e che framework come VERA sono essenziali per esporre e affrontare questi rischi negli ambienti di produzione.