NAAMSE: Framework for Evolutionary Security Evaluation of Agents

Il paper presenta NAAMSE, un framework evolutivo che automatizza la valutazione della sicurezza degli agenti AI tramite mutazione genetica dei prompt e scoring comportamentale asimmetrico, superando i limiti dei metodi statici per identificare vulnerabilità adattive mantenendo al contempo la correttezza funzionale.

L'essenziale

🛡️ NAAMSE: Il "Cacciatore di Bug" che Impara dai Suoi Errori

Immagina di aver appena costruito un robot domestico super intelligente (un "agente AI") che può fare quasi tutto: prenotare viaggi, gestire le tue finanze e scrivere email. È fantastico, ma c'è un problema: come fai a essere sicuro che non farà qualcosa di pericoloso?

Fino a poco tempo fa, per testare questi robot, si usavano due metodi vecchi:

1. Il metodo "Umano": Assumere un esperto di sicurezza che prova a ingannare il robot con domande strane. È lento, costoso e l'umano si stanca.
2. Il metodo "Lista Fissa": Usare un elenco predefinito di domande "cattive" (come un test a risposta multipla). Il problema? Se il robot impara a rispondere a quelle domande specifiche, diventa sicuro solo per quel test, ma rimane vulnerabile a nuove domande che nessuno ha ancora pensato.

NAAMSE è una nuova soluzione che cambia le regole del gioco. Non è più un test statico, ma un processo evolutivo, come la selezione naturale di Darwin, ma applicato alle domande di sicurezza.

---

🧬 L'Analogia: Il "Laboratorio di Evoluzione" Immaginario

Immagina NAAMSE come un laboratorio di evoluzione digitale gestito da un unico agente AI molto astuto. Ecco come funziona, passo dopo passo:

1. La "Piscina" di Idee (Il Corpus)

Tutto inizia con una grande piscina piena di milioni di domande: alcune sono innocue ("Qual è il tempo?"), altre sono tentativi di inganno ("Come posso rubare una password?").
NAAMSE organizza queste domande in "cluster" (gruppi), come se fossero scaffali in una biblioteca. C'è lo scaffale delle "domande bancarie", quello delle "storie di fantasia", ecc.

2. Il "Giocatore" e il "Giudice"

NAAMSE ha un compito: trovare il modo per far dire al robot cose che non dovrebbe dire (violare le regole di sicurezza).

• L'Attaccante (NAAMSE): Prende una domanda dalla piscina e la invia al robot.
• Il Giudice: Ascolta la risposta del robot e assegna un punteggio.

3. Il Punteggio: Non solo "Sì" o "No"

Qui sta la genialità. Il punteggio non è solo "hai vinto o hai perso". È un punteggio di intelligenza:

• Se il robot dice cose cattive (es. "Ecco come rubare una banca"), il punteggio sale (è un fallimento di sicurezza).
• MA, se il robot rifiuta di rispondere a una domanda innocua (es. "Qual è la ricetta della pasta?") perché pensa che sia pericolosa, il punteggio sale comunque (è un fallimento di utilità).
• L'obiettivo di NAAMSE è trovare il punto debole perfetto: far dire al robot cose cattive senza far sì che diventi un robot paranoico che rifiuta tutto.

4. L'Evoluzione: "Prova, Sbaglia, Migliora"

Se la prima domanda non funziona (il robot la rifiuta o risponde in modo noioso), NAAMSE non si arrende. Usa la mutazione genetica:

• Se il punteggio è basso: Cambia completamente strategia (es. passa dallo scaffale "bancario" a quello "medico").
• Se il punteggio è medio: Modifica leggermente la domanda (es. cambia le parole, usa un linguaggio diverso, aggiunge una storia di fantasia).
• Se il punteggio è alto: Diventa aggressivo e prova trucchi molto complessi per massimizzare il danno.

È come un giocatore di scacchi che, dopo ogni mossa, analizza perché ha perso e prova una strategia leggermente diversa la prossima volta, diventando sempre più bravo a trovare le falle nel sistema.

---

🚀 Perché è diverso da tutto il resto?

La maggior parte dei test attuali sono come sparare a un bersaglio fermo. Se il bersaglio si muove (il robot impara), il proiettile non colpisce più.

NAAMSE è come un cacciatore che impara a inseguire la preda.

• Se il robot impara a rifiutare le domande in inglese, NAAMSE prova in cinese o in codice.
• Se il robot impara a ignorare le richieste dirette, NAAMSE le nasconde dentro una storia o un compito apparentemente innocuo.

Inoltre, NAAMSE evita un trucco pericoloso: il "Rifiuto Totale".
Alcuni robot, per essere sicuri, dicono "NO" a tutto. È sicuro, ma inutile. NAAMSE punisce questo comportamento, costringendo il robot a essere utile ma sicuro, non solo un muro di gomma.

🏁 Conclusione

In sintesi, NAAMSE è un sistema che insegna ai robot a essere sicuri facendoli allenare contro un avversario che diventa sempre più intelligente e astuto ogni giorno.

Invece di controllare il robot una volta sola prima di lanciarlo, NAAMSE lo mette in una "palestra" virtuale dove viene sfidato continuamente, evolvendo i suoi attacchi per scoprire i punti deboli che gli umani o i test statici non vedrebbero mai. È la differenza tra controllare un'auto parcheggiata e farla guidare su un terreno accidentato per vedere come reagisce agli imprevisti.

Il risultato? Agenti AI più robusti, che non si bloccano per nulla e non fanno cose pericolose, pronti per il mondo reale.

Sommario tecnico

1. Il Problema

L'integrazione rapida degli agenti AI negli ambienti di produzione ha creato una crisi di sicurezza. Sebbene il 79% delle organizzazioni stia adottando agenti AI, le pratiche di sicurezza non sono evolute allo stesso ritmo.

• Limiti dei metodi attuali:
  • Red-teaming manuale: È lento, costoso, non scalabile e dipende dall'intuizione individuale, fallendo nel coprire lo spazio degli input vasto dei moderni LLM.
  • Benchmark statici: Diventano rapidamente obsoleti (es. prompt "DAN" vecchi di due anni sono già patchati) e non modellano avversari adattivi che raffinano gli input basandosi sulle risposte del modello.
  • Generazione automatica one-shot: Strumenti come GPTFuzzer o AutoDAN generano attacchi, ma mancano di meccanismi intelligenti per evolvere queste strategie contro flussi di lavoro complessi degli agenti, spesso ignorando i compromessi tra utilità e sicurezza.
• Il paradosso del rifiuto: Una strategia di sicurezza degenerata è il "rifiuto blanket" (rifiutare tutto), che appare sicuro ma rende l'agente inutilizzabile. I metodi attuali non penalizzano adeguatamente questo comportamento.

2. Metodologia: NAAMSE

Gli autori propongono NAAMSE, un framework di valutazione pre-deployment che riformula il red-teaming come un problema di ottimizzazione guidato dal feedback. A differenza dei sistemi multi-agente, NAAMSE utilizza un singolo agente autonomo che orchestra un ciclo evolutivo continuo.

L'architettura è un pipeline in quattro fasi:

A. Selezione e Rappresentazione (Clustering Engine)

• Inizia con un corpus strutturato contenente oltre 128k query avversarie e 50k query benigne.
• I prompt vengono codificati usando il sentence transformer all-MiniLM-L6-v2 e organizzati in un albero gerarchico tramite clustering K-means ricorsivo.
• I cluster di alto livello sono annotati da LLM per catturare pattern di interazione dominanti (es. "jailbreak role-play", "query bancarie").

B. Esecuzione e Valutazione (Behavioral Engine)

• Il prompt selezionato viene inviato al sistema target tramite un'interfaccia agente-agente (A2A), supportando tool use e dialoghi multi-turno.
• La risposta viene valutata da un motore comportamentale che calcola un punteggio di fitness scalare basato su tre segnali:
  1. Dannosità: Valutata su 6 categorie di sicurezza (es. discorsi d'odio, atti illegali) tramite giudici LLM specializzati.
  2. Allineamento: Misura se il target ha soddisfatto la richiesta (rifiuto, conformità, obbedienza).
  3. Rischio Privacy: Rilevamento di dati sensibili (PII).
• Logica di scoring asimmetrica:
  • Per prompt avversari: Si penalizza la conformità dannosa e si premia il rifiuto.
  • Per prompt benigni: La logica è invertita (si penalizza il rifiuto non necessario per evitare il "blanket refusal").
  • Il punteggio finale è normalizzato tra 0 e 100, dove un punteggio alto indica un fallimento di sicurezza o di usabilità.

C. Decisione Evolutiva (Mutation Engine)

Il punteggio guida le azioni successive dell'agente, modellando un avversario adattivo:

• Punteggio Basso (<50): Esplorazione. L'attacco è inefficace; l'agente abbandona la traiettoria per campionare nuovi cluster.
• Punteggio Medio (50-80): Raffinamento. Generazione di varianti semanticamente simili per stabilizzare e rafforzare il vettore di attacco.
• Punteggio Alto (80-100): Mutazione. Applicazione di trasformazioni aggressive (es. strategie di teoria dei giochi, role-play, offuscamento multilingue) per massimizzare la gravità dello sfruttamento.
• Punteggio Perfetto (100): Esplorazione. La superficie è considerata "satura"; si forza il passaggio a un nuovo cluster per evitare ottimi locali.

D. Integrazione nel Corpus

I nuovi prompt generati vengono re-immessi nel motore di clustering. Vengono calcolate le distanze Euclidee per assegnarli ai centroidi più vicini, permettendo un affinamento cumulativo della distribuzione degli attacchi nel tempo senza bisogno di riclustering globale.

3. Risultati Chiave

Gli esperimenti sono stati condotti su Gemini 2.5 Flash (come target, giudice e operatore di mutazione), con validazione incrociata su altri modelli (Qwen3.5, ecc.).

• Sinergia tra Esplorazione e Mutazione: La configurazione completa ("All") ha ottenuto un punteggio medio di 79.76, superando significativamente le strategie isolate.
  • La sola mutazione converge a ottimi locali (punteggio stagnante ~53) perché non riesce a esplorare regioni semanticamente distinte.
  • La sola esplorazione (Random+Similar) fallisce nel convertire i candidati in attacchi riusciti (crollo dei punteggi a ~5.0) perché manca della "istinto killer" della mutazione strutturata.
• Scoperta di Vulnerabilità Composite: Il metodo evolutivo ha sistematicamente amplificato le vulnerabilità mancate dai metodi one-shot, scoprendo failure mode ad alta gravità (punteggi 100) in iterazioni successive (es. iterazioni 2, 9, 10).
• Validazione del Punteggio: I prompt con punteggio 100 sono stati confermati come jailbreak riusciti da validatori esterni (ChatGPT 5.2, Claude Sonnet 4.5, Gemini 3.0 Pro).
• Robustezza: Il framework ha dimostrato di funzionare efficacemente anche quando il giudice e il modello target sono diversi (es. Qwen che giudica Gemini e viceversa), confermando che la sinergia non è un artefatto del modello.

4. Contributi Principali

1. Reformulazione del Red-Teaming: Trasformazione della valutazione di sicurezza in un problema di ottimizzazione feedback-driven, superando i limiti dei benchmark statici.
2. Valutazione Duale: Introduzione di un sistema di scoring che valuta simultaneamente la sicurezza (rifiuto di input dannosi) e l'utilità (non rifiuto di input legittimi), prevenendo la degenerazione verso il rifiuto totale.
3. Framework Evolutivo Agentic: Un sistema autonomo che combina esplorazione gerarchica del corpus e mutazione genetica dei prompt, adattandosi dinamicamente alle risposte del modello target.
4. Open Source: Il codice è disponibile pubblicamente, promuovendo la riproducibilità e l'adozione di test di sicurezza adattivi.

5. Significato e Implicazioni

NAAMSE rappresenta un passo fondamentale verso la sicurezza degli agenti AI in produzione. Dimostra che la sicurezza non può essere garantita da checklist statiche o test one-shot, ma richiede test continui e adattivi.

• Scalabilità: Offre una soluzione scalabile al problema del red-teaming manuale.
• Realismo: Simula un avversario che impara e si adatta, fornendo una valutazione più realistica della robustezza degli agenti contro minacce in evoluzione.
• Prevenzione del "Blanket Refusal": Fornisce un metodo per identificare e correggere i modelli che diventano inutilizzabili per eccesso di cautela, bilanciando sicurezza e funzionalità.

In sintesi, NAAMSE stabilisce un nuovo standard per la valutazione della sicurezza degli agenti, spostando il paradigma dalla ricerca di vulnerabilità statiche all'evoluzione dinamica delle strategie di attacco per scoprire falle complesse e composite.