AVISE: Framework for Evaluating the Security of AI Systems

Titolo

AVISE: Framework per la Valutazione della Sicurezza dei Sistemi di Intelligenza Artificiale

1. Il Problema

Con la rapida adozione dei sistemi di Intelligenza Artificiale (AI), in particolare dei modelli linguistici (LLM) e dei sistemi multimodali, le vulnerabilità di sicurezza rappresentano un rischio crescente di exploit ad alto profilo e guasti sistemici. Nonostante l'esistenza di alcuni strumenti di valutazione, l'approccio alla sicurezza dell'AI presenta diverse lacune critiche:

• Mancanza di standardizzazione: Non esistono metodologie sistematiche e modulari per valutare la sicurezza di diverse tipologie di AI (es. apprendimento continuo, modelli multimodali).
• Natura Stocastica: I modelli AI sono probabilistici; una singola esecuzione di un test non è sufficiente per valutare la sicurezza a causa della variabilità delle output. È necessaria un'aggregazione statistica su più esecuzioni.
• Limiti degli strumenti esistenti: Gli strumenti attuali (come Purple Llama, Giskard, garak) spesso trattano i test come eventi isolati, mancano di flessibilità per test personalizzati (white-box/grey-box) o richiedono competenze elevate per la configurazione. Inoltre, molti si basano su dataset statici che non catturano la complessità delle interazioni reali.

2. Metodologia: Il Framework AVISE

Gli autori introducono AVISE (AI Vulnerability Identification and Security Evaluation), un framework open-source modulare scritto in Python, progettato per automatizzare la scoperta di vulnerabilità attraverso Security Evaluation Tests (SET).

Architettura del Framework:
Il framework è composto da due livelli principali:

1. Livello di Orchestrazione (Orchestration Layer): Gestisce la logica operativa del pipeline di testing. Include:
   • BaseSETPipeline: Definisce le classi astratte e il ciclo di vita del test (Inizializzazione, Esecuzione, Valutazione, Reporting). Garantisce coerenza e interoperabilità.
   • SET (Security Evaluation Test): Classi specifiche che estendono il pipeline per testare vulnerabilità concrete.
   • Evaluator: Componenti che analizzano le output del sistema target per determinare se una vulnerabilità è stata sfruttata (es. uso di un altro LLM come valutatore).
   • Report Generator: Genera report comprensibili agli umani, inclusi log, statistiche e raccomandazioni di remediation.
   • Execution Engine: Gestisce l'esecuzione, la configurazione dei connettori e l'allocazione delle risorse.
2. Livello di Interazione (Interaction Layer): Gestisce la comunicazione con il sistema target tramite Connector, permettendo test "black-box" (senza accesso al codice sorgente) simulando ambienti reali.

Caso di Studio: Attacco "Red Queen" Potenziato
Per dimostrare il framework, gli autori hanno sviluppato un SET specifico basato sull'attacco "Red Queen" (un attacco multi-turno che sfrutta la teoria della mente per ingannare il modello).

• Estensione: L'attacco originale è stato potenziato con un Adversarial Language Model (ALM). L'ALM modifica dinamicamente i prompt di attacco in base alle risposte del modello target per mantenere il contesto coerente e prevenire deviazioni stocastiche.
• Valutazione: Un Evaluation Language Model (ELM) (basato su Ministral 3 da 3B parametri) valuta se il modello target ha generato istruzioni dannose (jailbreak) o ha rifiutato la richiesta.

3. Contributi Chiave

1. Framework Modulare AVISE: Un'infrastruttura estensibile che supporta test black-box, grey-box e white-box per vari tipi di sistemi AI, permettendo la creazione di SET personalizzati.
2. Automazione dell'Attacco Red Queen: Sviluppo di un SET automatizzato che integra un ALM per adattare i prompt in tempo reale, migliorando l'efficacia degli attacchi multi-turno contro modelli stocastici.
3. Metodologia di Valutazione Statistica: Implementazione di un approccio che richiede l'esecuzione multipla dei test per ottenere risultati statisticamente significativi, affrontando il problema della variabilità dei modelli AI.
4. Valutazione Empirica: Applicazione del framework su nove modelli linguistici di diverse dimensioni per mappare la loro vulnerabilità agli attacchi di jailbreak.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su nove modelli open-source recenti (es. Llama 3.1/3.2/3.3, Ministral, Mistral, Qwen, Nemotron) utilizzando GPU NVIDIA Tesla P100.

• Efficacia dell'Attacco (Con ALM): Quando l'attacco Red Queen è stato potenziato dall'ALM, tutti i nove modelli valutati hanno mostrato vulnerabilità agli attacchi multi-turno, con tassi di fallimento (Failure Rate) che variavano dall'8% al 84%.
  • I modelli più robusti sono stati Nemotron 3 Super 120B (12% di fallimento) e Qwen 3.5 35B (8% di fallimento).
  • Il modello Ministral 3 14B è risultato il più vulnerabile (84% di fallimento).
• Efficacia dell'Attacco (Senza ALM): Senza l'adattamento dinamico dell'ALM, la maggior parte dei modelli ha superato la maggior parte dei test (tassi di fallimento molto più bassi), dimostrando che la stocasticità del modello spesso devia il contesto dell'attacco, rendendo i template statici meno efficaci.
• Performance dell'ELM (Valutatore):
  • Con l'uso dell'ALM, l'ELM ha raggiunto un'accuratezza del 92%, un F1-score di 0.91 e un coefficiente di correlazione di Matthews (MCC) di 0.83.
  • Senza l'ALM, le performance dell'ELM sono peggiorate significativamente (Accuratezza 79%, F1-score 0.41) a causa di un alto numero di falsi positivi, causati dalla deviazione del contesto nelle conversazioni non adattate.

5. Significato e Implicazioni

• Validazione della Necessità di Automazione: I risultati confermano che le vulnerabilità di sicurezza negli LLM sono pervasive e che i test manuali o statici sono insufficienti. Strumenti automatizzati come AVISE sono essenziali per identificare rischi prima del dispiegamento.
• Importanza dell'Adattamento Dinamico: Lo studio dimostra che l'uso di un modello avversario (ALM) per adattare i prompt è cruciale per testare efficacemente la sicurezza dei modelli moderni, che tendono a "dimenticare" o deviare dal contesto in conversazioni lunghe.
• Impatto Pratico: AVISE fornisce a ricercatori e professionisti dell'industria una base solida per sviluppare test di sicurezza riproducibili e scalabili, allineandosi alle nuove normative (come l'EU AI Act) che richiedono il "red teaming" obbligatorio.
• Considerazioni Etiche: Gli autori riconoscono il dilemma dell'uso duale (dual-use) degli strumenti di red teaming. Sottolineano l'importanza della "divulgazione responsabile" (responsible disclosure) per garantire che le vulnerabilità scoperte vengano patchate prima di essere sfruttate da attori malevoli.

In conclusione, AVISE rappresenta un passo concreto verso una valutazione della sicurezza dell'AI più rigorosa, riproducibile e adattabile all'evoluzione rapida del campo, colmando il divario tra la ricerca teorica e la pratica industriale.