Riepilogo Tecnico: Firewall Cognitivo per la Sicurezza degli LLM

Definizione del Problema

Le attuali protezioni a runtime per i Large Language Models (LLM) operano prevalentemente come classificatori per singolo messaggio. Questi sistemi valutano le singole domande o risposte rispetto a un catalogo fisso di danni in isolamento. Gli autori sostengono che questo approccio sia insufficiente perché non riesce a modellare l'obiettivo evolutivo dell'utente, a mantenere la memoria della traiettoria conversazionale o a verificare l'autorità asserita. Di conseguenza, gli avversari pazienti possono aggirare queste difese utilizzando strategie multi-turno in cui il danno non è presente in ogni singolo messaggio, ma emerge attraverso l'interazione nel suo complesso.

Vulnerabilità specifiche includono:

• Escalation Multi-turno: Attacchi come Crescendo iniziano in modo innocuo e utilizzano le risposte precedenti del modello per guidare verso un obiettivo dannoso.
• Decomposizione: Attacchi come ActorAttack suddividono obiettivi proibiti in una rete di sotto-domande individualmente innocue.
• Manipolazione dell'Autorità: Gli utenti possono rivendicare ruoli non autorizzati (es. sviluppatore, clinico) o override delle policy per bypassare le restrizioni, che i filtri per singolo messaggio spesso trattano come contesto ordinario piuttosto che come evidenza non verificata.

Le difese esistenti sensibili alla traiettoria riducono spesso l'intera cronologia della conversazione a un singolo punteggio di rischio, il che può diluire i segnali di escalation localizzati. Inoltre, la maggior parte delle difese basate sulla supervisione agisce post-generazione o si concentra su attacchi a turno singolo, mancando di un meccanismo proattivo per bloccare le interazioni non sicure prima che il modello target generi una risposta.

Metodologia: Il Firewall Cognitivo

Il documento propone il Firewall Cognitivo, un framework di supervisione proattiva a runtime che interpone un modello di supervisione indipendente tra l'utente e il modello target protetto. A differenza dei classificatori per singolo messaggio, questo framework legge l'interazione nel suo insieme e decompone la valutazione della sicurezza in quattro gate categorici. Le decisioni sono combinate tramite una regola di escalation: se un singolo gate restituisce un verdetto di pericolo, l'interazione viene bloccata immediatamente.

I Quattro Gate

1. Gate dell'Intento (G1) - Pre-generazione:

   • Funzione: Identifica l'obiettivo operativo di una richiesta risolvendo il deliverable reale letterale.
   • Meccanismo: Distingue tra la formulazione superficiale e i riferimenti reali (es. differenziare la descrizione di una scena cinematografica dalla sintesi effettiva di malware). Restituisce "non sicuro" solo se il deliverable costituisce un danno trasferibile (es. sintesi di armi, incitamento all'odio).
   • Obiettivo: Previene il rifiuto di richieste innocue che sembrano solo pericolose, pur bloccando attacchi diretti.

2. Gate del Contesto Zero-Trust (G2) - Pre-generazione:

   • Funzione: Verifica le rivendicazioni di ruolo, identità, autorità, permesso o override delle policy.
   • Meccanismo: Seguendo il principio "mai fidarsi, sempre verificare", tratta tutte le rivendicazioni di autorità all'interno del dialogo come evidenza non verificata. È cieco rispetto all'argomento, concentrandosi esclusivamente su rivendicazioni in prima persona riguardanti l'utente o le regole dell'assistente.
   • Obiettivo: Blocca i tentativi manipolatori di sbloccare contenuti ristretti tramite false credenziali o role-playing, un canale spesso ignorato dai filtri di contenuto generali.

3. Gate della Coerenza (G3) - Pre-generazione:

   • Funzione: Analizza l'intero verbale per la manipolazione temporale.
   • Meccanismo: Rileva l'escalation graduale (crescendo), la deriva da aperture innocue verso obiettivi ristretti, le contraddizioni con il contesto precedente e i compiti dannosi decomposti attraverso più turni.
   • Obiettivo: Blocca le interazioni in cui il danno viene assemblato nel tempo, anche se i singoli turni appaiono sicuri. Si astiene sul primo turno per evitare falsi positivi su aperture innocue.

4. Gate del Rischio dell'Output (G4) - Post-generazione:

   • Funzione: Ispeziona la risposta candidata generata dal modello target.
   • Meccanismo: Valuta l'effettivo contenuto consegnato, cercando capacità pericolose azionabili, passaggi parziali o artefatti dannosi (es. phishing, insulti).
   • Obiettivo: Agisce come rete di sicurezza per i payload di decomposizione che diventano dannosi solo quando assemblati nella risposta finale.

Regola Decisionale

Il framework utilizza una regola decisionale basata sull'escalation anziché la media dei punteggi. Poiché ogni gate emette un'etichetta categorica (es. non sicuro, manipolatorio, in escalation) piuttosto che un punteggio numerico, il sistema blocca il turno non appena un qualsiasi gate abilitato restituisce un verdetto di pericolo. Ciò garantisce che un segnale di pericolo certo non venga diluito da segnali sicuri provenienti da altri gate e fornisce una motivazione leggibile dall'uomo e verificabile per ogni blocco.

Contributi Chiave

1. Framework Proattivo a Runtime: Introduzione di un modello di supervisione separato che decompone il giudizio di sicurezza in analisi dell'intento, verifica del contesto zero-trust, analisi della traiettoria della conversazione e valutazione del rischio dell'output.
2. Verifica del Contesto Zero-Trust: Un gate dedicato che isola e verifica le rivendicazioni di ruolo e autorità come evidenza non verificata, affrontando un canale di manipolazione precedentemente confuso con la sicurezza del contenuto generale.
3. Regola Decisionale Basata sull'Escalation: Un metodo per combinare i verdetti categorici dei gate che previene la diluizione del punteggio, permettendo a un singolo segnale di pericolo certo di bloccare un'interazione pur mantenendo l'auditabilità.
4. Valutazione Completa: Validazione empirica attraverso set di attacchi a turno singolo, multi-turno, basati sull'autorità e creati dall'uomo, dimostrando prestazioni superiori rispetto ai modelli di guardia esistenti e ai firewall sensibili alla traiettoria.

Risultati Sperimentali

Il framework è stato valutato su quattro benchmark di attacco e un set di test di sicurezza benigno ($n=100$ per singolo turno, $n=50$ per attacchi multi-turno, $n=16$ per sonde di autorità, $n=120$ per prompt benigni).

• Riduzione del Tasso di Successo dell'Attacco (ASR):

  • Singolo turno (jbb): Ridotto l'ASR dal 45% (non difeso) all'1%.
  • Escalation Multi-turno (Crescendo): Ridotto l'ASR dal 10% allo 0%.
  • Decomposizione (safemt/ActorAttack): Ridotto l'ASR dal 30% al 2%.
  • Jailbreak Creati dall'Uomo (mhj): Ridotto l'ASR dal 74% al 14%.
  • Sonde di Autorità: Bloccati il 75% degli attacchi basati sull'autorità (12/16), rispetto al 6–31% degli altri baseline.

• Tempistica di Contenimento:

  • Il framework raggiunge il contenimento principalmente prima della generazione. Per gli attacchi Crescendo, il 100% è stato bloccato pre-generazione. Per gli attacchi diretti, il 92% è stato bloccato pre-generazione.
  • Al contrario, le guardie per singolo messaggio e i firewall sensibili alla traiettoria spesso falliscono sui set di decomposizione perché valutano i turni in isolamento o mediano i punteggi di rischio.

• Sovra-rifiuto (Over-Refusal):

  • Il framework ha mantenuto un tasso di sovra-rifiuto dell'8% sui prompt benigni (xstest), significativamente inferiore rispetto ai baselines di guardia più severi (es. ShieldGemma al 18%, Granite Guardian al 21%).

• Contributi dei Gate (Ablazione):

  • La rimozione del Gate della Coerenza ha causato il calo maggiore nel contenimento pre-generazione per gli attacchi multi-turno (es. il contenimento di Crescendo è sceso dal 100% al 72%).
  • La rimozione del Gate dell'Output ha aumentato significativamente l'ASR sui set di decomposizione (es. l'ASR di safemt è salito dal 2% al 16%), confermando il suo ruolo di necessaria rete di sicurezza.
  • Il Gate del Contesto è stato decisivo per le sonde di autorità (il tasso di blocco è sceso allo 0% quando rimosso), ma ha avuto un impatto minimo sugli attacchi standard dove non veniva rivendicata alcuna autorità.

Significato e Rivendicazioni

Il documento afferma che il Firewall Cognitivo dimostra che la supervisione decompressa a livello di conversazione può migliorare significativamente il contenimento proattivo e l'auditabilità per la sicurezza degli LLM.

• Passaggio dalla Classificazione alla Comprensione: Il lavoro sostiene che proteggere un modello è un problema di comprensione che richiede un modello dell'obiettivo evolutivo dell'utente, piuttosto che un semplice problema di classificazione.
• Operazionalizzazione del Contenimento Cognitivo: Fornisce un'istanza concreta del concetto di "firewall cognitivo", passando da strati inibitori teorici a un sistema pratico che arresta l'escalation verso obiettivi non sicuri prima che il modello target generi.
• Auditabilità: Utilizzando gate categorici e una regola di escalation, ogni interazione bloccata è tracciabile fino a un verdetto specifico leggibile dall'uomo (es. "in escalation" o "manipolatorio"), a differenza dei sistemi opachi basati su punteggi.
• Complementarità: I risultati mostrano che i gate pre-generazione e post-generazione sono complementari; nessuno dei due è sufficiente da solo per gestire l'intero spettro degli attacchi multi-turno e di decomposizione.

Gli autori segnalano limitazioni, tra cui l'uso di un singolo giudice della stessa famiglia per la valutazione, dimensioni del campione modeste per certi tipi di attacco e la mancanza di stress-test contro attacchi di prompt injection mirati al modello supervisore stesso. Tuttavia, il framework stabilisce un nuovo standard per la gestione di complesse strategie avversarie multi-turno che le attuali difese a singolo messaggio non possono mitigare efficacemente.