Sysformer: Safeguarding Frozen Large Language Models with Adaptive System Prompts

Il paper presenta Sysformer, un approccio innovativo che protegge i grandi modelli linguistici (LLM) congelati adattando dinamicamente i prompt di sistema tramite un modello trasformatore, migliorando significativamente la robustezza contro gli attacchi dannosi e la conformità alle richieste sicure senza richiedere un costoso riaddestramento dei parametri del modello.

L'essenziale

Ecco una spiegazione semplice e creativa del paper Sysformer, pensata per chiunque, anche senza conoscenze tecniche.

🛡️ Il Guardiano Adattivo: Cos'è Sysformer?

Immagina che un Grande Modello Linguistico (LLM), come quelli che usi per scrivere email o creare storie, sia come un bibliotecario molto istruito ma un po' ingenuo. Questo bibliotecario ha letto milioni di libri (è stato "addestrato") e sa rispondere a quasi tutto. Tuttavia, ha un problema: a volte è troppo gentile e ti dà istruzioni su come costruire una bomba se glielo chiedi in modo convincente, oppure è troppo timoroso e ti rifiuta di aiutarti a scrivere una poesia innocente perché pensa che sia pericolosa.

Di solito, per "aggiustare" questo bibliotecario, i programmatori devono riaddestrarlo completamente (come se dovessero fargli leggere di nuovo tutti i libri da capo), il che costa tantissimo tempo e denaro. Oppure usano dei filtri rigidi che bloccano tutto ciò che sembra sospetto, rischiando di bloccare anche cose innocue.

Sysformer è una soluzione diversa. È come se invece di riaddestrare il bibliotecario, gli dessimo un assistente personale intelligente e adattivo che gli siede accanto.

🧩 L'Analogia del "Foglio Istruzioni Magico"

Ogni volta che parli con un'IA, c'è un "foglio istruzioni" nascosto (chiamato System Prompt) che dice all'IA come comportarsi. Di solito, questo foglio è fisso e uguale per tutti: "Sii utile, sii gentile, ma non fare cose cattive".

Il problema è che questo foglio è rigido. Non cambia se l'utente sta chiedendo una ricetta per la pasta o un piano per hackerare una banca.

Sysformer è un piccolo "motore" (un modello Transformer) che agisce come un traduttore in tempo reale di questo foglio istruzioni.

1. Legge la tua domanda (il "User Prompt").
2. Analizza se è innocua o pericolosa.
3. Modifica istantaneamente il foglio istruzioni prima che il bibliotecario (l'IA) legga la tua domanda.

• Se chiedi una ricetta: Sysformer modifica il foglio per dire: "Ok, questa è una richiesta sicura, rispondi con entusiasmo e dai la ricetta!".
• Se chiedi come fare una bomba: Sysformer modifica il foglio per dire: "Attenzione! Questa richiesta è pericolosa. Blocca la risposta e dì gentilmente di no.".

🚀 Perché è così speciale?

Ecco i punti chiave, spiegati con metafore:

1. Non tocca il cervello dell'IA (Frozen LLM):
   Immagina che l'IA sia un'auto di lusso già pronta. Non vuoi smontare il motore per cambiarlo (costa troppo e rischi di rompere cose). Sysformer è come un sistema di sicurezza aggiuntivo che si aggancia al volante. L'auto rimane identica, ma ora ha un guardiano che controlla dove vuoi andare. Se provi a guidare verso un burrone (domanda pericolosa), il guardiano blocca il volante.

2. È intelligente e non un filtro stupido:
   I vecchi metodi erano come un guardiano di sicurezza che controlla solo le parole chiave. Se dici "bomba", ti blocca, anche se stavi parlando di un film. Sysformer è come un detective privato che capisce il contesto. Sa la differenza tra una domanda su come fare una bomba in un film e una richiesta reale.

3. Risultati impressionanti:
   Gli autori hanno provato Sysformer su 5 diverse "intelligenze" diverse. I risultati sono stati straordinari:

   • Ha imparato a dire "NO" alle domande pericolose fino all'80-90% in più rispetto ai metodi attuali.
   • Ha imparato a dire "SÌ" alle domande innocue fino al 90% in più, evitando di essere scortese o di rifiutarsi senza motivo.
   • È riuscito a resistere anche a tentativi molto sofisticati di "ingannare" l'IA (chiamati jailbreak), rendendola fino al 100% più robusta.

🎯 In sintesi

Sysformer è un piccolo, economico e intelligente "adattatore" che si attacca all'ingresso di qualsiasi Intelligenza Artificiale. Invece di cambiare chi è l'IA, cambia come l'IA interpreta le tue domande in tempo reale.

È come avere un filtro solare intelligente per il sole: non blocca la luce quando hai bisogno di vitamina D (domande utili), ma si oscura istantaneamente quando i raggi diventano troppo forti e pericolosi (domande dannose), tutto senza dover cambiare il cielo.

Questo approccio promette di rendere le IA più sicure, meno costose da proteggere e molto più utili per tutti noi.

Sommario tecnico

Ecco un riepilogo tecnico dettagliato del paper "Sysformer: Safeguarding Frozen Large Language Models with Adaptive System Prompts", presentato come articolo di conferenza all'ICLR 2026.

1. Il Problema

L'avanzamento non regolamentato dei Large Language Models (LLM) comporta rischi sociali significativi, tra cui la generazione di contenuti dannosi. Sebbene l'addestramento (fine-tuning) possa allineare i modelli agli obiettivi di sicurezza, presenta limiti critici:

• Costo e Scalabilità: Il fine-tuning è costoso e non scala bene con la dimensione del modello.
• Vulnerabilità: I modelli finetunati rimangono vulnerabili a tecniche sofisticate di "jailbreaking".
• Perdita di Conoscenza: Il fine-tuning rischia di cancellare conoscenze pre-addestrate utili.
• Over-refusal: I modelli tendono spesso a rifiutare ingiustificatamente prompt innocui (falsi positivi).

Esistono metodi di difesa "senza aggiornamento dei parametri" (frozen), come il filtraggio dei prompt o l'aggiunta di messaggi di avvertimento, ma questi spesso comportano costi inferenziali aggiuntivi, perdono informazioni utili o sono meccanicamente rigidi. Inoltre, l'aggiustamento manuale dei prompt di sistema è laborioso e non scalabile.

Il paper si propone di risolvere il Problema 1: garantire che un LLM pre-addestrato (con parametri congelati) risponda naturalmente ai prompt benigni ma rifiuti quelli dannosi, senza modificare i parametri del modello né filtrare gli input dell'utente.

2. Metodologia: Sysformer

Gli autori propongono Sysformer, un'architettura modulare basata su Transformer che si attacca all'input di qualsiasi LLM congelato. L'idea centrale è sfidare l'assunzione che il prompt di sistema debba essere fisso; invece, Sysformer adatta dinamicamente il prompt di sistema in base al prompt dell'utente.

Architettura

• Input: Il prompt di sistema iniziale ($S$) e il prompt dell'utente ($P$) vengono codificati utilizzando la tabella di embedding del token dell'LLM.
• Trasformazione: Sysformer è composto da $L$ strati (fissati a 2) che alternano:
  1. Self-Attention: Sul prompt di sistema.
  2. Cross-Attention: Tra il prompt di sistema e il prompt dell'utente.
• Output: Il modello produce un nuovo embedding del prompt di sistema ($\hat{S}$) nello spazio continuo degli embedding, che viene poi concatenato al prompt dell'utente e passato all'LLM congelato per generare la risposta.

Funzione di Perdita (Loss Function)

I parametri di Sysformer ($\Theta$) vengono addestrati per massimizzare la sicurezza mantenendo l'utilità, utilizzando una combinazione pesata di diverse funzioni di perdita:

1. Rifiuto dei prompt dannosi ($L_{ref}$): Massimizza la probabilità che il modello generi una risposta di rifiuto fissa (es. "Mi dispiace, non posso aiutarti") quando l'input è dannoso.
2. Conformità ai prompt sicuri ($L_{compl}$): Massimizza la probabilità di risposte fedeli per i prompt sicuri. Può essere basato su un template fisso o sulla generazione autonoma del modello stesso (self-compliance).
3. Classificazione ($L_{class}$): Addestra un layer lineare per distinguere linearmente le rappresentazioni nascoste dei prompt dannosi da quelli sicuri.
4. Preservazione del prompt ($L_{recon}$): Minimizza la differenza tra il prompt di sistema originale e quello trasformato per mantenere il controllo dell'utente e non perdere il significato originale.
5. Adattamento pre-training ($L_{add}$): Utilizza un dataset di istruzioni aggiuntivo per evitare che il modello si sovradatti solo al compito di sicurezza, preservando le capacità generali.

3. Contributi Chiave

• Approccio Adattivo: Prima volta che un sistema di sicurezza per LLM congelati adatta dinamicamente il prompt di sistema in base all'input dell'utente, trattando prompt di sistema e utente come modalità separate.
• Efficienza e Modularità: Non richiede l'aggiornamento dei parametri dell'LLM (frozen) e non richiede chiamate LLM aggiuntive durante l'inferenza (a differenza di metodi di smoothing o filtering multi-step).
• Generalizzazione: Dimostra capacità di generalizzare su diversi modelli e famiglie di LLM.
• Robustezza agli Attacchi: Se addestrato con esempi di attacco (data augmentation), Sysformer resiste efficacemente a strategie di jailbreaking sofisticate.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 5 modelli LLM (Llama-2-7B, Llama-3.1-8B, Mistral-7B, Phi-3.5-mini, Zephyr-7B) e 2 benchmark (JailbreakBench e StrongReject).

• Miglioramento della Sicurezza: Sysformer ha aumentato il tasso di rifiuto per i prompt dannosi fino all'80% in più rispetto alle baseline, mantenendo o migliorando la conformità ai prompt sicuri (fino al 90% di miglioramento nella compliance).
• Gap di Rifiuto ($\Delta RR$): Ha ottenuto un aumento del gap di rifiuto (differenza tra rifiuto su prompt dannosi e sicuri) fino al 50% rispetto a metodi di fine-tuning con LoRA, pur mantenendo i parametri congelati.
• Resistenza al Jailbreaking:
  • Senza addestramento specifico sugli attacchi, le prestazioni su jailbreak sofisticati erano simili alle baseline.
  • Con l'aggiunta di 6 strategie di attacco nel set di addestramento (su 16 totali), Sysformer ha raggiunto tassi di rifiuto vicini al 100% anche su attacchi non visti durante l'addestramento (generalizzazione OOD).
• Efficienza: L'overhead di tempo di inferenza è minimo (circa 20-30 secondi in più per batch su JailbreakBench), paragonabile al metodo "System Embedder", e non richiede chiamate LLM extra.
• Qualità della Generazione: Il punteggio BERTScore sulle risposte generiche (dataset Alpaca) è rimasto stabile o è migliorato leggermente, indicando che le capacità generali del modello non sono state compromesse.

5. Significato e Implicazioni

Il lavoro di Sysformer rappresenta un passo avanti significativo nella sicurezza degli LLM per diversi motivi:

1. Costo Ridotto: Offre una soluzione di sicurezza economica che non richiede il costoso fine-tuning di modelli grandi.
2. Flessibilità: Sposta il paradigma da prompt di sistema statici a prompt dinamici e contestuali, permettendo una difesa più intelligente e meno rigida.
3. Compatibilità: Essendo un modulo attaccabile all'input, è compatibile con qualsiasi strategia di fine-tuning esistente e può essere applicato a modelli già distribuiti senza ri-addestramento.
4. Scalabilità: Sebbene attualmente limitato a modelli fino a 8B per vincoli computazionali, l'approccio modulare promette di scalare meglio del fine-tuning completo.

In conclusione, Sysformer dimostra che l'adattamento intelligente del prompt di sistema è una strategia potente ed efficiente per mitigare i rischi di sicurezza degli LLM, aprendo la strada a future ricerche su prompt variabili e difese adattive.