Riepilogo Tecnico: META SECALIGN

Problematica

Gli attacchi di prompt injection (PI) rappresentano la principale minaccia alla sicurezza per le applicazioni che integrano Large Language Models (LLM). In questi attacchi, dati non attendibili recuperati dall'ambiente contengono istruzioni iniettate che manipolano l'LLM per sovrascrivere i prompt fidati del sistema o dell'utente. Ciò può portare a conseguenze gravi come l'esfiltrazione di dati, violazioni della sicurezza ed esecuzione di malware.

Sebbene le difese a livello di modello (addestrare l'LLM a dare priorità alle istruzioni fidate rispetto ai dati non attendibili) si siano dimostrate più efficaci delle difese a livello di sistema, le difese esistenti più forti sono proprietarie (ad esempio, in GPT-5 o Gemini-3-Pro). La mancanza di modelli sicuri completamente open-source e di livello commerciale ostacola lo sviluppo congiunto di attacchi e difese, essenziale per il progresso scientifico nella sicurezza dell'IA. Inoltre, i precedenti tentativi open-source (ad esempio, l'originale SecAlign) hanno spesso sofferto di una significativa degradazione dell'utilità o non sono riusciti a generalizzare verso flussi di lavoro agentici complessi.

Metodologia: SecAlign++

Gli autori introducono META SECALIGN, un LLM completamente open-source addestrato utilizzando una nuova ricetta chiamata SecAlign++. Questa ricetta è un'evoluzione della difesa allo stato dell'arte (SoTA) SecAlign, progettata per raggiungere un'utilità di livello commerciale mantenendo una robusta sicurezza.

Architettura Core

Il metodo si basa su una specifica modifica del template di chat per separare le istruzioni fidate dai dati non attendibili:

1. Nuovo Tipo di Messaggio: Un ruolo di messaggio dedicato, input, viene aggiunto al template di chat (insieme a system, user e assistant) per incapsulare i dati non attendibili.
2. Enforcement dei Delimiter: Delimiter speciali (ad esempio, <|eot_id|>, <|start_header_id|>) vengono utilizzati per separare questi ruoli. Il modello filtra ricorsivamente i dati non attendibili per garantire che non esistano delimiter speciali all'interno dei dati stessi, impedendo agli attaccanti di "evadere" dalla separazione.

Innovazioni nell'Addestramento

SecAlign++ introduce due novità tecniche chiave rispetto al framework originale SecAlign per affrontare i suoi limiti:

1. Posizione di Iniezione Randomizzata:

   • Problema: L'originale SecAlign spesso imparava una "scorciatoia" in cui il modello ignorava solo l'ultima frase dell'input se assomigliava a un'istruzione. Ciò causava l'ignoranza da parte del modello di legittime istruzioni dell'utente se apparivano alla fine dei dati.
   • Soluzione: Durante l'addestramento, le iniezioni simulate sono randomizzate. Nel 45% dei casi, l'iniezione è posizionata alla fine dei dati; in un altro 45%, è posizionata all'inizio; nel 10%, viene utilizzata una "completion attack" (che simula un turno di conversazione). Questo costringe il modello a imparare a identificare specificamente il ruolo del messaggio input, piuttosto che fare affidamento su scorciatoie posizionali.

2. Risposte Auto-Generate:

   • Problema: L'originale SecAlign utilizzava un modello annotatore obsoleto (TEXT_DAVINCI_003) per generare risposte "desiderabili" (benigne) e "indesiderabili" (iniettate). Queste risposte erano spesso di bassa qualità e fuori distribuzione rispetto al modello in fase di fine-tuning, portando a una scarsa utilità e sicurezza.
   • Soluzione: Il modello di inizializzazione (l'LLM non difeso, ad esempio LLAMA-3.3-70B-INSTRUCT) viene utilizzato come annotatore di risposte. Ciò garantisce che le etichette di addestramento siano in-distribution e di alta qualità, corrispondenti alle capacità del modello che viene messo in sicurezza.

Ottimizzazione

I modelli sono sottoposti a fine-tuning tramite Direct Preference Optimization (DPO) su un dataset di preferenza costruito. Il dataset consiste in:

• Input ($x$): Un prompt con dati benigni e un'iniezione simulata.
• Risposta Desiderabile ($y_w$): L'output del modello di inizializzazione dato il prompt e i dati benigni, ignorando l'iniezione.
• Risposta Indesiderabile ($y_l$): L'output del modello di inizializzazione dato solo l'iniezione.

Contributi Chiave

1. Modelli META SECALIGN: Il rilascio di META-SECALIGN-8B e META-SECALIGN-70B, i primi LLM completamente open-source e di livello commerciale con difese integrate contro la prompt injection a livello di modello, capaci di gestire compiti agentici complessi.
2. Ricetta SecAlign++: Una nuova ricetta di addestramento che migliora la SoTA SecAlign introducendo posizioni di iniezione randomizzate e risposte auto-generate, aumentando significativamente sia l'utilità che la sicurezza.
3. Valutazione Comprensiva: La valutazione più estesa delle difese contro la prompt injection ad oggi, che copre 9 benchmark di utilità (conoscenza generale, rispetto delle istruzioni, flussi di lavoro agentici) e 7 benchmark di sicurezza.
4. Generalizzazione: Dimostrazione che la sicurezza appresa durante l'addestramento si generalizza a task downstream non visti, inclusi il tool-calling e la navigazione web, senza richiedere un addestramento specifico per il task.

Risultati

Compromesso Utilità vs Sicurezza

• Utilità di Livello Commerciale: META-SECALIGN-70B raggiunge punteggi di utilità comparabili, e in alcuni casi superiori, ai modelli commerciali chiusi (ad esempio GPT-4o-Mini) nei benchmark di conoscenza generale e rispetto delle istruzioni. Notevolmente, mostra una minima perdita di utilità rispetto al suo corrispettivo non difeso (LLAMA-3.3-70B-INSTRUCT).
• Stato dell'Arte della Sicurezza:
  • Rispetto delle Istruzioni: Raggiunge un Attack Success Rate (ASR) del 6,4% sul benchmark SEP, superando diversi modelli chiusi.
  • Flussi di Lavoro Agentici: Dimostra un'eccezionale robustezza nel tool-calling (AgentDojo: 1,9% ASR) e nella navigazione web (WASP: 0% ASR end-to-end).
  • Confronto: META-SECALIGN-70B è più sicuro di diversi modelli proprietari flagship (inclusi GPT-4o e Gemini-2.5-Flash) ed è paragonabile a GPT-5 sia in utilità che in sicurezza per i task agentici.

Robustezza agli Attacchi Adattivi

Il paper valuta i modelli contro attacchi adattivi, inclusi quelli che utilizzano falsi delimiter (basati sulla distanza di embedding) e attacchi Greedy Coordinate Gradient (GCG). SecAlign++ supera significativamente l'originale SecAlign in questi scenari, mantenendo un basso ASR anche quando gli attaccanti tentano di bypassare la separazione dei delimiter.

Scalabilità del Modello e Flessibilità

• Scalabilità: Si osserva che gli LLM più forti (ad esempio LLAMA-3.3-70B) sono più vulnerabili agli attacchi PI quando non difesi rispetto ai modelli più piccoli (LLAMA-3.1-8B). Tuttavia, SecAlign++ mette in sicurezza con successo i modelli su diverse scale (4B, 8B, 70B, 109B MoE) con una perdita di utilità trascurabile.
• Controllo del Compromesso: Gli autori dimostrano che il compromesso tra utilità e sicurezza può essere controllato in modo flessibile al momento dell'inferenza regolando il parametro LoRA $\alpha$, consentendo agli utenti di interpolare tra la sicurezza del modello fine-tuned e l'utilità del modello base senza necessità di ri-addestramento.

Significato e Rivendicazioni

Il paper afferma che META SECALIGN stabilisce una nuova frontiera per il compromesso tra utilità e sicurezza negli LLM open-source. Fornendo un modello di base completamente aperto e di livello commerciale, consente alla comunità della sicurezza dell'IA di condurre una ricerca trasparente, favorendo lo sviluppo congiunto di attacchi e difese.

Gli autori sottolineano che il loro lavoro colma il divario tra la ricerca accademica (spesso limitata a modelli toy da 8B) e l'implementazione industriale (API a codice chiuso). Affermano che SecAlign++ è la prima ricetta a raggiungere una sicurezza SoTA contro le prompt injection senza la significativa degradazione dell'utilità precedentemente osservata nelle difese open-source. Il rilascio dei modelli, del codice e delle ricette di addestramento è inteso ad accelerare la ricerca futura per mitigare le minacce di prompt injection nelle applicazioni integrate con LLM.