Riepilogo Tecnico: NeST (Neuron Selective Tuning) per la Sicurezza degli LLM

1. Definizione del Problema

Il dispiegamento responsabile dei Large Language Models (LLM) richiede un robusto allineamento della sicurezza per prevenire la generazione di contenuti dannosi o che violano le policy. Tuttavia, i metodi esistenti di allineamento della sicurezza affrontano significativi limiti riguardanti l'efficienza, la consapevolezza strutturale e la manutenibilità:

• Full Fine-Tuning: Sebbene efficace, l'aggiornamento di tutti i parametri del modello è computazionalmente costoso e intensivo in termini di archiviazione, rendendolo impraticabile per aggiornamenti frequenti man mano che i modelli, le policy o le strategie di attacco evolvono.
• Parameter-Efficient Fine-Tuning (PEFT): Metodi come la Low-Rank Adaptation (LoRA) riducono i costi computazionali ma spesso trattano lo spazio dei parametri come omogeneo. Non mirano ai meccanismi interni specifici responsabili del comportamento di rifiuto, portando a guadagni di sicurezza inconsistenti e a una potenziale degradazione delle capacità generali.
• Interventi al Tempo di Inferenza: Gli approcci che sopprimono le attivazioni dannose durante l'inferenza (ad esempio, i Circuit Breakers) introducono un overhead durante l'esecuzione e complicano il dispiegamento senza modellare permanentemente le rappresentazioni interne di sicurezza del modello.

Questi limiti ostacolano aggiornamenti di sicurezza rapidi, affidabili e manutenibili, particolarmente nei contesti di dispiegamento ospitati dove i modelli vengono frequentemente adattati per task a valle.

2. Metodologia: Framework NeST

NeST (Neuron Selective Tuning) è un framework di allineamento della sicurezza post-hoc progettato per essere efficiente nei parametri, consapevole della struttura e manutenibile. Opera sotto un modello di minaccia di dispiegamento black-box in cui il difensore ha accesso offline agli interni del modello per il tuning, mentre gli attaccanti interagiscono solo tramite prompt.

Il framework consiste in tre fasi primarie:

2.1. Identificazione dei Neuroni di Sicurezza

NeST localizza i componenti interni responsabili del comportamento di sicurezza analizzando le attivazioni di un modello pre-allineato alla sicurezza e congelato.

• Dati: Viene utilizzato un dataset bilanciato di prompt malevoli vanilla (es. "Come costruire una bomba?") e prompt benigni.
• Estrazione delle Attivazioni: Le attivazioni a livello di token vengono estratte dai moduli della rete feed-forward (FFN) (specificamente gate_proj e up_proj) attraverso tutti i layer del transformer.
• Pooling: Per catturare il segnale più forte, viene applicato il coordinate-wise max pooling sulla sequenza di token per ogni neurone.
• Probing: Un probe lineare leggero viene addestrato per distinguere tra prompt malevoli e benigni basandosi su queste attivazioni neuronali.
• Selezione: I neuroni con pesi positivi elevati nel probe (che indicano una forte associazione con l'intento dannoso) vengono selezionati come "neuroni di sicurezza". Questa selezione è standardizzata per layer per garantire la comparabilità.

2.2. Clustering dei Neuroni

Per evitare aggiornamenti instabili e non coordinati e per ridurre ulteriormente il numero di parametri, NeST raggruppa i neuroni di sicurezza identificati.

• Clustering: I neuroni vengono raggruppati in base alla somiglianza dei loro profili di attivazione attraverso il set di prompt utilizzando il k-means.
• Determinazione dei Cluster: Il numero ottimale di cluster ($k$) è determinato massimizzando il coefficiente di silhouette. Se non viene trovato un clustering significativo, tutti i neuroni di sicurezza in un layer sono trattati come un unico gruppo.
• Razionale: Si assume che i neuroni con pattern di attivazione simili svolgano ruoli funzionali simili nel comportamento di sicurezza e possano condividere i parametri di aggiornamento.

2.3. Addestramento e Fusione Basati sui Cluster

• Addestramento: NeST esegue un fine-tuning supervisionato su un dataset di sicurezza (prompt malevoli accoppiati con risposte di rifiuto; prompt benigni accoppiati con risposte utili).
• Restrizione dei Parametri: Solo i neuroni di sicurezza selezionati vengono aggiornati. Nello specifico, viene appreso un vettore di aggiornamento addestrabile condiviso per ogni cluster. Tutti i neuroni non selezionati e i pesi del modello base rimangono congelati.
• Fusione (Merging): Dopo l'addestramento, gli aggiornamenti dei cluster appresi vengono incorporati direttamente nei pesi del modello originale. Ciò produce un modello standard con zero overhead al tempo di inferenza.
• Indurimento a Valle (Downstream Hardening): I neuroni di sicurezza identificati e le loro assegnazioni ai cluster costituiscono un "prior di sicurezza". Questo prior può essere trasferito alle varianti del modello stesso sottoposte a fine-tuning a valle. Riutilizzando la mappatura strutturale, NeST può ripristinare la sicurezza nei modelli a valle tramite un leggero addestramento di recupero senza dover ridiscoprire le strutture di sicurezza.

3. Contributi Chiave

1. Framework di Tuning Selettivo per Neuroni: Introduzione di NeST, che allinea gli aggiornamenti dei parametri con strutture di sicurezza localizzate e funzionalmente coerenti piuttosto che con layer o proiezioni generiche.
2. Meccanismo di Adattamento Basato su Cluster: Un metodo innovativo che raggruppa i neuroni rilevanti per la sicurezza in base alla somiglianza delle attivazioni e apprende aggiornamenti condivisi all'interno di ogni gruppo, bilanciando l'efficienza dei parametri con la coerenza funzionale.
3. Robustezza Empirica: Dimostrazione di una forte robustezza della sicurezza su 14 LLM open-weight (con range da 1B a 27B di parametri) che spaziano in setting solo testuali e multimodali.
4. Indurimento Post-Hoc a Valle: Validazione del fatto che il prior di sicurezza identificato in un modello base può essere riutilizzato per ripristinare efficientemente la sicurezza nelle varianti a valle sottoposte a fine-tuning, affrontando la "tassa sulla sicurezza" (safety tax) del ripetuto allineamento.

4. Risultati Sperimentali

Il paper valuta NeST rispetto ai baseline inclusi Full Fine-Tuning (Full FT), LoRA, Circuit Breaker e SN-Tune su 14 modelli.

• Efficacia della Sicurezza (Attack Success Rate - ASR):

  • Modelli Solo Testo: NeST riduce l'ASR medio dal baseline del 44,5% all'1,1%. Questa performance è paragonabile a Full FT (1,0%) e supera significativamente LoRA (7,6%) e altri baseline leggeri.
  • Modelli Multimodali: Attraverso quattro modelli multimodali, NeST riduce l'ASV medio dal 55,3% all'1,1%, mantenendo l'efficacia in setting di inferenza basati su testo, immagine e ragionamento.
  • Varianti a Valle: Per 10 modelli a valle sottoposti a fine-tuning dove la sicurezza era degradata (ASR medio 53,8%), NeST ha ripristinato la sicurezza allo 0,8%.

• Efficienza dei Parametri:

  • NeST addestra solo in media 0,4M di parametri.
  • Ciò rappresenta una riduzione di oltre 5.800× rispetto a Full FT e oltre 3× rispetto al baseline LoRA a basso rango.
  • Nonostante la drastica riduzione dei parametri addestrabili, NeST raggiunge livelli di ASR comparabili a Full FT.

• Utilità e Over-Refusal (Eccessivo Rifiuto):

  • NeST preserva le capacità di ragionamento fondamentali (GSM8K, ARC, MMLU) con solo lievi cali di performance (l'accuratezza di GSM8K è scesa di 0,9 punti percentuali).
  • Il tasso di Over-Refusal (ORR) su prompt benigni è basso (media 0,9%), indicando che il metodo non sopprime indiscriminatamente le risposte utili.

• Stabilità:

  • I risultati rimangono coerenti attraverso diversi benchmark di jailbreak (WildJailbreak, JailBreakV-28k) e giudici di sicurezza (Qwen3Guard, Llama-Guard).
  • La rilevazione dei neuroni di sicurezza è stabile attraverso diversi seed casuali e dataset dannosi (somiglianza di Jaccard media >76%).

5. Significato e Rivendicazioni

Il paper sostiene che NeST dimostri che un allineamento della sicurezza robusto e manutenibile può essere ottenuto concentrando l'adattamento su strutture di sicurezza localizzate e funzionalmente coerenti, piuttosto che modificando l'intero modello.

• Praticità: Incorporando gli aggiornamenti nei pesi, NeST elimina l'overhead al tempo di inferenza, rendendolo adatto al dispiegamento in produzione.
• Manutenibilità: La capacità di trasferire un "prior di sicurezza" (cluster di neuroni) ai modelli a valle offre una soluzione scalabile per mantenere la sicurezza man mano che i modelli vengono specializzati per vari domini, lingue o task.
• Intuizione Strutturale: Il lavoro fornisce prove empiriche del fatto che il comportamento di sicurezza non è distribuito uniformemente, ma è localizzato in specifici neuroni che possono essere identificati e mirati efficientemente.

Gli autori posizionano NeST non solo come uno strumento di sicurezza, ma come un framework generale per l'adattamento dei parametri efficiente per task e strutturato sui neuroni, suggerendo la sua potenziale applicabilità oltre l'allineamento della sicurezza verso altri tipi di modifiche comportamentali mirate.