💻 computer science

SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs

Il documento introduce SafeNexus, un framework di allineamento della sicurezza cross-modale che identifica e guida i neuroni della sicurezza universali per modalità attraverso la soppressione mirata e l'amplificazione dell'attivazione per difendere in modo robusto i modelli linguistici di grandi dimensioni multimodali contro diverse minacce cross-modali, preservando al contempo l'utilità.

Autori originali: Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin. Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

Pubblicato 2026-08-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin. Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate internet come una biblioteca gigante e frenetica dove i libri possono rispondervi. Per molto tempo, questi libri parlanti sono stati solo testo, come una chatbot molto intelligente. Ma recentemente, si sono evoluti in "Modelli Linguistici di Grandi Dimensioni Multimodali" (MLLM). Pensateli come dei super-bibliotecari che ora possono leggere il testo, guardare le immagini e ascoltare l'audio tutto in una volta. Sono incredibilmente utili, ma questo nuovo superpotere ha un risvolto: apre nuove strade affinché i malintenzionati possano ingannarli. Proprio come una guardia giurata in un museo potrebbe saper riconoscere un falso dipinto ma non riuscire a notare una registrazione audio contraffatta, questi modelli di IA hanno spesso delle protezioni di sicurezza che funzionano solo per un tipo di input. Se provate a ingannarli con un'immagine invece che con delle parole, o con un clip audio invece che con una frase, le guardie potrebbero ignorare completamente il pericolo. La grande domanda che i ricercatori si pongono è: come costruiamo un sistema di sicurezza che funzioni a prescindere da come il malintenzionato cerchi di infiltrarsi?

È qui che entra in gioco un nuovo studio chiamato SafeNexus. I ricercatori, un team proveniente da università della Cina e di Singapore, hanno deciso di smettere di guardare alla sicurezza dell'IA dall'esterno e sono invece partiti per una caccia al tesoro all'interno del "cervello" dell'IA. Hanno scoperto che la capacità dell'IA di dire "no" alle richieste scorrette non è sparsa casualmente; è in realtà controllata da un piccolo e speciale gruppo di interruttori interni chiamati neuroni.

Ecco la parte divertente: il team ha scoperto che, sebbene diversi tipi di input (come testo, immagini o audio) utilizzino parti diverse del cervello per elaborare le informazioni, esiste un club segreto e condiviso di neuroni che funge da ultimo "rilevatore di pericolo" per tutti loro. Li chiamano i neuroni US (Neuroni di Sicurezza Universali per la Modalità). È come scoprire che, sia che stiate cercando di passare un coltello, una bomba o un falso documento di identità oltre la sicurezza, c'è una specifica e minuscola telecamera di sorveglianza nel corridoio che scorge tutti loro. Se spegnete quella telecamera, l'intero edificio diventa insicuro, indipendentemente da ciò che l'intruso sta trasportando.

Il documento suggerisce che i metodi precedenti cercavano di tappare i buchi nella sicurezza riaddestrando l'intera IA o aggiungendo filtri esterni, il che è come assumere una nuova guardia giurata per ogni singola porta. SafeNexus adotta un approccio diverso: trova quei pochi e critici neuroni "rilevatori di pericolo" e dà loro una spinta di superpotere. Il team ha testato due modi per farlo:

L'Amplificatore: Durante il processo di pensiero dell'IA, hanno semplicemente alzato il volume di quei neuroni specifici, facendo sì che gridassero "PERICOLO!" più forte e più velocemente.
Il Calibratore: Hanno dato a quei neuroni specifici una piccola e mirata messa a punto (usando un metodo chiamato LoRA) in modo che diventassero naturalmente più bravi a individuare i problemi, senza dover riaddestrare l'intera IA.

I risultati sono stati impressionanti. Quando hanno testato questo approccio su modelli come Qwen e VITA, hanno scoperto che potenziare questi pochi neuroni rendeva l'IA molto più brava a rifiutare richieste dannose, che la richiesta arrivasse sotto forma di testo, immagine o suono. Fondamentalmente, hanno scoperto che questo non rendeva l'IA "stupida" o eccessivamente cauta. Non ha iniziato a rifiutare domande innocue (come "come si prepara una torta?") e non ha dimenticato le sue altre mansioni. In effetti, in alcuni test, il nuovo metodo è stato molto più efficace nel bloccare gli attacchi rispetto ai migliori metodi attuali, pur modificando meno dello 0,05% della potenza cerebrale totale dell'IA.

I ricercatori hanno anche dimostrato che questo trucco funziona anche su cose su cui non sono stati esplicitamente addestrati, come i video. Anche se non hanno mai mostrato clip video all'IA durante la fase di "tuning", i neuroni potenziati erano comunque capaci di individuare il pericolo negli attacchi video. Ciò suggerisce che hanno davvero trovato un meccanismo di sicurezza centrale e universale piuttosto che aver semplicemente memorizzato esempi specifici.

In breve, SafeNexus suggerisce che non abbiamo bisogno di ricostruire l'intero sistema di sicurezza dell'IA per renderla sicura in tutti i formati. Invece, dobbiamo solo trovare i pochi e minuscoli "freni" universali all'interno della macchina e assicurarci che funzionino a piena forza. È un po' come rendersi conto che per impedire a un'auto di correre troppo, non serve sostituire l'intero motore; basta assicurarsi che il pedale del freno sia collegato saldamente alle ruote.

Sintesi Tecnica: SafeNexus

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato una robusta performance di sicurezza, la loro evoluzione in Multimodal Large Language Models (MLLM) ha esposto un divario significativo tra le espanse capacità multimodali e gli esistenti meccanismi di sicurezza. Le attuali strategie di difesa sono prevalentemente confinate a specifici setting modali (ad esempio, difese solo per immagini o solo per testo), rivelandosi inadeguate contro attacchi cross-modali sofisticati in cui gli avversari sfruttano le interazioni tra testo, immagini e audio per aggirare le protezioni. Inoltre, gli approoli di difesa cross-modale esistenti spesso trattano i meccanismi di sicurezza interni come una "black box" o si affidano ad un allineamento basato su addestramento computazionalmente costoso che rischia il dimenticanza catastrofica delle capacità generali. Esiste una mancanza critica di comprensione riguardo ai meccanismi interni intrinseci che governano i comportamenti di sicurezza attraverso diverse modalità.

Metodologia: SafeNexus

Il documento propone SafeNexus, un framework di allineamento della sicurezza cross-modale che adotta una strategia di intervento a livello di neurone "localizza-e-rinforza". La metodologia procede in tre fasi primarie:

1. Localizzazione e Identificazione dei Neuroni

Gli autori formulano un paradigma per identificare neuroni funzionalmente specializzati caratterizzando i pattern di attivazione degli strati intermedi.

Punteggio di Importanza: I neuroni sono definiti come singoli vettori riga all'interno delle matrici di up-projection o gate-projection delle Feed-Forward Network (FFN). Il loro contributo è quantificato aggregando l'entità delle attivazioni su un corpus di probing e integrandole con la direzione di down-projection per derivare un punteggio di importanza consapevole dell'output.
Neuroni di Sicurezza Legati alla Modalità (BS-Neurons): Utilizzando dataset contrastivi composti da query dannose (jailbreak) e benigne per specifiche modalità (Testo, Immagine, Audio), gli autori identificano i neuroni che sono altamente attivi durante le risposte dannose ma non durante quelle benigne. Questi sono denominati BS-Neurons ( $BS^c$ ).
Neuroni di Sicurezza Universali alla Modalità (US-Neurons): Intersecando i set di BS-Neurons identificati attraverso diverse modalità ( $US = BS^T \cap BS^I \cap BS^A$ ), gli autori isolano un sottoinsieme condiviso e compatto di neuroni. Si ipotizza che questi US-Neurons governino una sicurezza multimodale globale indipendentemente dalla modalità di input.

2. Validazione tramite Soppressione Mirata

Gli autori validano il ruolo critico di questi neuroni attraverso esperimenti di soppressione mirata (masking):

Validazione BS-Neuron: Il masking dei BS-Neurons specifici per modalità causa una significativa degradazione della performance di sicurezza (misurata tramite l'Attack Success Rate, ASR) all'interno di quella specifica modalità, mentre il masking di neuroni casuali ha effetti trascurabili.
Validazione US-Neuron: Il masking dei condivisi US-Neurons porta a un pronunciato deterioramento della performance difensiva in tutti i diversi setting di input multimodale (ad esempio, solo testo, testo+immagine, testo+audio), confermando il loro ruolo di ancora centrale per la sicurezza. Fondamentalmente, questa soppressione non degrada sostanzialmente l'utilità generale del modello.

3. Strategie di Allineamento della Sicurezza

Sulla base della scoperta che il rinforzo degli US-Neurons migliora la sicurezza, SafeNexus propone due distinte strategie di intervento:

Amplificatore di Sicurezza a Livello di Attivazione: Un approccio senza addestramento che scala direttamente l'entità delle attivazioni degli US-Neurons durante l'inferenza tramite un coefficiente $\alpha$ specificato manualmente. Questo amplifica il segnale di sicurezza senza aggiornare i parametri del modello.
Calibratore di Neuroni di Sicurezza: Un approccio di fine-tuning mirato utilizzando la Low-Rank Adaptation (LoRA). A differenza della LoRA standard che aggiorna tutti i parametri, questo metodo restringe gli aggiornamenti addestrabili esclusivamente agli US-Neurons (circa lo 0,05% dei parametri della backbone), calibrando selettivamente i neuroni per migliorare l'allineamento della sicurezza e preservare le capacità generali evitando la dimenticanza catastrofica.

Contributi Chiave

Scoperta dei Subspazi di Sicurezza: Il documento identifica e valida l'esistenza di BS-Neurons (legati alla modalità) e US-Neurons (universali alla modalità), rivelando che la sicurezza multimodale nei MLLM è governata prevalentemente da un sottoinsieme condiviso e altamente compatto di neuroni.
Strategie di Allineamento Efficienti: Gli autori propongono due strategie efficienti — l'Amplificatore di Sicurezza a Livello di Attivazione e il Calibratore di Neuroni di Sicurezza — che migliorano significativamente la robustezza del modello contro input multimodali dannosi.
Superiorità Empirica: Esperimenti estesi dimostrano che SafeNexus raggiunge prestazioni allo stato dell'arte attraverso diversi benchmark di sicurezza multimodale (inclusi Omni-Safe, HarmBench e JALM) pur preservando efficacemente l'utilità generale del modello ed evitando comportamenti di rifiuto eccessivamente conservativi.

Risultati Sperimentali

Gli autori hanno valutato SafeNexus su tre MLLM open-source (Qwen2.5-Omni, VITA e MiniCPM-o) attraverso varie combinazioni di modalità (Testo, Immagine, Audio e le loro combinazioni).

Performance di Sicurezza: SafeNexus supera i metodi prevalenti allo stato dell'arte (inclusi approcci basati sull'addestramento come SPA-VL e interventi al tempo di inferenza come ECSO e Immune). Ad esempio, sul modello MiniCPM con input Testo+Immagine+Audio, la strategia del calibratore ha ridotto l'ASR di oltre il 60%, superando significativamente i baseline.
Preservazione dell'Utilità: Il metodo mantiene un'alta accuratezza sui benchmark di capacità generali (OmniBench, AV-Odyssey), mostrando una degradazione trascurabile rispetto ai modelli vanilla.
Over-Refusal (Rifiuto Eccessivo): L'approccio evita l'effetto collaterale del rifiuto eccessivo di richieste benigne, con un aumento del tasso di rifiuto sulle prompt benigne inferiore al 3%, mentre altri metodi (come SARSteer) hanno mostrato aumenti di circa il 18%.
Zero-Shot Transfer: Il metodo ha dimostrato una generalizzabilità zero-shot alla modalità video senza che alcun dato video sia stato utilizzato durante le fasi di probing o rinforzo, riducendo l'ASR sui benchmark relativi al video.
Efficienza dei Parametri: Il Calibratore di Neuroni di Sicurezza aggiorna meno dello 0,05% dei parametri del modello, ottenendo un allineamento della sicurezza superiore rispetto al fine-tuning a parametri completi o al tuning di neuroni casuali.

Significato

Il documento afferma che SafeNexus affronta il limite critico per cui gli attuali meccanismi di sicurezza sono confinati a setting a modalità fissa. Rivelando che la sicurezza cross-modale è governata da un sottoinsieme condiviso e compatto di neuroni, il lavoro fornisce una comprensione meccanicistica di come i MLLM elaborino la sicurezza attraverso input eterogenei. La strategia proposta "localizza-e-rinforza" offre una soluzione altamente efficiente, interpretabile e robusta per allineare i MLLM, provando che l'intervento mirato a livello di neurone può neutralizzare efficacemente le minacce cross-modali senza compromettere l'utilità generale del modello o richiedere un riaddestramento costoso.