💻 computer science

SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs

Het artikel introduceert SafeNexus, een cross-modaal veiligheidsalignement-framework dat modaliteit-universele veiligheidsneuronen identificeert en stuurt door middel van gerichte onderdrukking en activatieversterking om multimodale grote taalmodellen robuust te verdedigen tegen diverse cross-modale dreigingen terwijl de bruikbaarheid behouden blijft.

Oorspronkelijke auteurs: Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin. Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

Gepubliceerd 2026-08-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin. Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, bruisende bibliotheek waar boeken met je kunnen praten. Lange tijd waren deze pratende boeken alleen tekst, zoals een zeer slimme chatbot. Maar onlangs zijn ze geëvolueerd naar "Multimodale Grote Taalmodellen" (MLLM's). Denk aan deze modellen als superbibliothecarissen die nu ook tekst kunnen lezen, plaatjes kunnen bekijken en naar audio kunnen luisteren tegelijkertijd. Ze zijn ongelooflijk behulpzaam, maar deze nieuwe superkracht komt met een addertje onder het gras: het opent nieuwe manieren voor kwaadwillenden om hen te misleiden. Net zoals een bewaker bij een museum wel een nep schilderij kan herkennen, maar misschien een nepgeluidopname mist, hebben deze AI-modellen vaak veiligheidsbewakers die alleen werken voor één type invoer. Als je de AI probeert te misleken met een plaatje in plaats van woorden, of een geluidsfragment in plaats van een zin, kunnen de bewakers het gevaar volledig missen. De grote vraag die onderzoekers stellen is: Hoe bouwen we een veiligheidssysteem dat werkt, ongeacht hoe de kwaadwillende probeert binnen te sluipen?

Hier komt een nieuwe studie genaamd SafeNexus kijken. De onderzoekers, een team van universiteiten uit China en Singapore, besloten niet langer naar de veiligheid van de AI van buitenaf te bekijken, maar gingen op een schattenjacht binnenin het "brein" van de AI. Ze ontdekten dat het vermogen van de AI om "nee" te zeggen tegen slechte verzoeken niet willekeurig verspreid is; het wordt eigenlijk aangestuurd door een kleine, speciale groep interne schakelaars genaamd neuronen.

Het leuke is: het team ontdekte dat hoewel verschillende soorten invoer (zoals tekst, afbeeldingen of audio) verschillende delen van het brein gebruiken om informatie te verwerken, er een geheime, gedeelde club neuronen is die fungeert als de ultieme "gevaarsdetector" voor álle vormen. Ze noemen deze de US-Neuronen (Modality-Universal Safety Neurons). Het is alsoast ontdekken dat, of je nu probeert een mes, een bom of een vals identiteitsbewijs langs de beveiliging te smokkelen, er één specifieke, kleine beveiligingscamera in de gang staat die alles ziet. Als je die camera uitzet, wordt het hele gebouw onveilig, ongeacht wat de indringer bij zich draagt.

Het artikel suggereert dat eerdere methoden probeerden de veiligheidslekken te dichten door de hele AI opnieuw te trainen of door externe filters toe te voegen, wat is alsof je voor elke deur een nieuwe beveiliger inhuurt. SafeNexus kiest een andere aanpak: het vindt die enkele cruciale "gevaarsdetectie"-neuronen en geeft ze een superkracht-boost. Het team testte twee manieren om dit te doen:

De Versterker: Tijdens het denkproces van de AI draaien ze simpelweg het volume van die specifielege neuronen omhoog, waardoor ze harder en sneller "GEVAAR!" roepen.
De Kalibrator: Ze gaven die specifieke neuronen een kleine, gerichte afstelling (met behulp van een methode genaamd LoRA), zodat ze van nature beter worden in het opsporen van problemen, zonder dat de hele AI opnieuw getraind hoeft te worden.

De resultaten waren indrukwekkend. Wanneer ze dit testten op modellen zoals Qwen en VITA, ontdekten ze dat het stimuleren van deze enkele neuronen de AI veel beter maakte in het weigeren van schadelijke verzoeken, of de aanvraag nu via tekst, een plaatje of een geluid kwam. Cruciaal was dat ze merkten dat dit de AI niet "dom" of overdreven voorzichtig maakte. De AI begon geen onschuldige vragen te weigeren (zoals "hoe bak ik een cake?") en verloor ook niet het vermogen om haar andere taken uit te voeren. Sterker nog, in sommige tests was de nieuwe methode veel beter in het stoppen van aanvallen dan de huidige beste methoden, terwijl er minder dan 0,05% van de totale hersenkracht van de AI werd aangepast.

De onderzoekers lieten ook zien dat deze truc werkt op zaken waar ze niet expliciet op getraind waren, zoals video. Hoewel ze de AI nooit videoclips hebben laten zien tijdens hun "tuning"-fase, waren de versterkte neuronen nog steeds goed in het opsporen van gevaar in video-aanvallen. Dit suggereert dat ze echt een kern, universeel veiligheidsmechanisme hebben gevonden in plaats van slechts specifieke voorbeelden te hebben uit het hoofd geleerd.

Kortom, SafeNexus suggereert dat we niet het hele veiligheidssysteem van de AI hoeven te herbouwen om hem veilig te maken voor alle formaten. In plaats daarvan hoeven we alleen die paar kleine, universele "remmen" binnen de machine te vinden en ervoor te zorgen dat ze op volle kracht werken. Het is een beetje alsof je beseft dat om een auto te stoppen die te hard rijdt, je niet de hele motor hoeft te vervangen; je moet alleen zorgen dat het rempedaal stevig met de wielen verbonden is.

Technische Samenvatting: SafeNexus

Probleemstelling

Hoewel Large Language Models (LLM's) robuuste veiligheidsprestaties hebben getoond, heeft hun evolutie naar Multimodale Large Language Models (MLLM's) een aanzienlijke kloof blootgelegd tussen uitgebreide multimodale capaciteiten en bestaande veiligheidsmechanismen. Huidige defensiestrategieën zijn voornamelijk beperkt tot specifieke modale instellingen (bijv. alleen beeld- of alleen tekstverdediging), waardoor ze ontoereikend zijn tegen geavanceerde cross-modale aanvallen waarbij tegenstanders interacties tussen tekst, afbeelding en audio exploiteren om veiligheidsmaatregelen te omzeilen. Bov�ilt bestaande cross-modale defensiebenaderingen de interne veiligheidsmechanismen vaak behandelen als een "black box" of vertrouwen op computationeel dure, op training gebaseerde alignment die het risico op catastrofale vergetelheid van algemene capaciteiten met zich meebrengt. Er is een kritiek gebrek aan begrip over de intrinsieke interne mechanismen die veiligheidsgedrag over diverse modaliteiten heen sturen.

Methodologie: SafeNexus

Het artikel stelt SafeNexus voor, een cross-modaal veiligheidsalignment-framework dat een neuron-niveau "locate-then-reinforce" interventiestrategie hanteert. De methodologie verloopt in drie primaire stadia:

1. Neuron Lokalisatie en Identificatie

De auteurs formuleren een paradigma om functioneel gespecialiseerde neuronen te identificeren door intermediaire laag-activatiepatronen te karakteriseren.

Belangrijkheidsscore (Importance Scoring): Neuronen worden gedefinieerd als individuele rijvectoren binnen de Feed-Forward Network (FFN) up-projectie of gate-projectiematrices. Hun bijdrage wordt gekwantificeerd door de activatiemagnitudes over een probeercorpus te aggregeren en deze te integreren met de down-projectierichting om een output-bewuste belangrijkheidsscore af te leiden.
Modality-Bound Safety Neurons (BS-Neurons): Met behulp van contrastieve datasets bestaande uit schadelijke (jailbreak) en onschuldige queries voor specifieke modaliteiten (Tekst, Afbeelding, Audio), identificeren de auteurs neuronen die zeer actief zijn tijdens schadelijke reacties maar niet tijdens onschuldige reacties. Deze worden BS-Neurons ( $BS^c$ ) genoemd.
Modality-Universal Safety Neurons (US-Neurons): Door de BS-Neuron sets te snijden die geïdentificeerd zijn over verschillende modaliteiten ( $US = BS^T \cap BS^I \cap BS^A$ ), isoleren de auteurs een compact gedeeld subset van neuronen. Deze US-Neurons worden gehypothetiseerd als de beheerders van overkoepelende multimodale veiligheid, ongeacht de input-modaliteit.

2. Validatie via Gerichte Onderdrukking

De auteurs valideren de cruciale rol van deze neuronen door middel van gerichte onderdrukkings- (maskering) experimenten:

BS-Neuron Validatie: Het maskeren van modaliteit-specifieke BS-Neuronen veroorzaakt een significante degradatie in de veiligheidsprestaties (gemeten via Attack Success Rate, ASR) binnen die specifieke modaliteit, terwijl het maskeren van willekeurige neuronen verwaarloosbare effecten heeft.
US-Neuron Validatie: Het maskeren van de gedeelde US-Neurons leidt tot een uitgesproken verslechtering van de defensieve prestaties over alle diverse multimodale inputinstellingen (bijv. tekst-alleen, tekst-afbeelding, tekst-audio), wat hun rol als een kern-veiligheidsanker bevestigt. Cruciaal is dat deze onderdrukking de algemene bruikbaarheid van het model niet substantieel verslechtert.

3. Veiligheidsalignment Strategieën

Op basis van de ontdekking dat het versterken van US-Neurons de veiligheid bevordert, stelt SafeNexus twee verschillende interventiestrategieën voor:

Activation-Level Safety Amplifier: Een training-vrije benadering die direct de activatiemagnitudes van US-Neurons tijdens de inferentie schaalt met een handmatig gespecificeerde coëfficiënt $\alpha$ . Dit versterkt het veiligheidssignaal zonder de modelparameters bij te werken.
Safety Neuron Calibrator: Een gerichte fine-tuning benadering met behulp van Low-Rank Adaptation (LoRA). In tegenstelling tot standaard LoRA, dat alle parameters bijwerkt, beperkt deze methode de trainbare updates exclusief tot de US-Neurons (ongeveer 0,05% van de backbone-parameters). Dit kalibreert de neuronen selectief om de veiligheidsalignment te verbeteren, terwijl de algemene capaciteiten behouden blijven en catastrofale vergetelheid wordt vermeden.

Belangrijkste Bijdragen

Ontdekking van Veiligheidssubruimten: Het artikel identificeert en valideert het bestaan van BS-Neurons (modality-bound) en US-Neurons (modality-universal), wat onthult dat multimodale veiligheid in MLLM's voornamelijk wordt beheerst door een zeer compacte, gedeelde subset van neuronen.
Efficiënte Alignment Strategieën: De auteurs stellen twee efficiënte strategieën voor — de Activation-Level Safety Amplifier en de Safety Neuron Calibrator — die de robuustheid van het model tegen schadelijke multimodale inputs aanzienlijk verbeteren.
Empirische Superieuriteit: Uit uitgebreide experimenten blijkt dat SafeNexus state-of-the-art prestaties bereikt over diverse multimodale veiligheidsbenchmarks (inclusen Omni-Safe, HarmBench en JALM), terwijl de algemene bruikbaarheid van het model effectief behouden blijft en over-conservatief weigeringsgedrag wordt vermeden.

Experimentele Resultaten

De auteurs evalueerden SafeNexus op drie open-source MLLM's (Qwen2.5-Omni, VITA en MiniCPM-o) over diverse modaliteitscombinaties (Tekst, Afbeelding, Audio en hun combinaties).

Veiligheidsprestaties: SafeNexus presteert beter dan gangbare state-of-the-art methoden (inclusief training-gebaseerde benaderingen zoals SPA-VL en inference-time interventies zoals ECSO en Immune). Zo verminderde de calibrator-strategie op het MiniCPM-model met Tekst+Afbeelding+Audio de ASR met meer dan 60%, wat de baselines aanzienlijk overtreft.
Behoud van Bruikbaarheid: De methode behoudt een hoge nauwkeurigheid op algemene capaciteitsbenchmarks (OmniBench, AV-Odyssey), waarbij een verwaarloosbare degradatie wordt getoond vergeleken met de vanilla modellen.
Over-Refusal (Overmatige Weigering): De benadering vermijdt het bijeffect van het overmatig weigeren van onschuldige verzoeken; de stijging van de weigeringsratio op onschuldige prompts blijft onder de 3%, terwijl andere methoden (zoals SARSteer) stijgingen van ~18% lieten zien.
Zero-Shot Transfer: De methode demonstreerde zero-shot generaliseerbaarheid naar de video-modaliteit zonder dat er videodata werd gebruikt tijdens de probing- of versterkingsfasen, wat de ASR op video-gerelateerde benchmarks verminderde.
Parameter Efficiëntie: De Safety Neuron Calibrator werkt minder dan 0,05% van de modelparameters bij, waarmee een superieure veiligheidsalignment wordt bereikt vergeleken met full-parameter fine-tuning of random-neuron tuning.

Betekenis

Het artikel beweert dat SafeNexus het kritieke nadeel aanpakt waarbij huidige veiligheidsmechanismen beperkt zijn tot vaste modale instellingen. Door te onthullen dat cross-modale veiligheid wordt beheerst door een gedeelde, compacte subset van neuronen, biedt het werk een mechanisch begrip van hoe MLLM's veiligheid verwerken over heterogene inputs heen. De voorgestelde "locate-then-reinforce" strategie biedt een zeer efficiënte, interpreteerbare en robuuste oplossing voor het alignen van MLLM's, waarbij bewezen wordt dat gerichte interventie op neuron-niveau effectief cross-modale dreigingen kan neutraliseren zonder de algemene bruikbaarheid van het model in gevaar te brengen of dure hertraining te vereisen.