📊 statistics

LoMC: Localized Multidirectional Correction for Refusal Suppression in Routed Foundation Models

Dit artikel introduceert Localized Multidirectional Correction (LoMC), een support-gated interventiekader dat weigeringen in gerouteerde fundamentele modellen effectief onderdrukt door prototype correctierichtingen te aggregeren binnen een compacte, geïdentificeerde edit support, waardoor niet-weigerende responsen worden verbeterd terwijl algemene capaciteiten behouden blijven.

Oorspronkelijke auteurs: Yan Hong, Kedong Xiu, Wei Li, Jun Lan, Huijia Zhu, Shuheng Zhou, Zhongcai Lyu, Weiqiang Wang, Jianfu Zhang

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yan Hong, Kedong Xiu, Wei Li, Jun Lan, Huijia Zhu, Shuheng Zhou, Zhongcai Lyu, Weiqiang Wang, Jianfu Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, hooggetrainde robotassistent hebt. Deze robot is ontworpen om behulpzaam te zijn, maar ook zeer voorzichtig; het heeft een "veiligheidsschakelaar" die ervoor zorgt dat de robot weigert om gevaarlijke of ongepaste vragen te beantwoorden.

Soms is deze veiligheidsschakelaar echter een beetje te gevoelig. De robot kan weigeren om onschuldige vragen te beantwoorden omdat ze een beetje lijken op de gevaarlijke vragen, of hij kan in de war raken bij lastige vragen die eigenlijk veilig zijn.

De auteurs van dit artikel wilden dit oplossen. Ze wilden de robot leren om minder snel "Dat kan ik niet doen" te zeggen tegen onschuldige vragen, zonder dat de robot zijn algemene intelligentie vergeet of de veiligheidsschakelaar volledig uitschakelt.

Hier is hoe ze het deden, met behulp van een eenvoudige analogie:

Het Probleem: De "Alles-of-Niets"-benadering

De robot die zij bestuderen (een zogenaamd "Routed Foundation Model") werkt als een gigantisch team van specialisten. Wanneer je een vraag stelt, gebruikt de robot niet zijn hele brein; hij kiest een paar specifieke "experts" uit een enorme pool om de taak uit te voeren.

Eerdere methoden probeerden het weigeringsprobleem op twee manieren op te lossen, maar beide hadden gebreken:

De "Brute Force"-methode: Ze probeerden de hele hersenstructuur van de robot in een nieuwe richting te duwen om het weigeren te stoppen. Analogie: Stel je voor dat je een specifieke typefout in een boek probeert te herstellen door de hele bibliotheek te herschrijven. Het werkt, maar je verandert misschien per ongeluk de betekenis van andere goede verhalen (de robot verliest zijn algemene slimheid).
De "Selectieve" methode: Ze probeerden alleen de specifieke experts aan te pakken die verantwoordelijk zijn voor weigeringen. Analogie: Stel je voor dat je een lek in een buis probeert te repareren door slechts één specifieke bout aan te draaien. Het is precies, maar als het lek eigenlijk wordt veroorzaakt door een complexe mix van druk van veel verschillende bouten, zal het aanhalen van slechts één bout het probleem niet oplossen.

De Oplossing: LoMC (Localized Multidirectional Correction)

De auteurs creëerden een nieuwe methode genaamd LoMC. Denk aan dit als een tweestaps "chirurgische" reparatie die het beste van beide werelden combineert.

Stap 1: De exacte plek vinden (De "Support")
Eerst scant het systeem het brein van de robot om te vinden welke specialisten (experts) verantwoordelijk zijn voor het "Ik doe dat niet"-gedrag.

Analogie: Stel je een detective voor die een plaats delict onderzoekt. In plaats van de hele buurt te arresteren, identificeert de detective de exacte drie mensen die bij het incident betrokken waren. Hij plaatst een "Niet storen"-bord bij iedereen anders en richt zich alleen op deze drie. Dit houdt de rest van de buurt (de algemene slimheid van de robot) veilig en ongestoord.

Stap 2: De Multi-Tool Correctie
Zodra ze weten waar ze het moeten repareren, gebruiken ze niet zomaar één gereedschap. Ze realiseren zich dat het "weigeringsgedrag" complex is en vanuit verschillende hoeken komt. Daarom verzamelen ze verschillende "correctierichtingen" (zoals verschillende gereedschappen in een gereedschapskist) en mengen deze samen om de perfecte oplossing te creëren.

Analogie: Stel je voor dat de drie specialisten koppig zijn. In plaats van ze alleen van links te duwen (één richting), gebruikt de detective een team van vier mensen die vanuit licht verschillende hoeken duwen om hen voorzichtig naar een nieuwe mindset te begeleiden.

Het Magische Gating-mechanisme
Dit is het slimme deel: hoewel ze een complexe, meerhoekige duw gebruiken, passen ze deze alleen toe op de drie specialisten die ze in Stap 1 hebben geïdentificeerd.

Analogie: Het is alsof je een speciaal filter op een slang plaatst. Het water (de correctie) is krachtig en komt vanuit veel hoeken, maar het filter zorgt ervoor dat het alleen de specifieke planten besproeit die water nodig hebben. De rest van de tuin blijft droog en ongemoeid.

De Resultaten

De auteurs hebben dit getest op vier verschillende soorten geavanceerde robotassistenten (zowel tekstgebaseerd als zij die beelden kunnen zien).

Het Doel: Ze wilden de "Target Compliance Rate" verhogen (hoe vaak de robot de vraag beantwoordt die hij zou moeten beantwoorden) zonder de "General Capability Average" te verlagen (hoe slim hij blijft bij andere taken).
De Uitkomst: LoMC was de duidelijke winnaar. Het slaagde erin de robots te leren om te stoppen met het weigeren van onschuldige vragen (waardoor de antwoordratio in sommige gevallen steeg van ongeveer 8% naar meer dan 96%) terwijl hun algemene intelligentie bijna exact hetzelfde bleef.
Vergelijking: De oude "Brute Force"-methoden maakten de robots beter in het beantwoorden, maar maakten ze ook vergeetachtig of onhandig bij andere taken. De oude "Selectieve" methoden waren te zwak om het probleem op te lossen. LoMC kreeg het beste van beide: hoge antwoordpercentages en behouden slimheid.

Samenvattend

Het artikel introduceert een manier om AI-modellen chirurgisch aan te passen. In plaats van het hele systeem te hacken of te raden welk deel gerepareerd moet worden, doen ze het volgende:

Lokaliseren van de exacte kleine onderdelen van de AI die de overmatige weigering veroorzaken.
Toepassen van een verfijnde, meerhoekige correctie alleen op die onderdelen.
Beschermen van de rest van het brein van de AI tegen eventuele wijzigingen.

Dit stelt de AI in staat om behulpzamer en minder "schrikachtig" te zijn, zonder haar algemene intelligentie te verliezen. De auteurs benadrukken dat dit een manier is om deze modellen te bestuderen en te auditeren, om te garanderen dat ze robuust zijn, in plaats van een hulpmiddel om ze de veiligheidsregels voor gevaarlijke taken te laten negeren.

Technische Samenvatting: LoMC voor Weigering-onderdrukking in Gerouteerde Fundamentele Modellen

Probleemformulering

Dit artikel behandelt de uitdaging van gecontroleerde post-training weigering-onderdrukking in gerouteerde Mixture-of-Experts (MoE) en hybride-MoE fundamentele modellen. Het doel is om de Target Compliance Rate (TCR) te verhogen—gedefinieerd als het complement van de weigeringsgraad op schadelijke prompts—terwijl de General Capability Average (GCA) op onschadelijke inputs behouden blijft.

Het probleem is bijzonder acuut in gerouteerde architecturen waarbij inputs slechts een subset van experts activeren. Bestaande benaderingen kampen met een trade-off:

Brede richting-gebaseerde edities (bijv. single-vector ablatie) kunnen de algemene computatie over het gehele model verstoren, wat de GCA verslechtert.
Alleen edit-support selectie (het selecteren van specifieke experts om te bewerken) houdt de interventie-voetafdruk compact, maar kan er niet in slagen om heterogene weigeringsrepresentaties effectief te corrigeren vanwege een gebrek aan rijke correctiesignalen.

De auteurs formuleren dit als een optimalisatieprobleem waarbij gezocht wordt naar een structureel compacte interventie $\Delta$ die de TCR-winst maximaliseert terwijl de benign drift wordt geminimaliseerd, onder een beperking op de interventie-voetafdruk.

Methodologie: Localized Multidirectional Correction (LoMC)

Het artikel stelt LoMC voor, een "support-then-correction" raamwerk dat de vraag waar updates plaatsvinden ontkoppelt van hoe ze worden toegepast. De methode werkt in twee afzonderlijke fasen:

Fase I: Edit-Support Selectie

LoMC identificeert eerst een compacte set locaties (de "edit support") waar gewicht-updates zijn toegestaan.

Mechanisme: Het scoort gerouteerde experts in elke gezochte laag op basis van hun uitlijning met de laag-specifieke weigeringsrichting ( $r_\ell$ ), afgeleid van residuele activaties.
Selectie: Een kandidaat-pool van experts wordt behouden (bijv. top 1/8), en een vast aantal top-scorende experts (bijv. $E=6$ ) wordt per laag geselecteerd.
Output: Een vaste support-masker $S$ wordt gegenereerd, die de exacte laag, expert en component-tuples (bijv. moe.down_proj, moe.gate_up_proj) specificeert die in aanmerking komen voor bewerking. Deze stap zorgt ervoor dat de interventie-voetafdruk structureel compact blijft.

Fase II: Multi-Prototype Richting Aggregatie

Zodra de support $S$ is vastgesteld, bepaalt LoMC het correctiesignaal voor die specifieke locaties.

Prototype Extractie: Voor elke vaste-support laag contrasteert de methode schadelijke residuele prototypen (geëxtraheerd via Self-Organizing Maps uit schadelijke prompts) met het onschadelijke residuele centrum.
Aggregatie: In plaats van meerdere onafhankelijke correctievectoren toe te passen, aggregeert LoMC een kleine set van $K$ prototype-richtingen (bijv. $K=4$ ) tot een enkele geaggregeerde laag-specifieke correctierichting ( $\tilde{r}_\ell$ ). Deze aggregatie balanceert de uitlijning met de basis-weigeringsrichting en de diversiteit tussen prototypen.
Toepassing: De uiteindelijke update is een rank-one laag-specifieke correctie die alleen via de support-masker $S$ wordt toegepast. Wiskundig gezien is de update voor een bewerkbare projectie $W$ : $(I - \eta P)W$ als de component in $S$ zit, en $W$ anders, waarbij $P = \tilde{r}_\ell \tilde{r}_\ell^\top$ .

Dit ontwerp zorgt ervoor dat de correctiecapaciteit wordt verbeterd via multidirectionale aggregatie zonder de interventie-voetafdruk te vergroten buiten de initiële support-selectie.

Belangrijkste Bijdragen

Support-Gated Correction Formulering: Het artikel herformuleert weigeringsonderdrukking in gerouteerde modellen als een "support-gated" probleem, waarbij de edit support fungeert als een gating-beperking voor alle correcties, in plaats van support-selectie en correctie als afzonderlijke, ongecoördineerde stappen te behandelen.
Het LoMC Algoritme: Het introduceert een methode die prototype correctierichtingen aggregeert in een enkele rank-one update die strikt via een vaste support-masker wordt toegepast. Dit verbetert het correctiesignaal zonder onafhankelijke update-operators te introduceren of het bewerkte parameter-set uit te breiden.
Empirische Validatie: De auteurs evalueren LoMC over vier gerouteerde backbones (Qwen3-VL, InternVL3.5, DeepSeek-VL2, Kimi-VL) en vier veiligheidsbenchmarks (AdvBench, StrongREJECT, JailbreakV-28K, VLSBench), waarbij zowel tekst-als multimodale settings worden gedekt.

Resultaten

Target Compliance (TCR): LoMC bereikt de hoogste TCR over alle 16 model-benchmark instellingen. De originele uitgelijnde modellen hadden gemiddeld 8,75% TCR, terwijl LoMC 96,33% bereikte. Vergeleken met de sterkste baseline in elke setting, verbeterde LoMC de TCR met gemiddeld 12,76 procentpunt.
General Capability (GCA): LoMC behoudt algemene capaciteiten effectief. De gemiddelde GCA steeg licht van 63,77% (origineel) naar 64,25% (LoMC), waarbij de gemiddelden per model competitief bleven met de originele checkpoints.
Vergelijking met Baselines:
- Heretic-MoE (brede single-direction) behaalde een lagere TCR (73,54%) en vertoonde instabiliteit over verschillende backbones.
- SOM Directions (brede multi-prototype) behaalde een hoge TCR maar veroorzaakte significante GCA-degradatie door het gebrek aan support gating.
- GateBreaker (route-local selectie) toonde een beperkte correctiecapaciteit zonder de multidirectionale aggregatie.
Ablatie-studies: De resultaten bevestigen dat noch de edit support grootte ( $E$ ), noch het aantal prototypen ( $K$ ) een monotone knop is. De optimale trade-off werd gevonden bij $E=6$ en $K=4$ . Willekeurige support-selectie met dezelfde voetafdruk resulteerde in een lagere GCA, wat bewijst dat de specifieke selectie van de support cruciaal is.

Betekenis en Claims

Het artikel claimt dat LoMC succesvol de trade-off tussen weigeringsonderdrukking en het behoud van algemene capaciteiten verbetert onder een compacte interventie-voetafdruk. Door het probleem te factoriseren in "support" (waar) en "correctie" (hoe), stelt de methode rijkere correctiesignalen (via multi-prototype aggregatie) mogelijk zonder de destructieve bijwerkingen van brede, model-brede edities.

De auteurs positioneren LoMC primair als een gecontroleerd post-training analyse-instrument om de gelokaliseerde bewerkbaarheid en routing-specifieke kwetsbaarheden in MoE-stijl LLM's en MLLM's te begrijpen. Zij stellen expliciet dat:

TCR een non-refusal target-response metriek is en niet geïnterpreteerd moet worden als door een rechter geverifieerde schadelijke naleving of real-world exploitability.
Het werk geen aanbeveling is voor het inzetten van weigerings-onderdrukte modellen, maar eerder een stresstest voor veiligheid-uitgelijnde gerouteerde modellen.
De bevindingen beperkt zijn tot de specifieke gerouteerde multimodale backbones en benchmarks die zijn geëvalueerd, waarbij toekomstig werk nodig is voor dense architecturen en andere talen.

De studie concludeert dat het koppelen van contrastieve ijle support met multi-prototype residuele correctie de sleutel is tot het bereiken van een gunstige balans tussen veiligheid-uitlijning aanpassingen en nut-behoud.