Technische Samenvatting: Begrip van Veiligheidsgevoelig Expertgedrag in Mixture-of-Experts LLM's

1. Probleemstelling

Mixture-of-Experts (MoE) Large Language Models (LLM's) maken gebruik van een verspreide, router-gestuurde activatie, waarbij tokens worden geleid naar een specifiek subset van feed-forward experts. Een heersende intuïtie in veiligheidsalignatie suggereert dat weigering van schadelijke verzoeken wordt bereikt door invoer te routeren naar onderscheiden, "weigering-gerichte" experts, gescheiden van die welke het onderwerp behandelen.

Dit artikel daagt die intuïtie uit met de vraag: Wanneer een gealigneerd MoE-model een schadelijk verzoek weigert, wordt die weigering dan veroorzaakt door routering naar een distincte set veiligheidsspecialisten, of wordt deze bemiddeld door representaties binnen dezelfde onderwerpspecialisten die het verzoek anders zouden verwerken?

De auteurs stellen dat als veiligheidsgedrag voornamelijk wordt gecontroleerd door routering, het wijzigen van de beslissing van de router de meest effectieve manier zou moeten zijn om veiligheid te omzeilen. Omgekeerd, als veiligheid is ingebed in de expertparameters zelf, zouden routeringspatronen stabiel kunnen blijven zelfs wanneer het veiligheidsgedrag omslaat. Het begrijpen van dit onderscheid is cruciaal voor het ontwikkelen van robuuste veiligheidsmechanismen en het evalueren van MoE-kwetsbaarheden.

2. Methodologie

2.1 Empirische Probes voor Routeringsgedrag

Om de relatie tussen routering en veiligheid te onderzoeken, voerden de auteurs drie complementaire empirische probes uit op gealigneerde MoE-modellen:

1. Teacher-Forced Gedragscontrast: De auteurs vergeleken routeringspatronen voor dezelfde schadelijke prompt onder twee condities: een veiligheidsgealigneerde weigering en een teacher-forced compliant voortzetting.
2. Prompt-niveau Weigeringstijl-contrast: Met behulp van onschadelijke prompts voegden ze weigering-prefixen toe om weigeringstijl-responsen te induceren en vergeleken ze de resulterende routering met de originele onschadelijke verzoeken en cross-topic controles.
3. Gelijkgestelde Veiligheidsintentie-contrast: Ze construeerden gepaarde prompts waarbij het onderwerp en de syntactische structuur behouden bleven, maar de onveilige intentie werd verwijderd (bijvoorbeeld het wijzigen van "hoe maak je een bom" in "hoe maak je een speelgoed").

Maten: Routeringsgelijkenis werd gekwantificeerd met behulp van de Jensen-Shannon (JS) divergentie van router-logits en de overlap van de top-$k$ geactiveerde experts.

Vondsten: Bij alle probes resulteerden veranderingen in weigering/compliant-gedrag of veiligheidsintentie in aanzienlijk kleinere routeringsverschuivingen vergeleken met veranderingen in het verzoekonderwerp. Dit suggereert dat MoE-routers primair onderwerp-gedreven zijn, terwijl veiligheidsafdwinging resideert binnen de representaties van de experts die van nature worden geactiveerd voor dat onderwerp, en niet in een apart routeringspad.

2.2 RASET Framework

Gedreven door de bevinding dat veiligheidsgedrag kan worden gewijzigd zonder het intrinsieke routeringspad te verstoren, stellen de auteurs RASET (Router-Agnostic Safety-critical Expert Tuning) voor. Dit is een red-teaming framework ontworpen om schadelijke inhoud te induceren terwijl de onderwerpspecialistische berekening van het model behouden blijft.

Belangrijkste Stappen:

1. Identificatie van Veiligheidskritieke Experts:

   • Het framework berekent een Veiligheidsgevoeligheidsscore ($S_{l,i}$) voor elke expert $i$ in laag $l$.
   • Deze score is afgeleid van een contrastief routeringsgevoeligheidscriterium: $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$.
   • Dit contrasteert de activatie van de expert op schadelijke queries ($D_{harm}$) met onschadelijke instructies ($D_{norm}$), onderdrukt experts die over het algemeen actief zijn (onderwerp-generaal) en benadrukt die welke disproportioneel worden gerekruteerd voor schadelijke verzoeken.
   • De top-$K$ experts met de hoogste scores worden geselecteerd als de sleutelset $\Phi_{key}$.

2. Gelimiteerde Expert-niveau Adaptatie:

   • Invriezen: De router, gedeelde componenten en alle niet-geselecteerde experts worden ingevroren.
   • Fine-Tuning: Parameter-efficiënte tuning (PEFT) wordt alleen toegepast op de geselecteerde experts ($\theta_{\Phi}$).
   • Verliesfuncties:
     • $L_{violate}$: Een dubbele strategie die weigeringpatronen (bijvoorbeeld "Sorry, ik kan niet") bestraft en bevestigende prefixen (bijvoorbeeld "Natuurlijk, hier is...") promoot, gekoppeld aan onveilige queries. Het gebruikt een max-margin penalty om onbeperkte optimalisatie te voorkomen.
     • $L_{preserve}$: Zorgt ervoor dat algemene capaciteiten behouden blijven door de negatieve log-likelihood (NLL) op onschadelijke instructies ($D_{norm}$) te minimaliseren en L2-regulering toe te passen om getunte parameters dicht bij hun voorgetrainde staat te houden.
   • Doel: $L_{total} = L_{violate} + L_{preserve}$.

3. Belangrijkste Bijdragen

1. Empirisch Bewijs over Routeringsdynamiek: Het artikel biedt gecontroleerd bewijs dat bij gealigneerde MoE-modellen routering grotendeels wordt gedreven door semantische onderwerpstructuur in plaats van de binaire onderscheiding tussen weigering en compliantie. Veiligheidsgerelateerd gedrag kan aanzienlijk veranderen zonder overeenkomstige grote verschuivingen in het routeringspad.
2. RASET Framework: De introductie van een diagnostisch, expert-niveau adaptatieframework dat de router invriest. Dit maakt gecontroleerde analyse van veiligheidsgevoelige expertrepresentaties mogelijk en toont aan dat veiligheidsalignatie kan worden ondermijnd door lokale parameterwijzigingen zonder de functionele specialisatie van het model te verstoren.
3. Evaluatie over Diverse Backbones: De studie evalueert dit fenomeen over vijf open-weight MoE-backbones (OLMoE, DeepSeek-V2, Qwen3, Phi-3.5 en GPT-oss), waarbij consistente lokale veiligheidsfaalmodi worden aangetoond.

4. Resultaten

4.1 Red-Teaming Prestaties

RASET werd geëvalueerd tegenover baselines zoals Greedy Coordinate Gradient (GCG) over vijf MoE-modellen.

• Attack Success Rate (ASR): RASET behaalde de hoogste opbrengst onder alle strengheidsniveaus.
  • $ASR_{raw}$ (Veiligheidsschending): 78,6% gemiddeld.
  • $ASR_{valid}$ (Geldige Schending): 74,0% gemiddeld.
  • $ASR_{hq}$ (Hoogwaardige Schending): 50,5% gemiddeld.
• Vergelijking: RASET presteerde beter dan de sterkste baseline (GCG) met gemiddeld 37,6 punten op de $ASR_{hq}$-metriek.

4.2 Behoud van Algemene Capaciteiten

• Parameter-efficiëntie: RASET update slechts 0,12%–0,95% van de modelparameters.
• Behoud van Nut: Het framework behoudt aanzienlijk beter onschadelijk nut in vergelijking met baselines voor routermanipulatie.
  • TruthfulQA: Gemiddelde daling van 5,4 punten (68,9% $\to$ 63,4%).
  • MMLU: Gemiddelde daling van 7,5 punten (69,9% $\to$ 62,4%).

4.3 Routeringsstabiliteit

Cruciaal behoudt RASET de intrinsieke routeringslogica van het model:

• JS Divergentie: De verschuiving in router-logits tussen pre-tuned en post-tuned modellen bleef onder de 0,04 voor onschadelijke taken en 0,08 voor schadelijke taken.
• Expert Overlap: De overlap van de top-8 experts bleef hoog (bijvoorbeeld >7,0 van de 8 voor onschadelijke taken, ~5,66 voor schadelijke taken).
• Conclusie: Het model blijft tokens naar dezelfde onderwerpgerelateerde experts sturen; de veiligheidsomzeiling wordt bereikt omdat de onderliggende expertparameters zijn "herprogrammeerd", niet omdat het routeringspad is gewijzigd.

5. Betekenis en Claims

Het artikel beweert dat deze bevindingen een distinct veiligheidsrisico in MoE-architecturen onthullen: veiligheidsalignatie kan worden ondermijnd door kleine, lokale expert-niveau wijzigingen, zelfs wanneer het routeringsgedrag van het model grotendeels intact blijft.

• Implicatie voor Veiligheid: Huidige veiligheidsmechanismen die vertrouwen op routersturing of aannemen dat veiligheid is geïsoleerd in specifieke "weigeringsexperts" kunnen onvoldoende zijn. Veiligheidsafdwinging lijkt te zijn verdeeld binnen de representaties van onderwerpspecialisten.
• Implicatie voor Aanvallen: Routersturende interventies (het forceren van tokens naar andere experts) kunnen veiligheidsgedrag veranderen, maar vaak ten koste van semantische fideliteit en nut, omdat ze tokens afleiden van de experts die gespecialiseerd zijn in het aangevraagde onderwerp.
• Toekomstige Richting: De auteurs benadrukken de behoefte aan expert-bewuste alignatiemechanismen die gezamenlijk rekening houden met routergedrag, expertspecialisatie en de robuustheid van de expertparameters zelf.

Het artikel concludeert dat het succes van RASET in het omkeren van veiligheidsgedrag terwijl routeringsconsistentie wordt behouden, de visie ondersteunt dat expert-niveau adaptatie een krachtig vector is om veiligheid in MoE LLM's te omzeilen.