Technische Samenvatting: RouteHijack

Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker Mixture-of-Experts (MoE) -architecturen adopteren om capaciteit efficiënt te schalen, blijft hun veiligheidsrobustheid onderbelicht. Bestaande adversariele aanvallen ondervinden aanzienlijke beperkingen wanneer ze worden toegepast op MoE-modellen:

• Prompt-gebaseerde jailbreaks vertrouwen op heuristische zoekopdrachten, zijn breekbaar en transfereren slecht.
• Modelinterventiemethoden (bijv. expert-pruning, logit-manipulatie) vereisen bevoorrechte toegang tot interne gewichten of activaties, wat onrealistisch is in standaard implementatiescenario's.
• Optimalisatie-gebaseerde aanvallen (bijv. GCG), hoewel alleen invoer-georiënteerd, zijn fundamenteel ongeschikt voor MoE-modellen. Ze zijn ontworpen voor dichte architecturen en houden geen rekening met het niet-differentieerbare Top-K-routingsmechanisme. Bovendien zijn ze output-gericht en optimaliseren ze voor specifieke token-voorvoegsels (bijv. "Natuurlijk, hier is") in plaats van voor de interne routingdynamiek die veiligheidsgedrag beheerst. Dit leidt vaak tot instabiele optimalisatie of modellen die aanvankelijk meewerken maar vervolgens weigeren.

Er is momenteel geen effectieve, alleen invoer-gebaseerde optimalisatie-aanval die veiligheidsmechanismen in MoE-LLM's kan omzeilen terwijl coherent generatie behouden blijft.

Methodologie: RouteHijack

De auteurs stellen RouteHijack voor, een routing-bewust adversariaal framework dat de structurele kwetsbaarheid van MoE-modellen exploiteert: de concentratie van veiligheidsgeoriënteerd gedrag binnen een kleine, gespecialiseerde subset van experts. De aanval werkt onder realistische, alleen invoer-gebaseerde beperkingen tijdens implementatie, met gebruik van een surrogaatmodel voor offline optimalisatie.

Het framework bestaat uit twee hoofdfasen:

1. Respons-gedreven Expert Lokalisatie

In tegenstelling tot eerdere methoden die activaties analyseren op basis van invoerprompts (wat veiligheidsgedrag verward met prompt-semantiek), hanteert RouteHijack respons-gedreven contrastieve profilering.

• Mechanisme: Voor een gegeven kwaadaardige query genereert het model twee antwoorden: een veilig afwijzing ($a_{safe}$) en een gehoorzaam schadelijk antwoord ($a_{harm}$). De methode vergelijkt expert-activatiefrequenties tussen deze twee antwoorden en isoleert experts die specifiek actief zijn tijdens afwijzing versus schadelijke generatie.
• Utility-bewuste Filtering: Om te voorkomen dat de algemene capaciteiten van het model worden aangetast, filtert de methode "polysemantische" experts eruit die zowel bijdragen aan veiligheid als aan algemeen taalmodelleren. Het selecteert veiligheidskritieke experts ($E_{safe}$) en schadelijke experts ($E_{harm}$) op basis van hun differentiële activatie, met een straf voor diegenen met hoge algemene activatiefrequenties.

2. Routing-bewuste Optimalisatie (Ternaire Loss)

RouteHijack construeert een universele adversariële suffix ($x_{adv}$) die is geoptimaliseerd om de beslissing van de router te manipuleren bij de grenstoken ($t^*$) voordat autoregressieve decoding begint. De optimalisatie minimaliseert een ternaire loss ($L_{total}$) die uit drie componenten bestaat:

• Onderdrukking van Veiligheid ($L_{suppress}$): Minimaliseert de routingkans van de geïdentificeerde veiligheidsexperts ($E_{safe}$) om het primaire verdedigingsmechanisme van het model te verzwakken.
• Beperkte Bevordering van Schade ($L_{promote}$): maximaliseert de routingkans van schadelijke experts ($E_{harm}$) maar legt een begrensd constraint (hinge loss) op. Dit voorkomt dat de router instort op een paar experts, wat zou leiden tot semantische degradatie, en zorgt ervoor dat het model vlot blijft.
• Onwaarschijnlijkheid van Afwijzing ($L_{refusal}$): Straft het genereren van afwijzingstokens (bijv. "sorry", "kan niet") tijdens de eerste decoding-stappen ($W=5$). Dit voorkomt dat het model terugkeert naar afwijzingstrajecten, zelfs als de initiële routing is gemanipuleerd.

De optimalisatie maakt gebruik van een door gradiënten geleide discrete zoekopdracht (vergelijkbaar met GCG), maar richt zich op de continue router softmax-kansen vóór de niet-differentieerbare Top-K-truncatie, waardoor stabiele gradiëntvoortplanting mogelijk wordt.

Belangrijkste Bijdragen

1. RouteHijack Framework: De eerste optimalisatie-gebaseerde, alleen invoer-gebaseerde aanval die specifiek is ontworpen voor MoE-LLM's en die direct invloed heeft op expert-selectie via invoerperturbaties.
2. Respons-gedreven Profilering: Een nieuwe methode om veiligheidskritieke en schadelijke experts te isoleren door modelresponsen te contrasteren in plaats van invoerprompts, waardoor een nauwkeurigere karakterisering van interne veiligheidsmechanismen mogelijk wordt.
3. Routing-bewust Doel: Een ternaire lossfunctie die gezamenlijk expert-activatie en decoding-dynamiek in een vroeg stadium controleert, en zo de niet-differentieerbaarheid van MoE-routing overbrugt.
4. Empirische Validatie: Uitgebreide evaluatie over zeven state-of-the-art MoE-LLM's (die sparsere, gedeelde-expert en gegroepeerde routingvarianten omvatten) en drie op MoE gebaseerde Vision Language Models (VLM's).

Experimentele Resultaten

• Aanvalsuccespercentage (ASR): RouteHijack bereikt een gemiddeld ASR van 69,3% over zeven MoE-LLM's, met een piek van 89,1%. Dit presteert aanzienlijk beter dan de beste white-box baseline (SAFEx, 33,3%) en standaard optimalisatie-gebaseerde aanvallen (GCG, 21,9%).
• Behoud van Utility: De aanval veroorzaakt een minimale gemiddelde utility-daling van 1,3% over vijf NLU-benchmarks (CoLA, RTE, WinoGrande, OpenBookQA, ARC-Challenge), wat aantoont dat de utility-bewuste filtering de algemene taalcapaciteiten succesvol behoudt.
• Transferabiliteit:
  • Zustermodellen: Geoptimaliseerde suffixen transfereren zero-shot over vijf zuster-MoE-varianten, waardoor het gemiddelde ASR stijgt van 27,7% naar 61,2%.
  • Multimodaal: De aanval generaliseert naar op MoE gebaseerde VLM's, waarbij het gemiddelde ASR toeneemt van 2,47% naar 38,7%, wat aangeeft dat routingkwetsbaarheden inherent zijn aan de MoE-architectuur, ongeacht de modale.
• Mechanistische Validatie: Analyse bevestigt dat de aanval de routingkansen succesvol verschuift bij de grenstoken (Doel Expert Onderdrukkingspercentage van -28,75% en Doel Schadelijke Bevorderingspercentage van +28,51%), en dat deze verschuivingen zich voortplanten door het autoregressieve generatieproces.

Betekenis en Beweringen

Het artikel stelt dat RouteHijack een fundamentele kwetsbaarheid blootlegt in sparsere expert-architecturen: veiligheidsalignatie is niet uniform verdeeld, maar geconcentreerd in een kleine subset van experts. Deze concentratie creëert een lokaal aanvalsoppervlak dat kan worden geëxploiteerd via routingmanipulatie.

De auteurs betogen dat huidige veiligheidsalignatiemethoden (bijv. RLHF, DPO) ontoereikend zijn omdat ze zich richten op outputdistributies zonder de onderliggende sparsere routingdynamiek aan te pakken. De bevindingen suggereren dat:

1. Routing een Modale-agnostisch Risico is: Kwetsbaarheden in het routingmechanisme beïnvloeden zowel tekst- als visueel-taalmodellen.
2. Black-Box Bedreiging: Het vermogen om aanvallen over zustermodellen te transfereren impliceert dat zelfs propriëtaire, black-box MoE-modellen in gevaar zijn als ze een routingruggengraat delen met open-gewichtvarianten.
3. Behoefte aan Nieuwe Verdedigingen: Het artikel concludeert dat robuuste verdedigingen moeten gaan voorbij output-niveau alignatie en routing-bewuste regularisatie tijdens training moeten omvatten (om veiligheidsgedrag breder te verdelen) of inference-tijd routingaudits om abnormale expert-activatiepatronen te detecteren.