💬 NLP

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

Het artikel introduceert RARE, een router-agnostisch framework dat de sturing van representaties ontkoppelt van de expert-routing in Mixture-of-Experts-modellen door gedragsperturbaties te projecteren op de nulruimte van de router, waardoor de effectiviteit van sturing voor schadelijkheid, waarachtigheid en feitelijke bewerking aanzienlijk wordt verbeteren terwijl de bruikbaarheid van het model behouden blijft.

Oorspronkelijke auteurs: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Gepubliceerd 2026-08-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter de moderne kunstmatige intelligentie, in staat om verhalen te schrijven, problemen op te lossen en vragen te beantwoorden. Om deze enorme systemen efficiënt te maken, worden er nu veel gebouwd met een ontwerp dat een "mixture of experts" (een mengeling van experts) wordt genoemd. Stel je een groot kantoor voor waar een manager elke inkomende aanvraag ontvangt en beslist welke specifieke specialist de aanvraag moet afhandelen. In deze modellen is de "manager" een routeringsmechanisme dat naar elk woord van een zin kijkt en het naar een kleine, gespecialiseerde groep interne processoren, of "experts", stuurt, in plaats van het hele brein van de computer voor elke taak te gebruiken. Dit stelt het model in staat om ongelooflijk groot en slim te zijn, terwijl het snel en economisch blijft om te draaien.

Onderzoekers zoeken al lang naar manieren om deze modellen te "sturen" naar specifiek gedrag, zoals ze meer waarheidsgetrouw maken of minder waarschijnlijk schadelijke inhoud genereren. Een populaire techniek houdt in dat men de interne wiskundige toestanden van het model tijdens het denkproces een klein duwtje geeft, een methode die goed werkt voor oudere, eenvoudigere modellen waarbij elk deel van het brein altijd actief is. Echter, wanneer wetenschappers probeerden deze zelfde duwtechniek toe te passen op de nieuwere "mixture-of-experts"-modellen, faalde dit vaak. Het probleem was dat de duw die bedoeld was om het gedrag te veranderen, ook per ongeluk de manager in de war bracht, waardoor de aanvraag naar de verkeerde specialisten werd gestuurd. Deze mismatch verstoorde de natuurlijke flow van het model, wat leidde tot slechte resultaten.

Een team van onderzoekers heeft dit puzzelstukje nu opgelost door een nieuw framework te ontwikkelen genaamd RARE. Hun werk onthult een cruciaal inzicht: de manager in deze modellen is primair bezig met het onderwerp van de aanvraag, niet met het specifieke gedrag dat het model moet vertonen. Of een gebruiker nu een vraag stelt over programmeren of het model vraagt om een schadelijk verzoek te weigeren, de manager heeft de neiging om de aanvraag naar dezelfde set specialisten te sturen als het onderwerp hetzelfde blijft. De onderzoekers ontdekten dat de oude methoden faalden omdat ze probeerden het gedrag te veranderen door het pad dat de data aflegde te wijzigen, wat de manager in de war bracht. In plaats daarvan verandert hun nieuwe aanpak het gedrag zonder het pad te veranderen.

Het RARE-framework werkt door de "duw" zorgvuldig te filteren voordat deze wordt toegepast. Het verwijdert elk deel van de instructie dat de manager van gedachten zou doen veranderen over welke specialisten gebruikt moeten worden. Door dit te doen, blijft het model de aanvraag naar de juiste experts sturen, maar die experts verwerken de informatie vervolgens op een manier die het gewenste gedrag voortbrengt. De onderzoekers testten deze methode op zes verschillende grote modellen en over drie afzonderlijke taken: het modellen minder schadelijk maken, ze meer waarheidsgetrouw maken en specifieke feiten die ze kennen bijwerken.

De resultaten waren opmerkelijk. Wanneer geprobeerd werd de modellen te stoppen met het opvolgen van schadelijke instructies, slaagde de nieuwe methode in 53,3% van de gevallen, een significante verbetering ten opzichte van eerdere pogingen, terwijl de modellen nog steeds 67,8% accuraat bleven op algemene kennis testen. In tests van waarheidsgetrouwheid verbeterde de methode het vermogen van de modellen om correcte antwoorden te geven van 41,0% naar 58,6%. Misschien wel het meest spectaculair was dat wanneer gevraagd werd om een specifiek feit bij te werken, het succespercentage sprong van 16,8% naar 96,3%. Deze cijfers suggereren dat door het interne routeringssysteem van het model te respecteren, onderzoekers het gedrag effectief kunnen sturen zonder de onderliggende intelligentie te breken.

De studie vergeleek ook vijf verschillende manieren om de noodzakelijke duw te berekenen om te vinden welke het beste werkte. Ze ontdekten dat een methode gebaseerd op het analyseren van de vorm en spreiding van de data, in plaats van alleen de gemiddelde richting, de meest consistente en krachtige resultaten opleverde over alle verschillende modellen heen. Deze bevinding suggereert dat de geometrie van de interne data net zo belangrijk is als de richting van de verandering.

Uiteindelijk demonstreert dit onderzoek dat het controleren van het gedrag van moderne, complexe AI-modellen een delicaat evenwicht vereist. Je kunt niet simpelweg een verandering afdwingen; je moet binnen de bestaande architectuur van het model werken. Door het natuurlijke pad te behouden dat het model kiest voor een gegeven onderwerp, is het mogelijk om de output te sturen naar veiligheid, waarheid of nauwkeurigheid. Deze aanpak biedt een betrouwbare manier om deze krachtige instrumenten aan te passen aan specifieke behoeften zonder de algemene capaciteiten in gevaar te brengen, wat een duidelijk pad biedt naar het beter afstemmen van kunstmatige intelligentie op menselijke waarden.

Technische Samenvatting: RARE – Ontkoppeling van Representatie-sturing van Expert-routing in MoE-modellen

Probleemstelling

Large Language Models (LLM's) maken steeds vaker gebruik van Mixture-of-Experts (MoE) architecturen om de capaciteit te schalen terwijl de efficiëntie tijdens inferentie behouden blijft. Het toepassen van Representation Engineering (Representatie-engineering) — een techniek die het gedrag van een model controleert door tussenliggende verborgen toestanden (hidden states) te modificeren — introduceert echter een kritieke structurele mismatch bij MoE-modellen.

In dense modellen worden sturingsvectoren toegevoegd aan de verborgen toestanden om het gedrag te veranderen. In MoE-modellen bepaalt de router welke experts een token verwerken op basis van deze verborgen toestanden. Het direct toepassen van sturingsperturbaties verandert de router-logits, waardoor tokens naar andere expert-sets worden gerouteerd dan ze zouden doen tijdens een schone inferentie-pass. Deze "routing drift" verstoort het natuurlijke conditionele computationele pad van het model, wat leidt tot een significante degradatie van de effectiviteit van de sturing. Hoewel recente MoE-specifieke methoden proberen het gedrag te controleren door direct de router-logits of expert-activatie te manipuleren, overschrijven deze benaderingen het door de input geconditioneerde computationele pad, wat potentieel de relevantie van de respons en algemene capaciteiten verslechtert.

De kernuitdaging is hoe men representatie-gebaseerde controle kan coördineren met het conditionele routing-mechanisme zonder de natuurlijke expert-allocatie te verstoren.

Methodologie: RARE

De auteurs introduceren RARE (Router-Agnostic Representation Engineering), een framework ontworpen om MoE-modellen te sturen terwijl hun natuurlijke routing-patronen behouden blijven. De methodologie bestaat uit drie hoofdcomponenten:

1. Empirische Motivatie

Door middel van gecontroleerde probes hebben de auteurs vastgesteld dat MoE-routing primair gevoelig is voor de semantische inhoud van de input-query in plaats van het specifieke responsgedrag (bijv. weigering versus naleving) of de veiligheidsintentie.

Bevinding: Onder een vaste query-topic resulteert het veranderen van het responsgedrag (bijv. van nalevend naar weigerend) in minimale veranderingen in de expert-selectie van de router.
Implicatie: Effectieve sturing moet de verborgen representaties modificeren die worden verwerkt door de natuurlijk geselecteerde experts, zonder de beslissing van de router te veranderen.

2. Router-Agnostische Projectie

RARE ontkoppelt gedragssturing van expert-routing door perturbaties te projecteren op de nulruimte (null space) van de router-matrix.

Nulruimte-projectie: Voor een router-gewichtmatrix $R_\ell$ op laag $\ell$ , berekent de router logits $z_\ell = R_\ell h_\ell$ . Om ervoor te zorgen dat de router-logits ongewijzigd blijven ( $R_\ell \delta h_\ell = 0$ ), moet de perturbatie $\delta h_\ell$ in de nulruimte van $R_\ell$ liggen.
Mechanisme: Gegeven een ruwe perturbatievector $u_\ell$ (afgeleid van contrastieve verborgen toestanden), projecteert RARE deze met behulp van een projector $\Pi^\perp_\ell = I - Q_\ell Q_\ell^\top$ , waarbij $Q_\ell$ een orthonormale basis is voor de riemenruimte van $R_\ell$ . De resulterende perturbatie is onzichtbaar voor de router, waardoor de oorspronkelijke expert-selectie behouden blijft.

3. Downstream Routing Correctie

Omdat perturbaties door niet-lineaire transformer-blokken propageren, garandeert lokale invariantie op de injectielaag niet invariantie in daaropvolgende routers.

Runtime Correctie: RARE past een correctie toe op geselecteerde downstream "beschermde" lagen. Het vergelijkt de huidige bewerkte input $h'_\ell$ met een referentie van de schone input $h^0_\ell$ en verwijdert elke voor de router zichtbare afwijking, zodat de router-logits op deze lagen consistent blijven met de schone pass.

Perturbatie-estimators

Het framework is agnostisch over de wijze waarop de ruwe perturbatie wordt geconstrueerd. De auteurs evalueerden vijf estimators:

MeanDiff: Eerste-orde translatie tussen klassencentra.
Probe: Lineaire grenswaarde-normaal.
LowRank: Projectie op een hoofdsubruimte.
LDA: Lineaire Discriminant Analyse die rekening houdt met binnen-klasse covariantie.
AffineGaussian: Tweede-orde uitlijning met behulp van whitening-recoloring principes.

Belangrijkste Bijdragen

Empirisch Inzicht: Het artikel levert bewijs dat MoE-routing de query-semantiek nauwer volgt dan responsgedragingen, wat motiveert dat het behoud van natuurlijke routing een vereiste is voor effectieve sturing.
RARE Framework: Een nieuwe, router-agnostische sturingsmethode die gedragsperturbaties projecteert op voor de router onzichtbare subruimten en routing-drift corrigeert, wat representatie-editing mogelijk maakt zonder de expert-allocatie te verstoren.
Omvattende Evaluatie: Een systematische studie van vijf perturbatie-estimators over zes heterogene open-weight MoE-modellen (DeepSeek, Mixtral, Phi-3.5, Phi-mini, Qwen3, GPT-oss) en drie gedragscontrole-taken.

Experimentele Resultaten

De evaluatie omvatte drie scenario's: Harmfulness Steering (jailbreaking), Truthfulness Steering, en Factual Editing.

Harmfulness Steering: RARE (met de AffineGaussian estimator) bereikte een gemiddelde Attack Success Rate (ASR) van 53,3% terwijl het 67,8% MMLU-nauwkeurigheid behield. Dit vertegenwoordigt een aanzienlijk sterkere effectiviteits-utiliteits-trade-off vergeleken met baselines zoals RepE (18,7% ASR) en MoE-specifieke methoden zoals SteerMoE (46,3% ASR maar lagere utiliteitsbehoud).
Truthfulness Steering: RARE verbeterde de gemiddelde TruthfulQA MC1-nauwkeurigheid van een baseline van 41,0% naar 58,6%.
Factual Editing: RARE verhoogde de CounterFact-effectiviteit van 16,8% naar 96,3%.
Estimator Prestaties: AffineGaussian leverde consistent de sterkste sturingsprestaties over alle modellen en taken. LDA bood een betere trade-off wanneer men rekening houdt met lokaliteit (het behoud van naburige kennis).
Ablatie: Het verwijderen van de router-agnostische projectie-pipeline verminderde de gemiddelde ASR van 53,3% naar 14,6%, wat bevestigt dat het behoud van routing cruciaal is voor prestaties.

Betekenis en Claims

Het artikel claimt dat routing-consistentie een fundamenteel architecturaal aspect is voor het aanpassen van representatie-engineering aan MoE-modellen. Door gedragscontrole te ontkoppelen van expert-routing, demonstreert RARE dat het mogelijk is om interne representaties te modificeren om het modelgedrag te veranderen, terwijl het natuurlijke computationele pad en de algemene capaciteiten van het model behouden blijven.

De auteurs positioneren RARE niet als een methode om de veiligheid of logica van het model te overriden, maar als een lichtgewicht, efficiënt mechanisme om gedrag te sturen dat respect heeft voor de onderliggende MoE-architectuur. De resultaten suggereren dat toekomstige representatie-engineering voor MoE-modellen rekening moet houden met de gevoeligheid van de router voor semantische inhoud om de faalmodi veroorzaakt door routing-drift te vermijden.