💬 NLP

Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control

Dit artikel introduceert RAD (Routing Agreement Decoding), een nieuwe inferentiestrategie die de onderscheidende Mixture-of-Experts routeringspatronen van identieke tokens benut om hoogwaardige redeneertrajecten te selecteren zonder afhankelijk te zijn van het parsen van antwoordstrings of stemmen, waardoor effectieve pass@1 selectie mogelijk wordt voor code- en agentische taken waarbij traditionele meerderheidsstemming faalt.

Oorspronkelijke auteurs: Kang Chen, Minshen Yu, Junjie Nian, Yaoning Wang, Yixin Cao, Yugang Jiang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kang Chen, Minshen Yu, Junjie Nian, Yaoning Wang, Yixin Cao, Yugang Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Is een "Hallo" Altijd Dezelfde "Hallo"?

Stel je voor dat je luistert naar een koor van 100 verschillende zangers (de "Experts" binnen een groot AI-model). Wanneer het koor het woord "Hallo" zingt, ga je er misschien vanuit dat ze het allemaal op exact dezelfde manier doen, met dezelfde vocale technieken en emoties.

De paper vraagt: Als de AI exact hetzelfde woord (token) produceert in twee verschillende situaties, betekent dit dan dat de interne "machinerie" die dat woord produceerde ook hetzelfde was?

Het Antwoord: Nee.

Zelfs als de AI exact hetzelfde woord schrijft (zoals "Hallo" of "Het antwoord is 42"), kan de specifieke groep "zangers" (experts) binnen het model die het woord produceerde, volledig verschillend zijn afhankelijk van de context. Eén "Hallo" kan gezongen worden door een groep experts die over wiskunde nadenken, terwijl een andere "Hallo" gezongen wordt door een groep die over programmeren nadenkt. Het woord is hetzelfde, maar de interne staat is anders.

Het Probleem: Hoe Kiezen We het Juiste Antwoord?

Normaal gesproken, wanneer we willen dat een AI een moeilijk probleem oplost (zoals een wiskundige puzzel of een programmeerfout), vragen we het om het 64 verschillende keren te proberen (64 "rollouts"). Daarna kijken we naar de uiteindelijke antwoorden. Als er 50 van hen "42" zeggen en 14 zeggen "43", dan kiezen we "42" omdat het de meerderheid is.

De Catch: Dit "stemmen op het uiteindelijke antwoord" werkt geweldig voor wiskunde (waar het antwoord een duidelijk getal is). Maar het loopt vast bij:

Code: Twee programma's kunnen exact hetzelfde doen, maar er totaal anders uitzien (andere variabelen, andere opmaak). Je kunt niet simpelweg tellen hoe vaak het woord "print" voorkomt.
Agents: Soms probeert de AI een softwarefout te herstellen. Het "antwoord" is een stukje code (een patch). Er is geen enkele "correcte string" om over te stemmen; de code is uniek voor elke poging.

We hebben een manier nodig om de beste poging te kiezen zonder de uiteindelijke antwoorden te lezen of te vergelijken.

De Oplossing: RAD (Routing Agreement Decoding)

De auteurs ontdekten een geheim signaal dat verborgen zit in de AI: De Router.

Beschouw de AI als een enorm kantoorgebouw met duizenden gespecialiseerde werknemers (experts). Voordat een werknemer aan een taak begint, beslist een Router (een manager) welke groep werkers de opdracht krijgt.

De Ontdekking: De paper vond dat wanneer de AI op het punt staat het begin van een antwoord te schrijven (zoals het symbool \boxed{ in wiskunde of de drievoudige backticks ``` in code), het beslissingspatroon van de Router veel onthult over de kwaliteit van het antwoord.
De Analogie: Stel je voor dat je probeert te raden welk team in een sporttoernooi gaat winnen. In plaats van te wachten op de einduitslag (die je nog niet kunt zien), kijk je naar welke spelers de coach heeft gekozen om de wedstrijd te beginnen.
- Als de coach voor 50 verschillende wedstrijden dezelfde "dream team" opstelling kiest, is de kans groot dat die wedstrijden tot hetzelfde resultaat zullen leiden.
- Als de coaches willekeurige, slecht samengestelde opstellingen kiezen, zullen de resultaten overal verspreid zijn.

RAD werkt als volgt:

Het genereert 64 verschillende pogingen voor een probleem.
Het negeert de uiteindelijke antwoorden volledig. Het leest ze niet.
Het kijkt naar de Router's opstelling (welke experts werden gekozen) precies op het moment dat het antwoord begint.
Het vraagt: "Welke 64 pogingen hadden de meest vergelijkbare opstellingen?"
Het kiest de poging die bij de grootste groep vergelijkbare opstellingen hoort.

Als 50 pogingen allemaal dezelfde "expert-ploeg" gebruikten om hun antwoord te beginnen, neemt RAD aan dat deze groep het meest zelfverzekerd en waarschijnlijk correct is, zelfs zonder te weten wat het antwoord daadwerkelijk is.

Waarom Dit Belangrijk Is

Het Werkt Waar Stemmen Faalt: Bij programmeertaken, waar je niet simpelweg woorden kunt tellen, werkt RAD nog steeds. Het kiest de beste code-patch door te kijken naar de "interne ploeg" die het schreef, niet naar de code zelf.
Het Is Snel en Simpel: Het hoeft de betekenis van de code of de wiskunde niet te begrijpen. Het kijkt alleen naar het patroon van de interne "schakelaars" die worden omgezet.
Het Is Geen Magische Waarheidsdetector: De paper is eerlijk over dit punt. Als 50 mensen allemaal het foute antwoord bevestigen (een "dense wrong basin"), zal RAD ook dat foute antwoord kiezen. Het kiest het meest populaire pad, niet noodzakelijkerwijs het ware pad. Het is een "consensus-signaal", geen "waarheidsverificator".

Samenvatting in Eén Zin

De paper laat zien dat zelfs als een AI twee keer hetzelfde woord zegt, de interne "ploeg" die het zei anders kan zijn; door het antwoord te kiezen dat voortkomt uit de meest consistente "ploegopstelling" aan het begin van de respons, kunnen we het beste resultaat kiezen zonder ooit het uiteindelijke antwoord te hoeven lezen.

of<|channel|>final<|message|>). * *Delimiter anchors:* Vaste aanvangsdelimiters voor antwoorden (bijv. \boxed{` voor wiskunde, code-fences voor code).
2. Readout: Extraheert de ijle (sparse) MoE-routingvectoren (geselecteerde expert-ID's en post-softmax gewichten) binnen een vaste vensterbreedte $W$ volgend op de anchor. De headline-instelling gebruikt delimiter@16 (een venster van 16 tokens beginnend bij de delimiter).
3. Representatie: Middelt de routingvectoren over het venster om een per-rollout routevector $z_i$ te creëren.
4. Selectie: Berekent de Weighted-Jaccard (WJ) gelijkenissen tussen alle routevectoren via paren. Het berekent een lokale overeenkomstdichtheid $q_i$ voor elke rollout op basis van de $K$ -dichtstbijzijnde buren (meestal $K=10$ ) en selecteert de rollout met de hoogste dichtheid (het centrum van de dichtste routing-bekken).

Belangrijke Ontwerpkiezen

Antwoord-string-vrij: De selector parseert, normaliseert, vergelijkt of stemt nooit over de uiteindelijke antwoordstring. Het antwoord wordt pas gelezen nadat de routing-gebaseerde selectie is uitgevoerd voor evaluatie.
Agentic Adaptatie: Voor agentische taken (bijv. SWE-bench) waar geen antwoordstring bestaat, gebruikt RAD een boundary anchor (transitie van denken naar actie) en een binaire Jaccard-vingerafdruk van geactiveerde (laag, expert) paren, waarbij hetzelfde principe van dichtheidsselectie wordt gehanteerd.
Fusie (RAD+DC): De methode kan worden gecombineerd met de scalaire betrouwheidsscores van DeepConf (het filteren van de top 50% betrouwbare rollouts voordat RAD-dichtheid wordt toegepast) om gevallen aan te pakken waarin correcte paden zeldzaam zijn.

3. Belangrijkste Bevindingen en Analyse

Beschrijvend Inzicht: Token Identiteit $\neq$ Router Toestand

Het paper demonstreert dat het vastzetten van de uitgebrachte token ID niet de interne router toestand vastzet.

Experiment I: Bij een vaste token ID (bijv. de Qwen EOS-token of een specifieke boundary marker), genereren de experts die die token produceren nog steeds een scheiding tussen probleemidentiteit en redeneerinspanningsmodi (Laag/Medium/Hoog).
Implicatie: De routing toestand bevat "residuele" informatie over de upstream context en de taakfamilie die de oppervlakte token ID alleen niet codeert.

Operationeel Inzicht: Routing Nabijheden Lijnen uit met Antwoord Bekken

Experiment II: Routing nabijheden (clusters van gelijkaardige routingvectoren) lijnen uit met "antwoord bekken" (groepen rollouts die hetzelfde genormaliseerde antwoord delen).
Sterkste Signaal: Deze uitlijning is het sterkst bij delimiter vensters (specifiek delimiter@16), waar de routing toestand de toewijding van het model aan een specifiek antwoord bekken reflecteert.
Correlatie: Er is een sterke correlatie tussen de zuiverheid van de routing nabijheid (hoeveel buren hetzelfde antwoord delen) en de nauwkeurigheid van de selector. Een dicht routing bekken benadert vaak een dicht antwoord bekken.

4. Experimentele Resultaten

De auteurs evalueerden RAD over 10 sparse-MoE configuraties (gpt-oss 20B/120B, Qwen3-30B, Qwen3-Next-80B) en 6 datasets (Wiskunde: AIME, BRUMO, HMMT; Wetenschap: GPQA; Code: LiveCodeBench; Agents: SWE-bench Verified).

Prestaties op Goed-Gedefinieerde Taken (Wiskunde & GPQA)

RAD presteert op gelijke hoogte met tekstuele Meerderheidsstemming (self-consistency) waar string-stemmen goed gedefinieerd is.
Resultaten: Gepoolde probleem-gewogen gemiddelde: Meerderheid 73,6% vs. RAD 73,9% / RAD+DC 74,2%.
Het verschil is klein en statistisch niet-significant in natuurlijke pools, maar RAD bereikt dit zonder enige antwoordstrings te lezen.

Prestaties op Ill-gedefinieerde Taken (Code & Agents)

Codegeneratie (LiveCodeBench): Exact-string stemmen is degeneratief (outputs zijn bijna uniek). RAD biedt een directe pass@1 selectie, die de random baseline (Avg@64) met significante marges overtreft (bijv. +9,7 pp voor gpt-oss-20B).
Agentische Selectie (SWE-bench Verified): In een best-of-16 patch selectie taak waarbij patches geen antwoordstring hebben om op te stemmen, verbetert RAD de selectienauwkeurigheid ten opzichte van random met +4,7 tot +5,0 procentpunten op de beslisbare subset.

Robuustheid

Kernel: Binaire Jaccard en Weighted Jaccard zijn statistisch ononderscheidbaar in prestatie.
Diepte: Het signaal is redundant over lagen; ondiepe lagen alleen vangen het grootste deel van het signaal op.
Toegang: Zelfs strikte "marker-only" readouts (alleen de delimiter token lezen, niet de volgende 16 tokens) herstellen het grootste deel van de prestatiewinst, wat bevestigt dat het signaal bestaat vóórdat de antwoordinhoud wordt gegenereerd.

5. Claims en Betekenis

Het paper positioneert RAD niet als een verifieerder (het voorspelt geen waarheid) maar als een overeenkomst signaal.

Epistemische Status: Net als Meerderheidsstemming schat RAD "gedeelde toewijding" in. Een dicht routing bekken kan nog steeds fout zijn als het model convergeert op een gedeelde fout. Het biedt echter een mechanisme om het meest populair bekken te selecteren zonder afhankelijk te zijn van oppervlaktetekst.
Interface Waarde: De primaire bijdrage is een verenigde, antwoord-string-vrije interface voor multi-rollout selectie. Het werkt waar string stemmen faalt (code, agents) en presteert competitief waar string stemmen werkt (wiskunde, wetenschap).
Schaalbaarheid: De methode schaalt met het aantal rollouts (verbetert naarmate $N$ toeneemt) en is computationeel efficiënt, waarbij slechts ~7% overhead wordt toegevoegd tijdens generatie voor routing capture en de selectie in real-time wordt uitgevoerd op een enkele CPU-thread.

Conclusie: Het paper stelt vast dat MoE routing toestanden een "white-box" overeenkomst signaal bevatten dat robuust is tegen token identiteit variaties en uitlijnt met antwoord bekken. RAD operationaliseert dit om betrouwbare multi-rollout selectie mogelijk te maken over diverse modaliteiten zonder de fragiliteit van tekst-gebaseerde aggregatie.