🤖 AI

Beyond Routing Weights: Faithful Response-Level Interpretation of Mixture-of-Experts Reward Models via Contribution Contrast

Dit artikel introduceert Contribution-Contrast (CoCo), een nieuwe methode voor interpretatie op responsniveau voor Mixture-of-Experts beloningsmodellen die de beperkingen van routeringsgewicht-gebaseerde analyse overwint door de rollen van experts te identificeren via gekozen-gewezen respons-paren met de grootste bijdrage-contrasten, waardoor meer getrouwe en gespecialiseerde interpretaties worden geleverd terwijl een concurrerende nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

Gepubliceerd 2026-08-10

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om behulpzaam, vriendelijk en slim te zijn. Je kunt de robot niet simpelweg programmeren met een rigide regelboek, want menselijke voorkeuren zijn rommelig en ingewikkeld. In plaats daarvan toon je de robot duizenden voorbeelden van "goede" antwoorden versus "slechte" antwoorden, waardoor de robot leert wat mensen leuk vinden. Dit is de wereld van Reinforcement Learning from Human Feedback (RLHF), een techniek die helpt om enorme AI-chatbots af te stemmen op onze waarden. Om dit te doen, gebruikt de AI een "Reward Model" (beloningsmodel), dat fungeert als een strenge leraar die het huiswerk van de robot nakijkt. Maar hier is het lastige deel: soms is deze leraar een "black box". We weten dat het een hoge score geeft aan een goed antwoord, maar we weten niet waarom het besloot dat. Was het omdat het antwoord grappig was? Omdat het beleefd was? Of omdat het een specifiek formaat volgde?

Om dit op te lossen, hebben onderzoekers onlangs geprobeerd een "Mixture-of-Experts" (MoE) beloningsmodel te bouwen. Denk hierbij niet aan één grote leraar, maar aan een klaslokaal met 20 verschillende specialisten. Wanneer er een vraag binnenkomt, kijkt een "router" (zoals een directeur) naar de vraag en beslist welke specialist de vraag moet beoordelen. Misschien is één expert geweldig in wiskunde, een andere in creatief schrijven, en een derde in het geven van juridisch advies. Het doel was om deze experts begrijpelijk te maken door te kijken naar welke vragen zij ontvingen. Maar, zoals het papier dat we nu gaan verkennen suggereert, vertelt het weten wie de vraag kreeg je nog niet hoe ze het antwoord beoordeelden.

Dit paper, getiteld "Beyond Routing Weights", introduceert een nieuwe manier om in de geest van deze AI-specialisten te kijken. De auteurs, een team van de Universiteit van Saarland en andere instellingen, stellen dat het simpelweg kijken naar welke vragen een specialist ontvangt, is alsof je een chef beoordeelt op basis van de ingrediënten die hij gekregen heeft, zonder het gerecht te proeven. In plaats daarvan stellen ze een methode voor genaamd Contribution-Contrast (CoCo). CoCo kijkt naar de specifieize momenten waarop de mening van een specialist het grootste verschil maakte tussen een "goed" antwoord en een "slecht" antwoord. Door deze paren te vergelijken, onthult CoCo precies waar de expert om geeft—of dat nu "beknoptheid" is of "het gebruik van stapsgewijze logica"—in plaats van alleen welk onderwerp ze gewoonlijk behandelen. De onderzoekers hebben dit getest op twee grote datasets en ontdekten dat CoCo een veel duidelijker, eerlijker en gedetailleerder beeld geeft van wat deze AI-experts daadwerkelijk doen, zonder de AI minder accuraat te maken in zijn taak.

Het Probleem: De "Directeur" versus de "Chef"

In de wereld van AI-beloningsmodellen is de "Mixture-of-Experts"-opstelling als een school met een directeur en veel leraren. De directeur (de router) leest de vraag van een leerling en beslist welke leraar het meest geschikt is om deze te beoordelen. Als de vraag over koken gaat, stuurt de directeur de vraag naar de "Culinaire Expert". Als het over programmeren gaat, gaat het naar de "Programmeer-Expert".

Een tijdje dachten onderzoekers dat ze deze experts konden begrijpen door simpelweg naar de aantekeningen van de directeur te kijken. Ze zouden zeggen: "Ah, de Culinaire Expert krijgt meestal vragen over bakken, dus moet dat wel de 'bak-expert' zijn." Dit wordt het bekijken van routing weights genoemd.

Maar de auteurs van dit paper realiseerden zich dat dit een beetje was als een chef beoordelen op de ingrediënten die hij kreeg, in plaats van op de maaltijd die hij kookte. Alleen omdat de Culinaire Expert een vraag over bakken ontving, vertelt je nog niet hoe hij het antwoord beoordeelde. Prefereerde hij gedetailleerde recepten? Hield hij niet van lange uitleg? Lette hij op veiligheidswaarschuwingen? De routing weights vertellen je alleen wie het werk kreeg, niet hoe hij het deed. Het is een onvolledig verhaal dat het belangrijkste deel mist: het eigenlijke besluitvormingsproces.

De Oplossing: CoCo (Contribution-Contrast)

Om dit op te lossen, hebben het team CoCo uitgevonden, wat staat voor Contribution-Contrast. In plaats van alleen te vragen: "Welke expert kreeg deze vraag?", vraagt CoCo: "Welke expert maakte het grootste verschil in de beslissing dat dit antwoord beter was dan dat andere?"

Stel je voor dat je een rechter bent in een kookwedstrijd. Je hebt twee gerechten: één is een perfecte lasagne, en de andere is een licht aangebrande lasagne.

De Oude Manier (Routing Weights): Je kijkt op het scoreformulier en ziet dat de "Italiaanse Expert" is toegewezen om deze ronde te beoordelen. Je concludeert: "De Italiaanse Expert houdt van pasta." Maar je weet niet of hij van de lasagne hield omdat hij kaasachtig was, omdat hij warm was, of omdat er basilicum op zat.
De CoCo-Manier: Je kijkt op het scoreformulier en ziet dat de "Italiaanse Expert" de lasagne een enorme puntenboost gaf in vergelijking met het aangebrande gerecht, terwijl de andere experts grotendeels neutraal bleven. CoCo zegt dan: "Aha! De Italiaanse Expert houdt specifiek van kaasrijke, warme lasagne met basilicum."

CoCo werkt door de paren antwoorden te vinden waarbij de mening van een expert de doorslag gaf. Het vermenigvuldigt twee zaken met elkaar:

Hoe waarschijnlijk het was dat de expert de vraag kreeg (de routing weight).
Hoeveel de score van de expert het eindresultaat veranderde (het verschil tussen het "goede" antwoord en het "slechte" antwoord).

Door te focussen op deze impactvolle momenten, kan CoCo een beschrijving van de expert genereren die trouw is aan hun werkelijke gedrag. Het zegt niet alleen "Deze expert behandelt kookvragen"; het zegt "Deze expert geeft de voorkeur aan gedetailleerde, stapsgewijze kookinstructies boven vage suggesties."

Wat Ze Vonden: Een Duidelijker Beeld

De onderzoekers hebben CoCo getest tegen andere methoden, inclusief de oude "routing weight"-methode en enkele andere geavanceerde technieken die gebruikmaken van iets dat "Sparse Autoencoders" wordt genoemd (wat lijkt op het proberen te vinden van verborgen patronen in een enorme berg data). Ze testten deze op twee enorme datasets: één met 700.000 voorbeelden en een andere van Reddit.

De resultaten waren zeer duidelijk. CoCo produceerde interpretaties die:

Trouwer waren (More Faithful): De beschrijvingen kwamen overeen met wat de experts daadwerkelijk deden in het besluitvormingsproces van de AI. Wanneer de onderzoekers de expert uit de AI verwijderden, veranderde het gedrag van de AI precies zoals CoCo had voorspeld.
Specialisatiesterker waren (More Specialized): De experts die door CoCo werden beschreven, hadden zeer duidelijke persoonlijkheden. De een zou de "strenge grammaticapolitie" kunnen zijn, terwijl een ander de "creatieve verhalenverteller" is. De andere methoden produceerden vaak vage of repetitieve beschrijvingen.
Net zo Accuraat waren (Just as Accurate): Cruciaal is dat het gebruik van CoCo om de experts te begrijpen de AI niet slechter maakte in zijn taak. Het beloningsmodel bleef net zo goed in het kiezen van de beste antwoorden.

In menselijke tests, waarbij mensen de beschrijvingen van de experts lazen, beoordeelden zij de beschrijvingen van CoCo als de meest coherente en nuttig. Ze konden daadwerkelijk begrijpen waar elke "leraar" in het klaslokaal goed in was.

Waarom Dit Belangrijk Is

Dit paper suggereert dat als we echt willen begrijpen hoe AI beslissingen neemt, we verder moeten kijken dan de oppervlakte. Alleen weten over welk onderwerp een AI-expert gaat is niet genoeg; we moeten weten hoe ze de kwaliteit van een reactie evalueren. CoCo biedt een manier om dit te doen zonder de AI opnieuw te trainen of complexe nieuwe lagen toe te voegen. Het is een instrument voor het "auditeren" van de AI, dat ons helpt te zien of onze digitale leraren ook echt onderwijzen wat wij denken dat ze doen.

De auteurs merken er voorzichtig bij op dat dit geen toverstaf is die de "ware" verborgen gedachten van de AI onthult. De kwaliteit van de uitleg hangt af van hoe goed de AI in de eerste plaats is getraind. Als de trainingsdata rommelig is, kunnen de experts ook rommelig zijn. Echter, binnen de grenzen van de huidige technologie, biedt CoCo het meest eerlijke en gedetailleerde venster dat we hebben naar de geest van deze gespecialiseerde AI-beloningsmodellen. Het brengt ons van het gissen naar wat de experts doen op basis van met wie ze praten, naar het begrijpen van hoe ze het werk dat ze doen exact beoordelen.

Technische Samenvatting: Voorbij Routinggewichten: Getrouwe Interpretatie op Responsniveau van Mixture-of-Experts Beloningsmodellen via Bijdragecontrast

1. Probleemstelling

Beloningsmodellen (reward models) staan centraal bij Reinforcement Learning from Human Feedback (RLHF) en het afstemmen van Large Language Models (LLM's) op menselijke voorkeuren. Het begrijpen van de specifieke eigenschappen die hun voorspellingen drijven, blijft echter een uitdaging. Hoewel recente sparse Mixture-of-Experts (MoE) beloningsmodellen proberen de interpreteerbaarheid te verbeteren door prompts naar gespecialiseerde experts te routeren, zijn huidige interpretatiemethoden ontoereikend.

Bestaande benaderingen, zoals die van Wang et al. (2026), karakteriseren experts aan de hand van voorbeelden met de hoogste routinggewichten. Deze methode onthult welke prompts een expert ontvangt (prompt-niveau domeinen), maar legt niet uit hoe de expert responsen beoordeelt. Bijgevolg bieden deze interpretaties slechts een gedeeltelijke verklaring van het gedrag van de expert, waarbij ze de context van de inputtoewijzing vastleggen in plaats van de respons-niveau voorkeursdimensies die de beslissingen van het model direct verklaren. Bovendien negeren alternatieve methoden zoals score-gebaseerde rangschikking de routinggewichten, wat potentieel voorbeelden kan benadrukken waar een expert een hoge scorevariantie heeft maar een lage algehele invloed op de uiteindelijke beloning.

2. Methodologie: Contribution-Contrast (CoCo)

De auteurs stellen Contribution-Contrast (CoCo) voor, een interpretatiemethode op responsniveau die ontworpen is om de rollen van experts in MoE-beloningsmodellen getrouw te karakteriseren.

Kernconcept

CoCo gaat verder dan alleen routinggewichten of ruwe scoreverschillen. In plaats daarvan gebruikt het bijdragecontrast (contribution contrast) als het primaire interpretatiesignaal. Voor een gegeven voorkeurs paar $(x, y_w, y_l)$ en expert $k$ is het gesigneerde bijdragecontrast gedefinieerd als:
$\Delta c_k(x, y_w, y_l) = \pi_{\phi,k}(x) [r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$
waarbij $\pi_{\phi,k}(x)$ het routinggewicht is en $[r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$ het scoreverschil tussen de gekozen en de afgewezen responsen. De grootte $c_k$ meet hoe sterk de expert de responsen onderscheidt, terwijl het teken aangeeft welke respons de expert ondersteunt.

Extractie van Interpretatie

Om een expert te interpreteren, selecteert CoCo de top 10 validatievoorbeelden met de grootste bijdragecontrast-magnitudes. Een LLM wordt vervolgens geprompt om de gedeelde contrastieve patronen in deze paren samen te vatten, waarbij wordt geïdentificeerd of het patroon gerelateerd is aan een gedeelde context, een consistente voorkeursdimensie, of beide.

Regularisatie

Om sparse en diverse bijdragepatronen aan te moedigen, passen de auteurs bestaande interpreteerbaarheids-regularisaties (lokale sparsiteit, globale balans en expert-diversiteit) van Wang et al. (2026) aan. In plaats van deze toe te passen op routinggewichten, passen ze ze toe op de bijdragecontrast-profielen van de voorkeursparen. Deze lichtgewicht aanpassing stemt de interpreteerbaarheidsbeperkingen af op het contrastieve bijdragesignaal zonder de onderliggende MoE-architectuur te wijzigen.

Baselines

Het artikel vergelijkt CoCo met:

Router-gebaseerd: Rangschikt voorbeelden op basis van routinggewicht (legt prompt-niveau domeinen vast).
Score-gebaseerd: Rangschikt voorbeelden op basis van het absolute expert-scoreverschil (legt respons-niveau dimensies vast maar negeert de invloed van de routing).
SAE-gebaseerd: Methoden zoals SARM en WIMHF die Sparse Autoencoders gebruiken om kenmerken te extraheren.

3. Belangrijkste Bijdragen

Nieuw Interpretatiesignaal: Het artikel introduceert bijdragecontrast als een signaal dat zowel het routinggedrag als het voorkeursgedrag gezamenlijk vastlegt, waarmee het gat wordt gedicht waar routinggewichten alleen falen om de beslissingen op responsniveau te verklaren.
Interpretatie op Responsniveau: In tegen tegenstelling tot router-gebaseerde methoden die prompt-domeinen identificeren, identificeert CoCo voorkeursdimensies op responsniveau (bijv. "beknopte aanbevelingen in plaats van lange lijsten") die getrouw zijn aan het werkelijke besluitvormingsproces van het model.
Systematische Studie: Dit werk presenteert de eerste systematische studie van interpretatiemethoden specifiek voor MoE-beloningsmodellen, waarbij router-gebaseerde, score-gebaseerde en SAE-gebaseerde alternatieven worden vergeleken.
Aanpassing van Regularisatie: De auteurs demonstreren hoe regularisaties voor sparsiteit en diversiteit kunnen worden aangepast om op bijdragecontrasten in plaats van op routinggewichten te opereren, wat de onderscheidbaarheid van de expertrollen versterkt.

4. Experimentele Resultaten

De auteurs evalueerden CoCo op twee datasets: 700K (Dong et al., 2024) en Reddit (Ethayarajh et al., 2022), met behulp van een 3B-parameter MoE-beloningsmodel.

Automatische Evaluatie

CoCo presteerde beter dan bestaande baselines (SARM, WIMHF, SMoE) en alternatieve signalen (router-gebaseerd, score-gebaseerd) op meerdere metrieken:

Interpretatiekwaliteit: CoCo behaalde de hoogste Fidelity (correlatie tussen het signaal en de LLM-oordelen over de vraag of voorbeelden de interpretatie volgen). Hoewel SMoE een lagere Redundantie bereikte op de 700K-dataset, demonstreerde CoCo een sterke algehele interpreteerbaarheid door een balans te vinden tussen onderscheidend vermogen en hoge fidelity en getrouwheid.
Beslissingsgetrouwheid: CoCo vertoonde superieure Expert-Model Overeenkomst (proportie van topvoorbeelden waar de expert en het volledige model het eens zijn) en Removal Flip Rate (proportie waar het verwijderen van de expert de voorspelling van het model verandert).
Expert Specialisatie: CoCo-experts vertoonden een hogere Expert Accuraatheid en Relatieve Expert Voordeel op hun top-gerangschikte voorbeelden vergeleken met andere methoden.

Menselijke Evaluatie

Vijf annotatoren evalueerden de top 10 voorbeelden voor vijf experts per methode op de Reddit-dataset. CoCo kreeg de hoogste scores voor zowel Patroon Coherentie als Beschrijving Kwaliteit, wat aangeeft dat de interpretaties van CoCo coherenter waren en de rol van de expert beter beschreven dan router-gebaseerde of SAE-gebaseerde methoden.

Ablatie-studies

Vergelijkingen binnen hetzelfde MoE-model, getraind met verschillende regularisatie-objectieven, bevestigden dat het Bijdragecontrast-signaal de meest effectieve methode is voor het selecteren van informatieve voorbeeldsets. Zelfs wanneer toegepast op modellen die getraind zijn met router-gebaseerde of score-gebaseerde objectieven, bleven de CoCo-interpretaties getrouwer en gespecialiseerder dan de interpretaties afgeleid van de andere signalen.

5. Betekenis en Claims

Het artikel beweert dat CoCo een meer coherente, getrouwe en gespecialiseerde interpretatie biedt van MoE-beloningsmodel-experts dan bestaande alternatieven. Door zowel routinggedrag als voorkeursgedrag gezamenlijk te vatten, biedt CoCo een informatiever fundament voor het begrijpen van modelbeslissingen dan routinggewichten of expertscores in isolatie.

De auteurs hanteren een bescheiden houding ten aanzien van hun claims:

Zij erkennen dat CoCo afhankelijk is van de geleerde structuur van het onderliggende MoE-model en niet kan garanderen dat geleerde experts overeenkomen met "schone" of semantisch betekenisvolle voorkeursdimensies.
Zij merken op dat CoCo, als een datacentrische benadering, kan falen in het herstellen van patronen die afwezig of zwak vertegenwoordigd zijn in de trainingsdata.
Zij verduidelijken dat hun metrieken (fidelity, faithfulness, etc.) dienen als bewijs voor gedragsmatige coherentie en beslissingsafstemming, en niet als bewijs voor grondwaarheid-ontkoppeling (ground-truth disentanglement).
Ethisch gezien positioneren zij CoCo als een audit-instrument in plaats van een validator van gewenste menselijke waarden, waarbij zij opmerken dat interpretaties de biases kunnen reflecteren die aanwezig zijn in de onderliggende datasets.

Concluderend stelt het artikel vast dat bijdragecontrast een superieur signaal is voor de interpretatie van MoE-beloningsmodellen, wat een weg biedt naar meer transparante en actiegerichte inzichten in hoe deze modellen zich afstemmen op menselijke voorkeuren.