Technische Samenvatting: Sparse Mixture-of-Experts Beloningsmodellen voor Gepersonaliseerde Voorkeurmodellering

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) vertrouwt op beloningsmodellen om Large Language Models (LLMs) af te stemmen op menselijke waarden. De huidige benaderingen gaan echter meestal uit van een enkele, globale beloningsfunctie, wat impliciet een verenigde opvatting van menselijke waarden veronderstelt. Deze aanname slaagt er niet in de inherente pluraliteit en heterogeniteit van menselijke voorkeuren te vatten, wat de effectiviteit van gepersonaliseerde afstemming beperkt.

Eerdere pogingen om heterogene voorkeuren te modelleren, onderzochten het opnemen van aanvullende supervisiesignalen, zoals meerzijdige attribuutannotaties of gebruikersspecifieke labels. Hoewel deze methoden effectief zijn, brengen ze hoge annotatiekosten met zich mee en vertrouwen ze op vooraf gedefinieerde preferentiedimensies. Alternatieve datagedreven benaderingen proberen meerdere voorkeurscomponenten direct te leren uit binaire voorkeursdata zonder extra annotaties. Zonder expliciet ontwerp voor interpreteerbaarheid leiden deze geleerde componenten echter vaak tot verstrengelde en incoherente patronen, wat ze moeilijk controleerbaar maakt en minder effectief voor transparante personalisatie.

Methodologie

De auteurs stellen een Sparse Mixture-of-Experts (MoE) Beloningsmodel voor, dat uitsluitend wordt getraind op standaard binaire voorkeursdata. De architectuur bestaat uit $K$ expert-beloningsfuncties $\{r_{\theta_k}\}$ en een router $\pi_\phi(x)$ die een softmax-distributie over experts produceert op basis van de input prompt $x$. De uiteindelijke beloning is een gewogen gemiddelde van de expert-scores.

Om ervoor te zorgen dat het model interpreteerbare en gespecialiseerde experts leert, bevat de trainingsdoelstelling de standaard Bradley-Terry voorkeursverliesfunctie ($L_{RM}$), aangevuld met drie specifieke regularisatietermen:

1. Lokale Sparsity ($L_{ls}$): Minimaliseert de entropie van de routinggewichten voor individuele inputs. Dit moedigt de router aan om een enkele (of zeer weinig) experts te selecteren voor elke prompt, wat een uniforme distributie voorkomt.
2. Globale Balans ($L_{gb}$): Maximaliseert de entropie van de gemiddelde routingdistributie over een batch. Dit voorkomt "model collapse", waarbij de router voor alle inputs op één expert vertrouwt, wat zorgt voor een gebalanceerd gebruik van de expert-pool.
3. Expert Diversiteit ($L_{div}$): Bestraft de paarwise Pearson-correlatie tussen de beloningsverschillen ($\Delta_k = r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)$) van verschillende experts. Dit dwingt experts om onderscheidende en ontwarde voorkeurssignalen te vatten.

De totale verliesfunctie wordt gedefinieerd als:
$$L = L_{RM} + \lambda_{ls}L_{ls} + \lambda_{gb}L_{gb} + \lambda_{div}L_{div}$$

Interpretatie en Adaptatie:

• Interpretatie: Experts worden geïnterpreteerd door de meest activerende voorbeelden samen te vatten met behulp van een LLM, wat resulteert in natuurlijke taalbeschrijvingen van de specifieke domeinen of taken waarin elke expert gespecialiseerd is.
• Personalisatie: Tijdens de testfase zijn de experts bevroren en wordt de router gefinetuned met een kleine set adaptatievoorbeelden (bijv. 50 voorbeelden) om af te stemmen op individuele voorkeuren. De verschuivingen in de expertgewichten na adaptatie dienen als een kwalitatieve lens om te analyseren hoe het model zich aanpast.

Belangrijkste Bijdragen

1. Architectuur: Introductie van een sparse MoE beloningsmodel dat ontwarde, gespecialiseerde experts leert van binaire voorkeursdata zonder dat daarvoor extra attribuutannotaties of gebruikerslabels nodig zijn.
2. Interpreteerbaarheidsmechanisme: Demonstratie dat het afdwingen van sparsity en diversiteit tijdens de training leidt tot routingpatronen die overeenkomen met menselijk interpreteerbare semantische structuren (bijv. specifieke onderwerpen, taaltypen of domeinen).
3. Effectiviteit van Personalisatie: Het aantonen dat deze ontwarde experts effectieve bouwstenen zijn voor personalisatie tijdens de testfase, waardoor snelle adaptatie aan individuele voorkeuren mogelijk is met minimale data.
4. Diagnostisch Vermogen: Het vaststellen dat verschuivingen in expertgewichten na adaptatie een transparant beeld geven van het adaptatiegedrag van het model, waarbij specifieke expertactivaties worden gekoppeld aan doelvoorkeursattributen.

Experimentele Resultaten

De auteurs evalueerden de methode in gecontroleerde en real-world settings:

• Gecontroleerde Experimenten (Categorie-herstel): Op de Stanford Human Preferences (SHP) dataset, waar latente categorieën (Academisch, Professioneel, Koken, Fictie) bekend waren, slaagde de Sparse MoE erin alle vier de categorieën te herstellen. Het bereikte een Expert Purity van 85,60% (vergeleken met ~50% voor baselines) en een Expert Specialization van 5,77%, waarmee het Vanilla MoE en MiCRo aanzienlijk versloeg in het leren van coherente routingpatronen.
• Attribute Steering: Op de Reasonable Preference Reversal (RPR) dataset toonden de auteurs aan dat het manipuleren van routinggewichten het gedrag van het model effectief kon sturen naar specifieke attributen (bijv. "Creativiteit" versus "Wetenschappelijke Rigor"). Sparse MoE bereikte een flip rate van 43,83%, waarmee het de sterkste baseline met 4,52% versloeg.
• Real-World Interpreteerbaarheid: Op de preference-700K dataset behaalde Sparse MoE de hoogste Description Fidelity (0,38) en Expert Specialization (15,13) scores. Menselijke evaluatie bevestigde dat de routingpatronen van Sparse MoE aanzienlijk coherenter waren dan die van de baselines.
• Personalisatie Prestaties: Bij test-time personalisatie op RPR verbeterde Sparse MoE de algehele nauwkeurigheid met 25,81 punten met slechts 50 adaptatievoorbeelden, wat aanzienlijk beter is dan alle baselines (die verbeteringen van minder dan 10 punten lieten zien). Vergelijkbare winsten werden waargenomen bij gebruikersniveau-adaptatie op de PersonalLLM dataset.

Betekenis en Claims

Het artikel claimt dat Sparse MoE beloningsmodellen een schaalbare oplossing bieden voor gepersonaliseerde voorkeursmodellering die niet afhankelijk is van kostbare, vooraf gedefinieerde annotaties. Door interpreteerbare en gespecialiseerde experts direct uit binaire data te leren, maakt deze aanpak het volgende mogelijk:

• Transparante Personalisatie: De mogelijkheid om LLMs af te stemmen op individuele voorkeuren terwijl een duidelijk begrip behouden blijft van hoe het model zich aanpast (via expertgewichtverschuivingen).
• Ontwarde Representatie: Het herstel van latente semantische structuren die anders verborgen blijven in globale beloningsmodellen.
• Efficiëntie: Effectieve personalisatie met zeer weinig adaptatievoorbeelden (zo weinig als 5), wat het praktisch maakt voor real-world deployment waar gebruikersdata schaars is.

De auteurs erkennen beperkingen, zoals de introductie van hyperparameter-tuning complexiteit en een kleine daling in de universele voorkeursmodelleringsnauwkeurigheid. Ze wijzen ook op ethische risico's, zoals het potentieel voor modellen om te worden aangepast om schadelijke gedragingen te versterken of veiligheidsbeperkingen te omzeilen, en adviseren zorgvuldige ethische controle bij real-world deployment.