🤖 machine learning

Momba: Network Modernization Improves Multi-Objective Reinforcement Learning

Dit artikel introduceert Momba, een benadering voor netwerkmodernisering voor multi-objective reinforcement learning die observatie-normalisatie, gewichts-normalisatie en distributionele rendementen integreert met entropie-regularisatie om de kwaliteit van de oplossingverzameling aanzienlijk te verbeteren zonder de onderliggende algoritmen te wijzigen.

Oorspronkelijke auteurs: Adam Štafa, Santeri Heiskanen, Petr Novotný, Joni Pajarinen

Gepubliceerd 2026-08-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adam Štafa, Santeri Heiskanen, Petr Novotný, Joni Pajarinen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers leren om spellen te spelen of robots aan te sturen, niet door precies te worden verteld wat ze moeten doen, maar door dingen uit te proberen en te leren van hun fouten. Dit is het domein van Reinforcement Learning (RL), een tak van kunstmatige intelligentie waarbij een "agent" een omgeving verkent om een beloning te maximaliseren. Denk aan een hond die trucjes leert: hij krijgt een snoepje als hij zit en een zachte "nee" als hij springt, waardoor hij uiteindelijk uitvindt wat de beste manier is om zich te gedragen.

Maar wat gebeurt er als de hond moet kiezen tussen zitten en blijven zitten, of snel rennen en energie besparen? In de echte wereld botsen doelen vaak. Je kunt niet altijd de snelste loper én de meest energiezuinige loper tegelijkertijd zijn. Dit is de uitdaging van Multi-Objective Reinforcement Learning (MORL). In plaats van slechts één "beste" manier te vinden om iets te doen, probeert MORL een heel menu aan verschillende strategieën te vinden, die elk de tegenstrijdige doelen op een unieke manier balanceren. Het is als een chef-kok die probeert een menu samen te stellen waarbij elke gerecht een andere, perfecte balans biedt tussen pittig en zoet, in plaats van slechts één "beste" recept.

Lange tijd richtten onderzoekers die deze complexe evenwichtsoefeningen probeerden op te lossen, zich op het uitvinden van nieuwe, ingewikkelde wiskundige recepten (algoritmen) om de computer te helpen leren. Ze gingen ervan uit dat het probleem de wiskunde zelf was. Echter, een nieuwe paper met de titel "Momba: Network Modernization Improves Multi-Objective Reinforcement Learning" suggereert dat misschien de wiskunde niet de enige factor was die de boel ophield. De auteurs, een team van de Masaryk Universiteit en de Aalto Universiteit, vroegen zich af: wat als het "brein" van de computer (de neurale netwerkarchitectuur) gewoon te simpel was? Ze besloten te testen of het upgraden van het ontwerp van het brein, met behulp van moderne trucs uit single-goal learning, het multi-goal leren veel beter kon maken zonder de kernregels van de wiskunde te veranderen.

De Brain Upgrade

De onderzoekers namen een bestaand, solide algoritme genaamd CAPQL (dat al goed is in het vinden van deze gebalanceerde strategieën) en gaven het een flinke make-over. Ze hebben niet de regels van het spel herschreven; in plaats daarvan hebben ze de uitrusting van de speler vervangen door een high-tech, moderne versie. Ze introduceerden drie specifieke upgrades aan het neurale netwerk, het deel van de AI dat het denken doet:

Normalisatie (De Gelijkmaker): Stel je voor dat je een nieuwe taal probeert te leren waarbij sommige woorden gefluisterd worden en andere naar je geschreeuwd worden. Dat is verwarrend. De eerste upgrade, observatie- en feature-normalisatie, werkt als een volumeknop. Het zorgt ervoor dat alle informatie die de AI ontvangt (zoals snelheid, energie of positie) op een vergelijkbare schaal staat, zodat de AI niet overweldigd wordt door de "luide" getallen en de "stille" getallen negeert.
Gewichtsnormalisatie (Het Gebalanceerde Dieet): In een neuraal netwerk hebben verbindingen tussen neuronen "gewichten" die bepalen hoe belangrijk een signaal is. Soms kunnen deze gewichten te groot of te klein worden, waardoor het hele systeem ontregeld raakt. De tweede upgrade, gewichtsnormalisatie, houdt deze verbindingen in toom, zodat de interne logica van de AI gebalanceerd blijft en niet uit de hand loopt.
Distributional Critic (De Kristallen Bol): Dit is de ster van de show. Traditionele AI voorspelt meestal de gemiddelde beloning die het zal krijgen. Maar in een wereld van afwegingen is het gemiddelde niet altijd genoeg. De distributional critic is als een kristallen bol die niet alleen één getal voorspelt, maar de volledige reeks van mogelijke uitkomsten voorspelt. Het begrijpt dat een zet een kans van 50% kan hebben om geweldig te zijn en een kans van 50% om oké te zijn, in plaats van alleen te zeggen "het is een 7". Dit hel help de AI risico en onzekerheid veel beter te begrijpen.

De Resultaten: Een Menu van Meesterwerken

Het team testte hun geüpgradede AI, die ze Momba noemden, op zeven verschillende taken voor continue controle. Dit zijn complexe simulaties waarbij robots (zoals een jachtluipaard, een mens of een zwemmer) efficiënt moeten bewegen terwijl ze meerdere doelen balanceren, zoals snelheid versus energieverbruik.

De resultaten waren opmerkelijk. Door simpelweg de architectuur te upgraden, hield Momba niet alleen stand tegen de beste bestaande methoden; het liet hen achter in het stof.

Wat betreft de kwaliteit van de gevonden oplossingen (gemeten met een metriek genaamd Hypervolume), verbeterde Momba de prestaties met ongeveer 132% vergeleken met de originele, niet-geüpgradede versie van het algoritme.
Zelfs vergeleken met de op één na beste methode in het veld, liet Momba een verbetering zien van 35%.
Misschien wel het meest indrukwekkend is dat Momba veel meer sample-efficiënt was. Dit betekent dat het sneller leerde en veel minder pogingen nodig had om een hoog prestatieniveau te bereiken. In sommige tests bereikte het het prestatieniveau van een concurrent die 48 miljoen stappen had getraind, in slechts 1 miljoen stappen.

De auteurs voerden deze experimenten uit over 10 verschillende random seeds (eigenlijk 10 verschillende startcondities) om er zeker van te zijn dat de resultaten niet alleen op geluk berustten. Ze vonden dat Momba consequent een bredere, meer diverse en kwalitatief betere set oplossingen produceerde. Bijvoorbeeld, in een simulatie van een robotmier kon Momba een vloeiende curve van oplossingen genereren die elke mogelijke afweging tussen snel bewegen in de X-richting en de Y-richting dekte, terwijl andere methoden grote gaten lieten.

Wat het Betekent

De paper maakt een duidelijk punt: je hoeft niet altijd een gloednieuw, complex wiskundig algoritme uit te vinden om een moeilijk probleem op te lossen. Soms heb je alleen een beter brein nodig voor het bestaande algoritme. De auteurs beargumenteren expliciet tegen het idee dat de enige manier om Multi-Objective RL te verbeteren het bedenken van complexe nieuwe update-regels of voorkeursselectiestrategieën is. In plaats daarvan laten ze zien dat het moderniseren van de neurale netwerkarchitectuur een krachtig, vaak over het hoofd gezien pad naar succes is.

Ze testten ook welke van hun drie upgrades het belangrijkst was. Met behulp van een statistisch hulpmiddel, de Shapley-waarden, ontdekten ze dat observatie-normalisatie de grootste held was, die verantwoordelijk was voor ongeveer 55% van de verbetering. De distributional critic en gewichtsnormalisatie speelden ook cruciale rollen en werkten samen om het hele systeem te laten zingen.

Kortom, de paper suggereert dat de toekomst van het aanleren van het balanceren van complexe, tegenstrijdige doelen aan AI misschien niet ligt in het schrijven van moeilijkere wiskunde, maar in het bouwen van slimmere, robuustere neurale netwerken. Door de AI een betere manier te geven om de wereld te zien, de inputs te normaliseren en het volledige bereik van mogelijkheden te begrijpen, kunnen we het sneller leren en betere beslissingen laten nemen, zonder de fundamentele regels van hoe het leert te veranderen.

Technische Samenvatting: Momba – Netwerkmodernisering verbetert Multi-Objective Reinforcement Learning

Probleemstelling

Multi-Objective Reinforcement Learning (MORL) streeft naar het ontdekken van een verzameling policies die de afwegingen tussen conflicterende doelstellingen balanceren, vaak gerepresenteerd door een Pareto-front. Hoewel recente vooruitgang in single-objective Deep Reinforcement Learning (DRL) heeft aangetoond dat het verbeteren van neurale netwerkarchitecturen (bijv. normalisatietechnieken, distributionele critics) aanzienlijke winst kan opleveren in sample-efficiëntie en asymptotische prestaties zonder de onderliggende algoritmen te wijzigen, heeft MORL-onderzoek zich voornamelijk gericht op algoritmische innovaties.

Huidige MORL-benaderingen, met name general policy methods die een voorkeursgeconditioneerde policy $\pi(\cdot|s, \omega)$ leren, vertrouwen doorgaans op eenvoudige feedforward-netwerken om waardefuncties en policies te representeren. Het artikel stelt dat deze architecturen mogelijk onvoldoende expressief zijn om de significante verschillen in optimale policies en waardefuncties over variërende afwegingen heen te verwerken. De centrale vraag die wordt geadresseerd is of het integreren van moderne principes voor neurale netwerkontwerpen in MORL de prestaties kan verbeteren zonder complexe algoritmen voor voorkeursselectie of gespecialiseerde update-regels te vereisen.

Methodologie

De auteurs stellen Momba voor, een algoritme dat recente architecturale vooruitgangen uit single-objective DRL (specifiek de SimbaV2-architectuur) integreert in een bestaand entropie-geconditioneerd MORL-algoritme, CAPQL. De methodologie omvat drie primaire architecturale wijzigingen:

Observatie- en Feature-normalisatie:
- Observatie-normalisatie: De input-observaties worden genormaliseerd met behulp van lopende statistieken (Running Statistic Normalization) naar een gemiddelde van nul en een eenheidvariantie.
- Feature-normalisatie: Verborgen features worden gemapt op een eenheids-hypersfeer (L2-normalisatie) om de leerdynamiek te stabiliseren en verlies van plasticiteit te voorkomen. Een leerbare verschuivingsconstante wordt toegevoegd om de grootte-informatie te behouden.
Gewichts-normalisatie: De gewichten van het netwerk worden genormaliseerd na elke gradiënt-update om ervoor te zorgen dat ze op de eenheids-hypersfeer blijven, wat de conditionering van het optimalisatielandschap verbetert.
Adaptatie van de Distributionele Critic:
- Standaard distributionele critics (bijv. C51) modelleren de distributie van rendementen. In MORL zijn rendementen multivariate vectoren.
- In plaats van de complexe multivariate gezamenlijke distributie te modelleren (wat computationeel duur is en vaak beperkt is tot tabulaire gevallen), stelt Momba voor om de gescalariseerde rendement-distributie direct te leren.
- De critic $Z_\theta(s, a, \omega)$ voorspelt de categorische distributie van het gescalariseerde rendement $\omega^T G$ , waarbij $G$ de vector van rendementen is.
- De critic wordt getraind door de cross-entropy loss te minimaliseren tussen de voorspelde distributie en de doel-distributie (berekend via TD bootstrap op de gescalariseerde beloning $\omega^T r$ ).
- De policy wordt bijgewerkt om de verwachte waarde van deze gescalariseerde distributie plus een entropie-term te maximaliseren.

Voorkeursselectie: Om de effecten van architecturale veranderingen te isoleren, gebruiken de auteurs een eenvoudige strategie voor voorkeursselectie: een nieuwe voorkeursvector $\omega$ wordt één keer per episode getrokken uit een statische uniforme distributie over de voorkeursruimte, in plaats van geavanceerde dynamische selectiestrategieën te gebruiken zoals bij andere MORL-baselines.

Belangrijkste Bijdragen

Architecturale Integratie in MORL: Het artikel demonstreert dat het gebruik van meer expressieve neurale netwerkarchitecturen (SimbaV2-componenten) met een distributionele critic in een MORL-algoritme de prestaties op continue controle-taken substantieel verbetert. Dit wordt bereikt zonder het kern-MORL-algoritmisch framework te wijzigen of complexe mechanismen voor voorkeursselectie te vereisen.
Gescalariseerde Distributionele Critic: De auteurs stellen een pragmatische adaptatie van de categorische critic voor naar het multi-objective domein. Door direct de gescalariseerde rendement-distributie te leren onder de aanname van lineaire scalarisatie, vermijden zij de complexiteit van het modelleren van multivariate gezamenlijke distributies, terwijl ze de stabiliteitsvoordelen van distributional RL behouden.
Empirische Validatie van Ontwerpkeuzes: Door middel van uitgebreide ablatie-studies identificeert het artikel observatie-normalisatie als de meest significante bijdrager aan de prestatiewinst (verantwoordelijk voor ~55% van de verbeteringen via Shapley-waarden), gevolgd door feature- en gewichts-normalisatie. De distributionele critic wordt eveneens geïdentificeerd als een centraal onderdeel voor prestatieverbetering.

Resultaten

De voorgestelde methode werd geëvalueerd over 7 continue controle-benchmarks (Ant, HalfCheetah, Hopper, Humanoid, Swimmer, Walker2D) met 2 of 3 doelstellingen.

Asymptotische Prestaties: Momba presteert beter dan state-of-the-art baselines, inclusief PGMORL (een multi-policy methode) en CAPQL (het onderliggende algoritme). Op geaggregeerde metrieken behaalde Momba ongeveer 35% verbetering in Hypervolume (HV) en 16% verbetering in Expected Utility Metric (EUM) ten opzichte van de runner-up (PGMORL). Vergeleken met de basis-CAPQL waren de verbeteringen ongeveer 132% in HV en 35% in EUM.
Sample-efficiëntie: Momba bereikt de uiteindelijke prestaties van PGMORL in omgevingen zoals Ant en Humanoid met slechts een fractie van de trainingsstappen (100k en 200k stappen, respectievelijk, vergeleken met PGMORL's 48M en 120M stappen).
Vergelijking met GPI-LS: Wanneer vergeleken met GPI-LS, een methode die bekend staat om best-in-class sample-efficiëntie en geavanceerde voorkeursselectie gebruikt, presteerde Momba (met behulp van een eenvoudige statische voorkeurs-sampling) beter dan GPI-LS in genormaliseerde HV en EUM na 200k stappen wanneer gekoppeld aan vergelijkbare Update-to-Data (UTD) ratio's.
Oplossingskwaliteit: Visuele analyse van de gegenereerde oplossingssets (Pareto-fronten) laat zien dat Momba sets produceert met een goede dekking en dichtheid, die vaak de baselines domineren in omgevingen zoals Walker2D en Hopper.

Betekenis en Claims

Het artikel claimt dat de prestaties van bestaande MORL-algoritmen aanzienlijk kunnen worden versterkt door moderne neurale netwerkontwerpprincipes te adopteren, specifificeren normalisatietechnieken en distributionele critics. De betekenis ligt in de bevinding dat architecturale verbeteringen alleen, zonder complexe algoritmische wijzigingen of gespecialiseerde voorkeursselectiestrategieën, de huidige state-of-the-art MORL-methoden kunnen overtreffen.

De auteurs benadrukken dat de distributionele critic een belangrijke component is van dit succes, aangezien het de leerdynamiek stabiliseert en de conditionering van het optimalisatieprobleem verbetert. Ze merken ook op dat hoewel hun aanpak leunt op lineaire scalarisatie, de voorgestelde adaptatie van de distributionele critic een eenvoudige maar effectieve tactiek is die het vermijden van het modelleren van complexe multivariate distributies bewerkstelligt.

Erkende Beperkingen:

De studie is beperkt tot lineaire scalarisatie; niet-lineaire of geleerde scalarisatiefuncties worden niet behandeld.
De benchmarks zijn beperkt tot continue controle-taken met 2 of 3 doelstellingen; schaalbaarheid naar discrete ruimtes of hogere dimensies van doelstellingen wordt niet geëvalueerd.
De meer expressieve functiebenaderingen kunnen de wall-clock trainingstijd verhogen, hoewel dit kan worden gemitigeerd door systeemniveau-vooruitgang (bijv. JIT-compilatie).