🤖 machine learning

Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

Dit artikel identificeert en analyseert twee eerder ongemelde problemen, namelijk interferentie van waardefuncties en gevoeligheid voor overestimatie, die de prestaties van op waarden gebaseerde multi-objectieve reinforcement learning-algoritmen kunnen belemmeren wanneer ze worden gebruikt met niet-lineaire nutfuncties.

Oorspronkelijke auteurs: Peter Vamplew (EJ), Ethan (EJ), Watkins, Cameron Foale, Richard Dazeley

Gepubliceerd 2026-04-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peter Vamplew (EJ), Ethan (EJ), Watkins, Cameron Foale, Richard Dazeley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Probleemstelling: Een Agent met Teveel Doelen

Stel je voor dat je een robot bouwt die een taak moet uitvoeren, maar deze taak heeft twee tegenstrijdige doelen.

Doel 1: Zo snel mogelijk zijn.
Doel 2: Zo weinig mogelijk energie verbruiken.

In de wereld van kunstmatige intelligentie noemen we dit Multi-Objectieve Reinforcement Learning (MORL). De robot moet een balans vinden tussen snelheid en energie.

Normaal gesproken leert een robot door een "score" te krijgen na elke actie. Maar hier krijgt de robot geen enkele score, maar een lijstje met scores (bijvoorbeeld: [+10 punten snelheid, -5 punten energie]). De robot moet zelf beslissen welke actie het beste is, gebaseerd op wat de gebruiker belangrijk vindt (bijvoorbeeld: "Ik wil vooral snel zijn, zelfs als het veel energie kost").

De auteurs van dit paper ontdekten twee grote valkuilen die deze robots in de war brengen, vooral als de gebruiker een complexe voorkeur heeft (een "niet-lineaire" voorkeur).

Probleem 1: De "Gemiddelde" Valstrik (Value Function Interference)

De Analogie: De Restaurantkeuze

Stel je voor dat je elke dag een restaurant kiest voor je lunch. Je hebt twee opties:

Restaurant A: Een gok. 50% kans op een perfecte maaltijd (10/10), 50% kans op een vreselijke maaltijd (0/10). Het gemiddelde is een 5/10.
Restaurant B: Altijd een vaste, goede maaltijd. Geen verrassingen, altijd een 6/10.

Als je gewoon naar het gemiddelde kijkt, lijkt Restaurant A (5/10) slechter dan Restaurant B (6/10). Maar stel nu dat jouw voorkeur heel specifiek is: "Ik wil liever een kans op perfectie dan een zekere middelmatigheid."

In dit geval is Restaurant A eigenlijk de betere keuze voor jou, omdat de kans op een 10/10 je gelukkig maakt. Maar de robot leert alleen het gemiddelde (de 5/10). De robot denkt: "Restaurant A is slecht, want 5 is minder dan 6."

Wat gebeurt er in de robot?
De robot leert een "vector" (een lijstje met verwachte punten). Hij neemt het gemiddelde van alle mogelijke uitkomsten. Als hij dit gemiddelde gebruikt om te beslissen, kan hij de verkeerde keuze maken als de gebruiker een complexe voorkeur heeft (zoals in het voorbeeld hierboven).

In de echte wereld: Dit gebeurt vaak in onzekere omgevingen (stochastisch). De robot leert dat "Gemiddelde A" slechter is dan "Zeker B", terwijl "Gemiddelde A" eigenlijk de winnaar is als je de kans op de beste uitkomst meetelt.
Het verrassende: Dit gebeurt zelfs in een volledig voorspelbare wereld (deterministisch). Als de robot soms twijfelt tussen twee goede opties en willekeurig kiest, creëert hij zelf onzekerheid. Die willekeurige keuze verstoort zijn eigen berekeningen, waardoor hij uiteindelijk een slechte strategie kiest.

De Oplossing (deels):
De onderzoekers ontdekten dat als je de robot niet laat kiezen door een muntje op te gooien (willekeur), maar hem een vaste regel geeft (bijvoorbeeld: "Kies altijd optie 1 als ze even goed zijn"), dit het probleem vermindert. Het lost het niet helemaal op, maar het helpt wel.

Probleem 2: De "Overtollige" Schat (Overestimation Sensitivity)

De Analogie: De Valse Koerier

Stel je voor dat je een koerier bent die schatten moet vinden. Je hebt een kaart met schatlocaties.

Locatie X: Waarde €100.
Locatie Y: Waarde €90.

Normaal gesproken is het makkelijk: je kiest X.
Maar stel nu dat je kaart een beetje verkeerd is. De koerier denkt dat alles €10 meer waard is dan het is (dit noemen we "overestimation" of overschatting).

Locatie X wordt nu gezien als €110.
Locatie Y wordt nu gezien als €100.
Je kiest nog steeds X. Geen probleem.

Maar... stel nu dat je voorkeur heel raar is. Je zegt: "Ik wil liever een schat van €100 die veilig is, dan een schat van €110 die gevaarlijk is." (Dit is de "niet-lineaire" voorkeur).
Als de koerier nu de schatten overschat, kan de berekening van "veiligheid vs. waarde" volledig in de war raken. Een kleine fout in de schatting (bijvoorbeeld €1 te veel) kan ervoor zorgen dat de robot plotseling denkt dat de gevaarlijke schat (die nu als €110 wordt gezien) veel beter is dan de veilige schat, terwijl dat in werkelijkheid niet zo is.

Wat gebeurt er in de robot?
In de wereld van AI weten we al dat robots soms de waarde van acties iets te hoog inschatten (vooral als ze complexere modellen gebruiken).

Bij een simpele robot (lineaire voorkeur) maakt dit niet uit. Als alles evenveel wordt opgeteld, blijft de volgorde hetzelfde.
Bij een complexe robot (niet-lineaire voorkeur) is dit dodelijk. Een klein beetje "ruis" of overschatting kan de robot laten denken dat een slechte keuze de beste is. Het is alsof je een thermometer hebt die 1 graad te hoog aangeeft; bij een simpele temperatuurmeting maakt dat niet uit, maar als je een heel specifiek recept maakt dat precies op 100 graden moet koken, kan die 1 graad het gerecht verpesten.

Samenvatting: Wat leren we hieruit?

De auteurs van dit paper zeggen eigenlijk:
"We dachten dat we deze robots al goed konden programmeren voor complexe doelen, maar we hebben twee valkuilen over het hoofd gezien."

Het Gemiddelde is niet altijd waar: Als je een robot leert om het gemiddelde van alle mogelijke uitkomsten te berekenen, kan hij de beste keuze missen als de gebruiker houdt van risico's of specifieke combinaties. De robot ziet het plaatje niet compleet.
Kleine fouten zijn groot: Als de robot zijn eigen prestaties iets te optimistisch inschat, kan dat bij complexe doelen leiden tot volledig verkeerde beslissingen.

Hoe lossen we dit op?
De auteurs suggereren dat we de robot niet alleen een "gemiddelde score" moeten laten leren, maar een verdeling (een kansverdeling) van alle mogelijke uitkomsten.

Analogie: In plaats van te zeggen "De maaltijd is gemiddeld een 5", moet de robot zeggen "Er is 50% kans op een 10 en 50% kans op een 0". Dan kan de robot zelf berekenen: "Ah, als ik risico durf, is deze optie het beste."

Dit maakt de robot slimmer, maar ook complexer om te bouwen. Het paper is een waarschuwing voor ontwikkelaars: pas op met complexe doelen en simpele berekeningen!

Titel

Problemen bij Waarde-gebaseerde Multi-objective Reinforcement Learning: Waardefunctie-interferentie en Gevoeligheid voor Overschatting

1. Probleemstelling

Multi-objective Reinforcement Learning (MORL) breidt conventionele RL uit naar problemen met meerdere, vaak conflicterende doelen, weergegeven door vectoriële beloningen. Veelgebruikte scalar RL-methoden (zoals Q-learning) worden aangepast door vectoriële waardefuncties te leren en acties te selecteren via een scalarisatie- of ordeningsoperator die de voorkeuren van de gebruiker weerspiegelt.

De auteurs identificeren twee tot nu toe ongerapporteerde problemen die de prestaties van waarde-gebaseerde MORL-algoritmen aanzienlijk kunnen belemmeren, vooral wanneer deze worden gecombineerd met niet-lineaire nuttelfuncties (utility functions):

Waardefunctie-interferentie (Value Function Interference): Het leren van de verwachte vectoriële opbrengst is soms onvoldoende informatie om de optimale actie te bepalen. De nuttelfunctie van de verwachte vector kan verschillen van de verwachte nuttelfunctie van de individuele uitkomsten. Dit leidt tot suboptimale actiekeuzes.
Gevoeligheid voor Overschatting (Overestimation Sensitivity): Waar overschatting van Q-waarden in single-objective RL vaak geen invloed heeft op de relatieve voorkeur van acties (zolang de overschatting uniform is), kan dit bij MORL met niet-lineaire scalarisatie leiden tot een volledig verkeerde rangschikking van acties, zelfs bij kleine overschattingen.

2. Methodologie

De auteurs analyseren deze fenomenen theoretisch en valideren ze empirisch met behulp van een tabulaire implementatie van multi-objective Q-learning (MOQ-learning) op eenvoudige Multi-Objective Markov Decision Processes (MOMDPs) en Multi-Objective Multi-Armed Bandits (MOMABs).

Algoritme: Ze gebruiken een aangepast MOQ-learning algoritme (Algorithm 1) dat een "augmented state" gebruikt. Deze staat bevat niet alleen de omgevingstoestand, maar ook de cumulatieve beloningvector ( $P$ ) en de tijdstap ( $t$ ), wat essentieel is voor correcte discontering en actie-selectie bij niet-lineaire nuttelfuncties.
Criteria: Ze onderscheiden tussen:
- ESR (Expected Scalarised Return): Maximaliseer de verwachte waarde na scalarisatie (belangrijk per episode).
- SER (Scalarised Expected Return): Scalariseer de verwachte vectoriële opbrengst (belangrijk voor gemiddelde prestaties over veel episodes).
Experimenten:
- Interferentie: Experimenten in zowel stochastische als deterministische omgevingen. Ze testen verschillende strategieën voor het verbreken van gelijke waarden (tie-breaking): willekeurig versus deterministisch (bijv. altijd de actie met de laagste index kiezen).
- Overschatting: Experimenten in een rasterwereld-omgeving (DST-Mixed) met Pareto-optimale beleidslijnen. Ze simuleren overschatting door constante of variabele ruis toe te voegen aan de Q-waarden en vergelijken de prestaties van drie nuttelfuncties: lineaire scalarisatie, gethresholded lexicografische ordening (TLO) en Chebyshev-afstand.

3. Belangrijkste Bijdragen en Bevindingen

A. Waardefunctie-interferentie

Stochastische Omgevingen: In stochastische omgevingen is de SER-optimaliteit niet equivalent aan ESR-optimaliteit. Als een agent de gemiddelde vector leert ( $Q(s,a)$ ) en deze scalariseert, kan dit leiden tot een suboptimale keuze ten opzichte van de ESR-criteria. De agent leert de "gemiddelde" uitkomst, terwijl de gebruiker de "gemiddelde nut" van de individuele uitkomsten wil maximaliseren.
Deterministische Omgevingen: Interferentie kan ook optreden in volledig deterministische omgevingen. Dit gebeurt wanneer er meerdere optimale acties zijn die dezelfde nuttelfunctie hebben, maar verschillende vectoriële uitkomsten.
- Als de agent willekeurig kiest tussen deze acties (bijv. bij een "tie"), introduceert dit stochastische variatie in de ontvangen beloningen.
- De geleerde Q-waarde voor een voorgaande staat wordt dan het gemiddelde van deze verschillende vectoren.
- Door de niet-lineariteit van de nuttelfunctie kan het scalariseren van dit gemiddelde leiden tot een lagere nuttelfunctie dan het scalariseren van de individuele optimale vectoren. Hierdoor kiest de agent een suboptimale actie.
Oplossing: Het gebruik van deterministische tie-breaking (bijv. altijd de actie met de laagste index kiezen) vermindert dit probleem aanzienlijk, maar elimineert het niet volledig. Een tweede oorzaak is frequente wisseling van de "greedy" actie tijdens het leren (door optimistische initialisatie), wat ook interferentie veroorzaakt.

B. Gevoeligheid voor Overschatting

Lineaire vs. Niet-lineaire: Bij lineaire scalarisatie heeft uniforme overschatting geen invloed op de actie-selectie (de rangschikking blijft behouden).
Niet-lineaire Gevoeligheid: Bij niet-lineaire functies (zoals TLO en Chebyshev) kan zelfs een kleine, uniforme overschatting de rangschikking van acties volledig veranderen.
- TLO (Thresholded Lexicographic Ordering): Zeer gevoelig. Een kleine overschatting kan een actie die net onder een drempelwaarde ligt, plotseling boven de drempel tillen, wat leidt tot een drastische verandering in de gekozen actie en grote nuttelschade.
- Chebyshev: Minder gevoelig dan TLO, maar aanzienlijk gevoeliger dan lineaire scalarisatie.
Inconsistente Overschatting: Als de overschatting per doel en per actie verschilt, worden alle methoden (inclusief lineaire) kwetsbaarder, maar TLO blijft het meest kwetsbaar.

4. Resultaten

Interferentie-experimenten: In stochastische bandit-problemen convergeerde de agent in bijna alle trials naar de verkeerde actie bij standaard Q-learning, tenzij een zeer hoge leersnelheid werd gebruikt (wat onpraktisch is voor complexe problemen). In deterministische problemen leidde willekeurige tie-breaking in veel gevallen tot convergentie naar een suboptimale beleidslijn. Deterministische tie-breaking verbeterde de convergentie naar de optimale beleidslijn aanzienlijk (van ~50% naar >90% in bepaalde settings), maar elimineerde het probleem niet volledig.
Overschatting-experimenten:
- Lineaire scalarisatie was immuun voor uniforme overschatting.
- TLO vertoonde een explosieve stijging in fouten en genormaliseerde regret bij toenemende overschatting. Zelfs minimale overschatting leidde tot een groot aantal verkeerde beslissingen.
- Chebyshev zat hier tussenin, maar toonde ook een duidelijke degradatie in prestaties.

5. Betekenis en Conclusie

De studie toont aan dat bestaande waarde-gebaseerde MORL-methoden fundamentele beperkingen hebben bij het gebruik van niet-lineaire nuttelfuncties.

Waardefunctie-interferentie impliceert dat het simpelweg leren van de verwachte vectoriële opbrengst niet voldoende is om ESR-optimale beleidslijnen te vinden, zelfs niet in deterministische omgevingen.
Overschatting is een veel groter risico in MORL dan in single-objective RL, vooral bij niet-lineaire functies die vaak nodig zijn voor complexe voorkeuren (zoals drempelwaarden of fairness).

Aanbevolen Richtingen:
De auteurs suggereren twee veelbelovende oplossingen:

Distributional RL: Het leren van een verdeling over de vectoriële opbrengsten in plaats van alleen de verwachte waarde. Hiermee kan de agent de ESR correct berekenen door de nuttelfunctie toe te passen op de verdeling en vervolgens te middelen.
Potentieel-gebaseerde beloningsvorming (Cai et al., 2023): Het scalariseren van de cumulatieve vectoriële opbrengst op elke tijdstap en het leren van een beleidslijn op basis van deze scalar. Dit elimineert interferentie, maar gaat ten koste van de voordelen van vectoriële Q-waarden (zoals multi-beleidsleren en uitlegbaarheid).

Samenvattend waarschuwt dit artikel onderzoekers en practitioners voor de valkuilen van het toepassen van standaard Q-learning op MORL-problemen met niet-lineaire voorkeuren en pleit het voor nieuwe methoden die rekening houden met de verdeling van uitkomsten en de sensitiviteit van niet-lineaire scalarisatie.