Technische Samenvatting: Objectief-Gedragsalignement: Diagnostiek voor MORL

Probleemstelling

Besluitvorming in de echte wereld vereist vaak het gelijktijdig optimaliseren van meerdere concurrerende doelstellingen. In Multi-Objective Reinforcement Learning (MORL) houdt de standaardaanpak in dat een verzameling Pareto-optimale beleidsregels (de Pareto-set, PS) en hun bijbehorende waardevectoren (de Pareto-front, PF) worden gegenereerd. Hoewel dit de afwegingen tussen doelstellingen blootlegt, vertrouien huidige diagnostische methoden uitsluitend op deze objectieve waarden.

Het geïdentificeerde kernprobleem is Objectief-Gedragsmisalignement: beleidsregels die nabij in de objectieve ruimte liggen (d.w.z. vergelijkbare verwachte rendementen hebben), kunnen radicaal verschillende gedragsverlopen vertonen. Scalarisatiemethoden, die beloningen combineren tot één enkel signaal, staan bekend als fragiel; kleine gewichtsveranderingen kunnen drastische gedragsverschuivingen induceren. Echter, zelfs binnen een gegenereerde Pareto-front kunnen naburige beleidsregels verschillende trajecten volgen (bijv. strikt naar links bewegen versus strikt naar rechts) die identieke of bijna identieke rendementsvectoren opleveren. Het uitsluitend vertrouwen op de PF bij de selectie van beleidsregels brengt het risico met zich mee dat kritieke gedragsvariaties over het hoofd worden gezien, wat potentieel kan leiden tot de inzet van beleidsregels die weliswaar aan numerieke benchmarks voldoen, maar in de praktijk ongewenste of onveilige uitvoeringspatronen vertonen.

Methodologie

De auteurs stellen een modulaire, exploratieve diagnostische workflow voor die ontworpen is om gedragsvariaties langs de Pareto-front te ontsluieren die de objectieve waarden alleen niet onthullen. De workflow bestaat uit drie primaire stappen:

1. MORL Training en Trajectextractie

Een MORL-agent wordt getraind om een diverse set beleidsregels te verkrijgen die de PS en PF vertegenwoordigen. Het raamwerk is agnostisch ten opzichte van de specifieke gebruikte MORL-algoritme; in de experimenten maken de auteurs gebruik van MORL gebaseerd op decompositie (MORL/D), een evolutionaire aanpak die een populatie van beleidsregels onderhoudt die getraind zijn met verschillende gewichtsvectoren. Voor elke beleidsregel wordt een set trajecten (rollouts) geëxtraheerd samen met hun vector-waardige rendementen.

2. Aggregatie via Gedragsencoding

Geëxtraheerde trajecten worden verwerkt om compacte, betekenisvolle gedragsrepresentaties te genereren.

• Encoder: De workflow maakt gebruik van een geleerde traject-encoder (gebaseerd op Mone et al., 2026) die getraind is via een composiete contrastieve verliesfunctie. Deze bevat componenten voor volledige trajecten ($L_{CLS}$), trajectsegmenten ($L_{SEG}$), en paren segmenten ($L_{PAIR}$), samen met een Deep InfoMax ($L_{DIM}$) regularisator.
• Embedding: De encoder brengt state-action sequenties in kaart naar een latente ruimte. Om een goed gestructureerde geometrie te garanderen, wordt een variantie-covariantie regularisator toegepast om degeneratieve embeddings te voorkomen.
• Aggregatie: Meerdere traject-embeddings voor een enkele beleidsregel worden geaggregeerd (via het gemiddelde) om een enkele gedragsvector $z(\pi)$ te produceren, die de gedragsmanifold $Z$ definieert.

3. Analyse van Objectief-Gedragsalignement

De workflow vergelijkt de geometrie van de objectieve ruimte (PF) met de gedragsruimte ($Z$) met behulp van drie diagnostische instrumenten:

• Betrouwbaarheid (Trustworthiness) en Continuïteit (Continuity): Geadapteerd van niet-lineaire projectieanalyse, kwantificeren deze metrieken de behoud van nabijheid.
  • Trustworthiness ($T$): Meet of buren in de PF ook buren blijven in $Z$.
  • Continuity ($C$): Meet of buren in $Z$ ook buren blijven in de PF.
  • Lage waarden duiden op een structurele mismatch waarbij de nabijheid in de objectieve ruimte geen voorspeller is voor de gelijkenis in gedrag.
• Lipschitz Scatter Plots: Geïnspireerd door optimalisatie-landschap-analyse, visualiseren deze plots de relatie tussen afstanden in de objectieve ruimte ($x$-as) en de gedragsruimte ($y$-as) voor opeenvolgende beleidsregels gerangschikt langs de front.
  • Kritieke Regio (Links-Boven): Punten waar beleidsregels dicht bij elkaar liggen in de objectieve ruimte, maar ver van elkaar liggen in de gedragsruimte. Deze markeren paren die handmatige inspectie vereisen.
  • Gaten (Rechts-Onder): Punten waar de verschillen in de objectieve ruimte groot zijn relatief aan de verschillen in gedrag.
• Kwalitatieve "Eyeball" Test: De workflow rendert de rollouts van de beleidsregels zodat menselijke waarnemers direct kunnen verifiëren of de kwantitatieve discrepanties overeenkomen met waarneembare gedragsverschillen.

Belangrijkste Bijdragen

1. Identificatie van een Structurele Kloof: Het artikel definieert formeel Objectief-Gedragsmisalignement (Definitie 1) als een geometrische eigenschap waarbij de mapping tussen de Pareto-front en de gedragsruimte faalt in het behouden van nabijheid. Het benadrukt dat deze kloof een structurele eigenschap is van MORL-beleidssets die vaak over het hoofd wordt gezien in huidig onderzoek.
2. Modulaire Diagnostische Workflow: De auteurs introduceren een schaalbaar raamwerk voor het construeren van gedragsruimte-representaties en het vergelijken van de lokale structuur ervan met de Pareto-front. Het ontwerp is compatibel met alternatieve encoders, aggregatieschema's en metrieken.
3. Kwantitatieve en Visuele Diagnostiek: Het artikel stelt specifieke metrieken (Trustworthiness, Continuity) en visuele instrumenten (Lipschitz scatter plots) voor om beleidsparen te markeren waar de nabijheid in de objectieve ruimte een slechte samenvatting vormt van de gedragsdiversiteit.

Resultaten

De aanpak werd gevalideerd op zowel eenvoudige grid-omgevingen als continue controle-benchmarks:

• Deep Sea Treasure (DST):

  • Left–Right DST: In deze variant vertoonden naburige beleidsregels op de PF verschillende links of rechts gerichte trajecten. De workflow detecteerde deze misalignement succesvol, met lage Trustworthiness (0,51) en Continuity (0,47). De Lipschitz scatter plots identificeerden duidelijk de "kritieke regio" waar beleidsregels dicht bij elkaar lagen in de objectieve ruimte maar ver van elkaar in de gedragsruimte.
  • Smooth DST: In deze variant waren de objectieve en gedragsruimtes uitgelijnd. De metrieken waren nabij 1,0 en de scatter plots toonden consistente afstanden, wat de bekwaamheid van de methode bevestigde om uitgelijnde en misalignte scenario's te onderscheiden.
  • Encoder Validatie: De geleerde transformer-embeddings produceerden gedragsclustering die consistent was met handmatig ontworpen embeddings, wat de bekwaamheid van de encoder valideert om relevante gedragspatronen te vangen zonder externe annotaties.

• MuJoCo Omgevingen (MO-HalfCheetah en MO-Hopper):

  • Globale metrieken gaven een sterke alignement aan (Trustworthiness/Continuity > 0,94) op gemiddelde basis, wat suggereert dat de PF voor deze specifieke taken het gedrag over het algemeen goed voorspelt.
  • Echter, scatter plots onthulden lokale discrepanties. In MO-Hopper vertoonden specifieke beleidsparen (bijv. 50 vs. 51) in de kritieke regio zichtbare gedragsverschillen (bijv. een voorwaartse sprong versus een rechtopstaande houding), ondanks vergelijkbare objectieve rendementen. In MO-HalfCheetah waren de verschillen subtieler en correleerden ze met kleinere afstanden in de gedragsruimte.
  • De resultaten demonstreren dat de methode effectief blijft naarmaling van de complexiteit van het probleem, en in staat is om specifieke beleidsparen voor inspectie te markeren, zelfs in hoog-dimensionale continue domeinen.

Betekenis en Claims

Het artikel positioneert dit werk als een diagnostisch instrument in plaats van een oplossing voor het probleem van de beloningsspecificatie. De auteurs stellen expliciet dat hun workflow niet bepaalt of gespecificeerde beloningsdoelstellingen adequaat zijn voor inzet of of geobserveerde gedragsverschillen schadelijk zijn; dergelijke oordelen vereisen externe informatie over de voorkeuren van belanghebbenden.

In plaats daarvan ligt de betekenis van het werk in:

• Geautomatiseerd Markeren: Het bieden van een schaalbare methode om beleidsparen te identificeren die handmatige inspectie rechtvaardigen, ter aanvulling op de numerieke samenvattingen die doorgaans aan besluitvormers worden gepresenteerd.
• Transparantie: Het bieden van een transparanter fundament voor beleidsselectie door "blinde vlekken" te onthullen waar objectieve metrieken gedragsrisico's maskeren.
• Algoritme Benchmarking: Het introduceren van een nieuwe dimensie voor het evalueren van MORL-algoritmen op basis van de gedragsstabiliteit en voorspelbaarheid van de gegenereerde fronten, verder dan standaard convergentie- en diversiteitsmaten zoals hypervolume.
• Inzichten voor Single-Objective RL: De scatter plot-methodologie kan ook beloningsfuncties in single-objective RL identificeren die gevoelig zijn voor instabiliteit, waarbij marginale veranderingen in de beloningsstructuur disproportionele gedragsverschuivingen triggeren.

De auteurs concluderen dat hoewel de workflow een belangrijke stap vormt naar het begrijpen van de relatie tussen objectief en gedrag, het modulair is en steunt op specifieke heuristieken (zoals beleidsordening) die verfijning kunnen vereisen voor hoger-dimensionale objectieve ruimtes.