Technische Samenvatting: AETDICE: Een verenigd framework en offline optimalisatie voor niet-lineaire multi-objective RL

1. Probleemstelling

Multi-objective reinforcement learning (MORL) streeft naar het optimaliseren van sequentiële beslissingen onder meerdere, vaak concurrerende doelstellingen. Hoewel lineaire scalarisatie (gewogen sommen) MORL reduceert tot standaard single-objective RL, is niet-lineaire scalarisatie essentieel voor het vastleggen van complexe voorkeuren zoals risico-aversie, eerlijkheid en afnemende meeropbrengsten.

Historisch gezien is niet-lineaire MORL verdeeld in twee afzonderlijke paradigma's op basis van de volgorde van scalarisatie en verwachting:

1. Scalarized Expected Return (SER): Past niet-lineariteit toe op de verwachte return-vector ($u(\mathbb{E}[R])$). Dit vereist optimalisatie op globaal niveau omdat de marginale bijdrage van een actie afhangt van de totale verwachte return van het beleid, wat vaak stochastische beleidsregels noodzakelijk maakt.
2. Expected Scalarized Return (ESR): Past niet-lineariteit toe op de return van elke traject ($\mathbb{E}[u(R)]$). Dit creëert een niet-Markoviaans probleem waarbij de optimale actie afhankelijk is van de geaccumuleerde beloningsgeschiedenis, wat staat-augmentatie vereist om Markovianiteit te herstellen.

De kloof: Bestaande offline RL-methoden hebben lineaire scalarisatie en SER-doelstellingen behandeld. Echter, ESR blijft onbehandeld in de offline setting. Traject-niveau niet-lineariteit maakt optimale acties afhankelijk van geaccumuleerde beloningen, en het leren van dergelijke belonings-geconditioneerde beleidsregels vanuit statische datasets is niet onderzocht. Bovs staat er geen bestaande methode die doelstellingen aanpakt die zowel traject-niveau als verwachting-niveau niet-lineariteiten combineren, noch behandelen zij de specifieke trade-offs die door dergelijke combinaties worden geïnduceerd.

2. Methodologie

Het AET-framework

De auteurs stellen het Aggregation–Expectation–Transformation (AET) framework voor om niet-lineaire MORL-doelstellingen te verenigen. AET deelt het scalarisatieproces op in drie componenten:

1. Transformation (F): Een traject-niveau transformatie $F: \mathbb{R}^m \to \mathbb{R}^n$ die de return-vector naar $n$ utility-dimensies brengt (bijv. het vastleggen van afnemende meeropbrengsten via $\log$ of efficiëntie via Cobb-Douglas).
2. Expectation (E): De verwachting over trajecten.
3. Aggregation (G): Een aggregatie op verwachtingsniveau $G: \mathbb{R}^n \to \mathbb{R}$ (doorgaans concave) die de verwachte utilities combineert.

De AET-doelstelling wordt gedefinieerd als:
$$J_{AET}(\pi; F, G) = G(\mathbb{E}_{\tau \sim \pi}[F(R(\tau))])$$

Dit framework omvat Lineaire MORL, SER-MORL en ESR-MORL als speciale gevallen en maakt een rijkere klasse van doelstellingen mogelijk (AET-MORL) die zowel niet-lineaire $F$ als concave $G$ combineert.

AETDICE Algoritme

Om AET-doelstellingen offline te optimaliseren, stellen de auteurs AETDICE voor (Offline AET Distribution Interpretation Correction Estimation). De methode behandelt de twee bronnen van niet-lineariteit afzonderlijk:

1. Omgaan met de niet-lineaire Transformatie $F$ (Augmented MOMDP):
Om de traject-niveau niet-lineariteit van $F$ aan te pakken, construeren de auteurs een geaugmenteerde finite-horizon MOMDP $\tilde{M} = (\tilde{S}, A, \tilde{P}, H, \tilde{p}_0, \tilde{r})$.

• State Augmentation: De staat wordt uitgebreid met de geaccumuleerde return-vector: $\tilde{s}_t = (s_t, R^{acc}_t, t)$. Dit herstelt de Markovianiteit voor ESR-doelstellingen.
• Getransformeerde Beloning: Een nieuwe beloningsfunctie wordt gedefinieerd om de incrementele bijdrage van elke actie aan de traject-utility $F$ te vangen:
  $$\tilde{r}(\tilde{s}_t, a_t) = F(R^{acc}_t + r(s_t, a_t)) - F(R^{acc}_t)$$
  Dit creëert een telescopische som waarbij $\sum \tilde{r} = F(R(\tau))$. Deze transformatie reduceert ESR-MORL tot standaard single-objective RL in de geaugmenteerde ruimte en AET-MORL tot SER-MORL in de geaugmenteerde ruimte.

2. Omgaan met de niet-lineaire Aggregatie $G$ (Convex Optimization via DICE):
Met $F$ geabsorbeerd in de beloning, wordt het probleem het maximaliseren van een concave functie $G$ over de verwachte utilities in de geaugmenteerde ruimte. De auteurs breiden het Distribution Correction Estimation (DICE) framework uit:

• Visitation Distribution: De doelstelling wordt geherformuleerd als een convexe optimalisatie over de visitation distributie $d_t(\tilde{s}, a)$ in de geaugmenteerde ruimte.
• Slack Variable: Een slack-variabele $k$ wordt geïntroduceerd om de verwachting te ontkoppelen van de concave aggregatie $G, waardoor een onbevooroordeelde sample-gebaseerde schatting mogelijk is.
• Regularisatie: Een $\phi$-divergentie straf wordt toegevoegd om de distributieverschuiving tussen het geleerde beleid en de offline dataset te corrigeren.
• Dual Formulation: Het primal probleem wordt omgezet naar een dual probleem dat oplosbaar is via stochastic gradient descent op neurale netwerken die de Lagrangiaanse multipliers ($\nu$) en de slack-variabele ($\mu$) representeren. Het optimale beleid wordt geëxtraheerd via gewogen behavior cloning met behulp van de geleerde visitation ratios.

3. Belangrijkste Bijdragen

1. Verenigd Framework (AET): Het artikel introduceert AET, een principieel framework dat SER en ESR verenigt en een nieuwe klasse van doelstellingen (AET-MORL) definieert die zowel traject-niveau als verwachting-niveau niet-lineariteiten combineert.
2. Eerste Offline ESR Optimalisatie: Door een getransformeerde beloning in een geaugmenteerde staatruimte te definiëren, bieden de auteurs de eerste methode om ESR-doelstellingen te optimaliseren vanuit statische datasets, waardoor het probleem wordt gereduceerd tot standaard offline RL.
3. AETDICE Algoritme: De auteurs stellen AETDICE voor, een sample-gebaseerd offline algoritme dat zowel niet-lineaire $F$ (via augmentatie) als niet-lineaire $G$ (via DICE-stijl distributiecorrectie) afhandelt.
4. Empirische Validatie: Het framework wordt gevalideerd over diverse doelstellingen, waaronder Fair MORL (interpolerend tussen ESR en SER via $\alpha$-fairness), convexe utilities, en niet-convexe Cobb-Douglas utilities met veiligheidsrestricties.

4. Experimentele Resultaten

Experimenten werden uitgevoerd in Fair-Taxi, MO-PointMaze, en D4MORL (MO-Ant, MO-Walker2d, MO-HalfCheetah) omgevingen.

• Fair MORL (Fair-Taxi & PointMaze): AETDICE optimaliseerde succesvol ESR, SER, en Balanced Scalarized Return (BSR) doelstellingen.
  • Gedragsverschillen: ESR-optimale beleidsregels produceerden gebalanceerde returns binnen elk traject (niet-Markoviaans gedrag afhankelijk van de geschiedenis). SER-optimale beleidsregels produceerden stochastische mengsels van gespecialiseerde trajecten (Markoviaans, balancerend enkel in verwachting). BSR-beleidsregels interpoleerden vloeiend tussen deze gedragingen.
  • Prestaties: AETDICE behaalde hoge scores op hun respectieve doelstellingen en presteerde beter dan baselines zoals FairDICE (beperkt tot SER) en ESR-IQL (beperkt tot ESR).
• Algemene AET Doelstellingen (D4MORL):
  • Convex $F$: De methode optimaliseerde succesvol doelstellingen die hoogpresterende dimensies (convexe $F$) prioriteerden terwijl balans werd behouden via concave $G$, wat resulteerde in stochastische mengsels van gespecialiseerde gedragingen.
  • Niet-Convex $F$ (Cobb-Douglas): AETDICE optimaliseerde efficiëntie-trade-offs (bijv. snelheid vs. energie). Cruciaal was dat door een veiligheids-utility toe te voegen via concave aggregatie, de methode agent-instorting (een faalmodus van pure efficiëntie-optimalisatie) voorkwam terwijl een hoge efficiëntie behouden bleef.
• Ablatie: De studie naar de regularisatiecoëfficiënt $\beta$ toonde aan dat kleinere waarden nodig zijn voor niet-lineaire MORL om de noodzakelijke distributieverschuiving toe te staan, maar de methode blijft stabiel en effectief.

5. Betekenis en Claims

Het artikel claimt dat AETDICE langlopende barrières in offline MORL oplost door voorheen gefragmenteerde optimalisatiestrategieën te verenigen.

• Unificatie: Het overbrugt de kloof tussen SER en ESR, en biedt een enkel framework voor algemene niet-lineaire MORL.
• Nieuwigheid: Het is de eerste methode die offline ESR-optimalisatie en de bredere klasse van AET-doelstellingen aanpakt.
• Gedragsinzicht: Het framework onthult onderscheidende beleidsgedragingen (niet-Markoviaanse strategieën, stochastische mengsels) die voortkomen uit de interactie tussen traject-niveau en verwachting-niveau niet-lineariteiten, gedragingen die bestaande methoden niet kunnen vatten of adresseren.
• Praktische Bruikbaarheid: Door offline optimalisatie van complexe fairness en efficiëntie doelstellingen mogelijk te maken, ondersteunt de methode complexe besluitvorming in de echte wereld waar beleidsregels tegenstrijdige criteria moeten balanceren, zowel binnen als over episodes heen.

De auteurs merken beperkingen op met betrekking tot de schaalbaarheid van de geaugmenteerde staatruimte naarmate het aantal doelstellingen toeneemt, en de strikte eisen aan de data-coverage die inherent zijn aan offline MORL met distributieverschuiving. Ze stellen echter dat AETDICE het veld aanzienlijk vooruithelpt door een bredere klasse van niet-lineaire doelstellingen tractabel te maken in de offline setting.