Technische Samenvatting: De Delen Verdelen, de Rest Pooled

Probleemstelling

Dit werk behandelt Multi-Objective Imitation Learning (MOIL) binnen het kader van Multi-Objective Markov Decision Processes (MOMDPs). De kernuitdaging is het herwinnen van beleidsplannen die op de Pareto-front liggen, gegeven demonstraties van meerdere experts, waarbij elke expert een distincte nuttigheidsfunctie optimaliseert over een gedeelde vectorwaardige beloning.

De auteurs identificeren twee kritieke faalmodi in bestaande benaderingen:

1. Faal I (Staleninefficiëntie): Het behandelen van elke expertdataset onafhankelijk (bijvoorbeeld door aparte Behavioral Cloning-modellen te trainen voor elke expert) negeert de structurele overlap tussen experts. Aangezien Pareto-optimale beleidsplannen vaak aanzienlijke overeenkomsten in staat-actieparen delen, vereist onafhankelijk leren dat elke datasetgrootte lineair schaalt met de kardinaliteit van de ruimtestaat ($N_\ell = \Omega(|X|)$), wat leidt tot ernstige staleninefficiëntie.
2. Faal II (Pareto-schending): Het naïef samenvoegen van alle experttrajecten in één dataset en het trainen van een gezamenlijk model (Single-Output Behavioral Cloning) kan resulteren in gedomineerde beleidsplannen. Theoretische analyse (Stelling 2.2) bewijst dat het gemiddelde beleidsplan van twee Pareto-optimale experts niet noodzakelijk Pareto-optimaal is. In niet-lineaire omgevingen zorgt deze aggregatie ervoor dat het geleerde beleidsplan "doorhangt" naar het inwendige van het return-polytoop, waardoor het zelfs met oneindige data geen coherent nuttigheidsfunctie optimaliseert.

Methodologie: Multi-Output Augmented Behavioral Cloning (MA-BC)

Om deze faalmodi op te lossen, stellen de auteurs Multi-Output Augmented Behavioral Cloning (MA-BC) voor. Het algoritme is gebaseerd op een nieuwe structurele eigenschap van MOMDPs: de Pareto Path Existence (Stelling 2.1). Deze stelling stelt dat elk twee naburige Pareto-front-beleidsplannen die verschillen in $k$ staten, verbonden kunnen worden door een reeks van $k$ tussenliggende Pareto-optimale beleidsplannen, waarbij elke stap precies één staat-actiepaar verschilt.

Algoritmische Stappen:

1. Partitionering: Het algoritme identificeert divergente staten ($D_{div}$) waar experts conflicterende acties vertonen. Omgekeerd definieert het een set van gemeenschappelijke staten ($D_{common}$) waar alle experts het eens zijn over de actie.
2. Data Cureren: Voor elke doelexpert $\ell$ construeert het algoritme een gecurated dataset $D_\ell \cup D_{common}$. Dit stelt de leerder in staat om:
   • De specifieke expertdata ($D_\ell$) te gebruiken voor divergente staten.
   • Data van alle experts te poolen voor gemeenschappelijke staten, waardoor stalen effectief worden hergebruikt waar geen conflict bestaat.
3. Training: $L$ aparte beleidsplannen worden getraind via Behavioral Cloning op deze gecurated datasets.

Extensie naar Continue Ruimten:
Voor continue staat-actieruimten wordt MA-BC uitgebreid door de dataset van elke expert aan te vullen met compatibele staat-actieparen van andere experts. Compatibiliteit wordt gedefinieerd door een ruimtelijke tolerantie $\delta$ en de Lipschitz-constante van het beleidsplan van de expert, waardoor een bias-variatie trade-off wordt gecreëerd die wordt gecontroleerd door $\delta$.

Belangrijkste Bijdragen

1. Structurele Karakterisering (Pareto Path): Het artikel introduceert een nieuwe geometrische karakterisering van MOMDPs (Stelling 2.1), waarin wordt bewezen dat Pareto-optimale beleidsplannen structureel vergelijkbaar zijn en verbonden zijn via veranderingen in één staat, zelfs wanneer meerdere beleidsplannen naar hetzelfde return-vector leiden (aliasing).
2. Algoritmische Oplossing (MA-BC): De auteurs stellen MA-BC voor, dat systematisch divergente data partitioneert terwijl het niet-conflicterende data poolt.
3. Theoretische Garanties:
   • Convergentie: Stelling 3.1 bewijst dat MA-BC convergeert naar $\epsilon$-Pareto-optimale beleidsplannen. Cruciaal is dat de steekproefcomplexiteit voor de gezamenlijke dataset schaalt met het totale aantal staten $|X|$, terwijl de grootte van de individuele expertdatasets alleen hoeft te schalen met het aantal divergente staten $K$ (waarbij $K \ll |X|$). Dit verbetert de $\Omega(|X|)$-vereiste van onafhankelijke leerders.
   • Minimax-Optimaliteit: Een nieuwe ondergrens (Stelling 3.2) wordt vastgesteld voor offline MOIL, waaruit blijkt dat MA-BC minimax optimaal is. De grens benadrukt dat de prestatiewinst afhangt van de concentrability coefficient ($C_{\pi_{data}}$), die de overlap in staatbezettingsgraad tussen experts meet.
4. Omgaan met Ongesplitste Data: Het kader wordt uitgebreid naar scenario's waar expertidentiteiten latent zijn (ongesplitste data), waarbij een Consistency Graph wordt gebruikt om divergente staat-actieparen te clusteren (Bijlage D).

Experimentele Resultaten

De auteurs valideren MA-BC over vier domeinen:

• Discrete Benchmarks: Deep Sea Treasure, Resource Gathering en Slippery Y-Maze.
  • Resultaten: Naïeve BC convergeert consequent niet naar de Pareto-front (validatie van Faal II). Geïsoleerde BC convergeert maar vertoont een slechte steekproefefficiëntie (validatie van Faal I). MA-BC convergeert aanzienlijk sneller naar de Pareto-front, door gebruik te maken van gedeelde structurele kennis.
• Concentrability-analyse: Experimenten tonen aan dat naarmate de overlap tussen experttrajecten toeneemt (wat de concentrability coefficient verlaagt), de prestatiekloof tussen MA-BC en geïsoleerde leerders groter wordt, in overeenstemming met theoretische voorspellingen.
• Continue Regeling: Een 6-DOF quadcopter LQR-taak.
  • Resultaten: De studie demonstreert een "bias-data trade-off". In regimes met weinig data verbetert een grotere poolingdrempel $\delta$ de prestaties door agressief data te delen. In regimes met veel data is een kleinere $\delta$ optimaal om bias te minimaliseren. Het algoritme slaagt erin het beleidsplan van de Economische expert te herstellen met superieure steekproefefficiëntie ten opzichte van baselines.

Betekenis en Claims

Het artikel claimt het eerste te zijn dat een proefbaar efficiënt kader biedt voor offline imitatielearning in MOMDPs. De primaire betekenis ligt in het overbruggen van de kloof tussen de theoretische noodzaak van Pareto-optimaliteit en de praktische beperkingen van data-efficiëntie.

De auteurs betogen dat standaard aggregatiestrategieën fundamenteel gebrekkig zijn in multi-objectieve situaties omdat ze de geometrische structuur van de Pareto-front vernietigen. Door gebruik te maken van de eigenschap Pareto Path, bereikt MA-BC een "het beste van twee werelden"-uitkomst: het behoudt de theoretische garanties van imitatie met één expert (het vermijden van gedomineerde beleidsplannen) terwijl het de steekproefefficiëntie van gepoolde learning bereikt (het benutten van gedeelde staat-actie-overlappingen). Het werk stelt vast dat data van meerdere experts inderdaad efficiënt kan worden gebruikt om Pareto-optimale beleidsplannen te leren, mits de data wordt gepartitioneerd op basis van gedragsconflicten in plaats van blind te worden geaggregeerd of volledig onafhankelijk te worden behandeld.