Technische Samenvatting: ConTraIRL – Gefactoriseerde Contrastieve Abstracties voor Transferable IRL

1. Probleemstelling

Inverse Reinforcement Learning (IRL) beoogt de beloningsfunctie te achterhalen die ten grondslag ligt aan expertgedrag, wat agenten in staat stelt om complexe vaardigheden te leren zonder handmatige beloningsontwerp. Een cruciale uitdaging in dit domein is compositionele generalisatie: het vermogen om een geleerde beloning te transfereren naar doelomgevingen waar de context een ongeziene combinatie is van eerder geobserveerde omgevingsdynamica ($d$) en taaldoelen ($g$).

Standaard IRL-methoden modelleren de beloning doorgaans als een monolithische functie van de toestand. Deze aanpak verstrengelt dynamica-afhankelijke en doel-afhankelijke kenmerken. Bijgevolg is de geleerde beloning bij het aanroepen in een doelomgeving waar de context een out-of-distribution context is, onbetrouwbaar. Dit leidt tot onbetrouwbare generalisatie en slechte beloningsreconstructie.

Dit artikel behandelt dit door een setting te bestuderen waarbij:

• De trainingsdata bestaat uit meerdere omgevingen waar elke factor ($d$ en $g$) in verschillende contexten voorkomt.
• Een subset van factor-combinaties wordt vastgehouden als doelcontexten.
• In doelcontexten slechts een vaste subset van toestanden van een enkele expert-traject beschikbaar is (few-shot supervisie), in plaats van volledige demonstraties.

2. Methodologie: ConTraIRL

De auteurs stellen ConTraIRL (Contrastive Abstractions for Transferable IRL) voor, een framework dat ontworpen is om compositionele belonings-transfer mogelijk te maken door gedecoupleerde latente representaties van dynamica en doelen te leren.

2.1 Gefactoriseerde Contrastieve Abstracties

De kern van het framework is een dual-encoder architectuur die observaties in kaart brengt naar twee afzonderlijke latente manifolds:

1. Dynamica-ruimte ($Z_d$): Een latente representatie die invariant is voor het doel $g$.
2. Doel-ruimte ($Z_g$): Een latente representatie die invariant is voor de dynamica $d$.

Deze factorisatie zorgt ervoor dat de gereconstrueerde beloning geen spurieuze correlaties codeert die worden geïnduceerd door de gezamenlijke trainingsdistributie. Om dit te bereiken, leggen de auteurs Factor Orthogonaliteit op:

• $z_d = \Phi_d(s, d)$ moet invariant zijn voor $g$.
• $z_g = \Phi_g(s, g)$ moet invariant zijn voor $d$.

2.2 Temporele Fase-uitlijning

De auteurs betogen dat factorisatie alleen onvoldoende is voor sequentiële controle-taken, aangezien toestanden langs een traject verschillende stadia van uitvoering vertegenwoordigen. ConTraIRL introduceert Temporele Fase-uitlijning, waarbij vereist wordt dat toestanden die overeenkomen met een vergelijkbare relatieve voortgang binnen een gedrag, nabijere latente coördinaten mappen over trajecten heen.

• Toestanden met dezelfde dynamica en een vergelijkbare fase blijven dicht bij elkaar in $Z_d$, ongeacht het doel.
• Toestanden met hetzelfde doel en een vergelijkbare fase blijven dicht bij elkaar in $Z_g$, ongeacht de dynamica.
• Fase $\psi(s)$ wordt gedefinieerd als de genormaliseerde tijdstap $t/T$.

2.3 Beloningsreconstructie via Latente Gelijkenis

De gereconstrueerde beloningsfunctie $R(s, d, g)$ wordt gedefinieerd als de gemiddelde gelijkenis tussen de latente representatie van de huidige toestand en fase-geconditioneerde expert-abstracties:
$$R(s, d, g) = \frac{1}{2} \left( \text{sim}(\Phi_d(s, d), \bar{z}_d(\psi(s))) + \text{sim}(\Phi_g(s, g), \bar{z}_g(\psi(s))) \right)$$
Hierbij zijn $\bar{z}_d(\cdot)$ en $\bar{z}_g(\cdot)$ de centroids van expert-toestanden gegroepeerd op basis van hun relatieve temporele fase. Deze formulering zet een out-of-distribution combinatie om in een in-distribution recombinatie van factoren.

2.4 Trainingsdoelstellingen

Het framework maakt gebruik van een duale contrastieve doelstelling:

1. Expert Structuur Leren ($L_E$): Een marge-gebaseerde contrastieve loss toegepast op expert-paren om de latente manifolds te structureren. Paren die dezelfde factor en een vergelijkbare fase delen, worden behandeld als positieven; anderen als negatieven. Dit vormt de expert-manifolds onafhankelijk van de leerling.
2. Expert-Learner Contrastieve Kalibratie ($L_L$): Een noise-contrastive doelstelling die de beloning kalibreert door onderscheid te maken tussen expert-toestanden ($x_E$) en leerling-toestanden ($x_L$). Dit minimaliseert effectief de Jensen–Shannon divergentie tussen de expert en de leerling van de toestandsoppervlaktes.

De totale doelstelling is $L_{total} = L_E - L_L$.

2.5 Implementatiedetails

• Context-Gemoduleerde Encoder: In plaats van eenvoudige concatenatie gebruikt het framework een hypernetwerk-geïnspireerde inputlaag waarbij de contextdescriptor ($d$ of $g$) specifieke gewichtsmatrices en biasvectoren genereert om de toestand te transformeren. Dit beïnvloedt de feature-extractie dynamisch, wat helpt bij het isoleren van de factor-relevante structuur in een vroeg stadium van het netwerk.
• Expert Abstractie Buffer: Een buffer houdt fase-geconditioneerde expert-centroids bij, die na elke encoder-update worden ververst om consistentie met de evoluerende latente manifold te garanderen.

3. Belangrijkste Bijdragen

• Gefactoriseerde Representatie: Het voorstel van een dual-encoder architectuur die expliciet dynamica en doelen scheidt in orthogonale latente ruimten, waardoor de verstrengeling van kenmerken die monolithische IRL-modellen teistert, wordt voorkomen.
• Temporele Fase-uitlijning: De integratie van relatieve temporele fase in de latente uitlijningscriteria, wat zorgt voor een dichte sturing bij de beloningsreconstructie in sequentiële taken in plaats van te vertrouwen op ijle state-matching.
• Compositionele Transfer met Few-Shot Supervisie: Een framework dat in staat is om beloningen te reconstrueren voor ongeziene dynamica-doel combinaties met slechts een gedeeltelijke subset van expert-toestanden uit de doelomgeving.
• Expert Structuur Leren: Een expliciete doelstelling om expert-manifolds te vormen onafhankelijk van de leerling-distributie, wat een stationaire referentie biedt voor beloningsreconstructie.

4. Experimentele Resultaten

De auteurs evalueerden ConTraIRL op vier MuJoCo continue controle benchmarks (Ant, HalfCheetah, Walker, Swimmer) met compositionele variaties in dynamica en doelen.

• Prestaties op Ongeziene Combinaties: ConTraIRL presteerde consequent beter dan de baselines (TraIRL, C-AIRL, en SFM) in doelcontexten. Bijvoorbeeld, op de Ant-omgeving behaalde ConTraIRL een genormaliseerd rendement van 0.93 ± 0.02, vergeleken met 0.88 voor SFM en 0.57 voor TraIRL.
• Robuustheid tegen Datascarcity: In ablatie-studies waarbij het aantal doel-expert-toestanden werd verminderd (van 20% naar 5%), leden baseline-methoden onder catastrofale prestatieverliezen (bijv. daalde TraIRL naar 0.05), terwijl ConTraIRL een aanzienlijk hogere prestatie behield (0.27 bij 5% toestanden), wat effectieve few-shot transfer aantoont.
• Ablatie-analyse:
  • Het verwijderen van factorisatie ("w/o F") veroorzaakte een ernstige daling in prestaties, wat de noodzaak van gedissocieerde representaties bevestigt.
  • Het verwijderen van temporele fase-uitlijning ("w/o TA") verminderde de prestaties, wat aangeeft dat fase-uitlijning essentiële dichte sturing biedt bovenop eenvoudige factorisatie.
• Robuustheid tegen Labelruis: ConTraIRL toonde een grotere robuustheid tegen ruis in factor-labels vergeleken met baselines, toegeschreven aan de afhankelijkheid van relatieve gelijkenis-constraints in plaats van directe gesuperviseerde voorspelling.
• Latente Ruimte Visualisatie: UMAP-visualisaties bevestigden dat de geleerde abstracties de samples succesvol scheidden op basis van hun respectievelijke factor (dynamica of doel), terwijl ze invariant bleven voor de andere factor, en dat de temporele fase behouden bleef als een vloeiende gradiënt binnen de clusters.

of 5. Betekenis en Claims

Het artikel claimt dat ConTraIRL een fundamentele beperking in transfer IRL aanpakt: het onvermogen om te generaliseren naar ongeziene combinaties van bekende omgevingsfactoren. Door de context te factoriseren in orthogonale dynamica- en doelcomponenten en deze temporeel uit te lijnen, maakt het framework compositionele generalisatie mogelijk.

De auteurs benadrukken dat hun aanpak betrouwbare beloningsreconstructie mogelijk maakt in doelomgevingen waar de specifieke dynamica-doel combinatie tijdens de training afwezig was, mits de individuele factoren werden geobserveerd. De geleerde beloning is aangetoond de werkelijke taakprestaties nauwgezet te volgen, wat dient als een betrouwbare proxy voor beleidsoptimalisatie, zelfs wanneer de grondwaarheid van de beloning niet beschikbaar is.

Het werk is bescheiden afgebakend tot compositionele transfer over bekende contextuele factoren met beperkte doelsupervisie. De auteurs merken expliciet op dat de huidige formulering uitgaat van toegang tot factor-labels en vergelijkbare temporele fasen, en zij identificeren het uitbreiden van de aanpak naar settings met latente factoren, variabel lengte gedrag, en volledig zero-shot transfer als belangrijke richtingen voor toekomstig werk.