Technische Samenvatting: Het Ontdekken van Versterkingsleer-interfaces met Grootte Taalmodellen

Probleemformulering

Versterkingsleer (RL) systemen zijn afhankelijk van omgeving-interfaces—specifiek observatiemappingen ($\phi$) en beloningsfuncties ($R$)—om het Markov-besluitproces (MDP) te definiëren dat een agent ervaart. Hoewel recente vooruitgang gebruik heeft gemaakt van Grootte Taalmodellen (LLM's) om beloningsontwerp te automatiseren, gaan deze benaderingen doorgaans uit van een vaste, vooraf afgestelde observatieruimte. In veel scenario's bevatten ruwe simulatorstaten slecht gestructureerde informatie die leren belemmert, en blijft handmatige engineering van zowel observaties als beloningen een aanzienlijke knelpunt.

Dit artikel behandelt het probleem van RL-interface-ontdekking vanuit ruwe simulatorstatus. Het doel is om gezamenlijk een observatiemapping $\phi: S \to O$ en een beloningsfunctie $R: S \times A \times S \to \mathbb{R}$ te synthetiseren om een succesmetriek op trajectniveau $F$ te maximaliseren. De auteurs formaliseren dit als een tweeledig optimalisatieprobleem waarbij de buitenste lus zoekt naar de optimale interface $(\phi, R)$, en de binnenste lus een RL-agent $\pi$ traint op de geïnduceerde MDP $M_I = (O, A, T_\phi, R)$ om prestaties te evalueren. De zoekruimte bestaat uit uitvoerbare programma's die direct opereren op simulatorstatusvariabelen.

Methodologie: LIMEN

De auteurs stellen LIMEN (Learning Interfaces via MDP-guided EvolutioN) voor, een door LLM's geleid evolutionair raamwerk ontworpen om effectieve interfaces te ontdekken.

Kerncomponenten

1. Uitvoerbare Programmarepresentatie: Zowel de observatiemapping als de beloningsfunctie worden weergegeven als Python-programma's met JAX-compatibele numerieke bewerkingen. Dit maakt het mogelijk dat de zoektocht de dimensionaliteit, structuur en semantiek van de invoerruimte van de agent en het beloningssignaal verandert, in plaats van alleen embeddings binnen een vaste ruimte te leren.
2. Door LLM's Geleide Evolutie: Het raamwerk behandelt de LLM als een gestructureerde mutatieoperator. Beginnend bij een taakbeschrijving genereert het systeem kandidaat-interfaces. In daaropvolgende iteraties ontvangt de LLM een prompt met de taakbeschrijving, een ouderinterface geselecteerd uit een archief, en feedback van top-presterende en gefaalde kandidaten (inclusief foutsporen). Deze feedbacklus stuurt de LLM weg van negatieve codepatronen.
3. Kwaliteit-Verscheidenheid Zoeken (MAP-Elites): Om te voorkomen dat de zoektocht instort in een enkele strategie, maakt LIMEN gebruik van een MAP-Elites-archief. Het archief is gestructureerd door twee gedragsbeschrijvers:
   • Observatie-dimensionaliteit: Gebinnd in uniforme bereiken (bijv. 1–50, 51–100 kenmerken).
   • Structurele complexiteit van beloning: Gemeten door het aantal knooppunten in de Abstract Syntax Tree (AST).
     Dit zorgt voor het behoud van structureel diverse oplossingen (bijv. compacte observaties met eenvoudige beloningen versus complexe observaties met ingewikkelde vormgeving).
4. Evaluatiecascade: Om rekenkosten te beheersen, ondergaan kandidaten een "kort-budget" cascadefilter. Interfaces moeten een minimale succesdrempel overschrijden in een afgekorte trainingsrun voordat ze doorgaan naar volledige evaluatie met meerdere zaden. Fitheid wordt gedefinieerd als het gemiddelde successpercentage over evaluatiezaden.

Experimentele Opstelling

De auteurs evalueerden LIMEN over vijf nieuwe taken die variëren van discrete redenering tot continue besturing:

• XLand-MiniGrid (Discreet): Drie taken met toenemende compositiecomplexiteit (Gemakkelijk: object oppakken; Gemiddeld: relationele plaatsing; Moeilijk: meerstaps regelketens). Standaardobservaties zijn afgevlakte egocentrische roosters.
• MuJoCo Robotics (Continue): Twee taken (Go1 Push Recovery: kwadrupedbalans onder kracht; Panda Tracking: manipulator-trajectvolging). Deze taken hebben schaarse beloningen en hoog-dimensionale besturing.

De experimenten vergeleken Gezamenlijke Ontdekking (LIMEN) met drie baselines:

• Schaars: Ruwe observaties met binaire succesbeloningen.
• Obs-Only: Het evolueren van observaties met een vaste beloning.
• Reward-Only: Het evolueren van beloningen met vaste ruwe observaties (het instanteren van methoden zoals Eureka).

Belangrijkste Resultaten

1. Superioriteit van Gezamenlijke Optimalisatie: LIMEN presteerde consequent beter dan alle baselines. Het behaalde hoge successpercentages over alle taken (99% op Gemakkelijk/Gemiddeld, 85% op Moeilijk, 45% op Panda, 48% op Go1).
2. Catastrofaal Falen van Enkel-component Optimalisatie:
   • Reward-Only faalde op compositieve gridworld-taken (19% op Gemiddeld, 1% op Moeilijk), wat aangeeft dat zelfs goed gestructureerde beloningen geen compensatie kunnen bieden voor ongestructureerde observaties in deze domeinen.
   • Observation-Only faalde volledig op de Panda-trackingtaak (0% succes), wat aantoont dat ruwe observaties onvoldoende zijn wanneer het beloningssignaal te schaars is om leren te sturen.
   • Dit bevestigt dat verschillende domeinen fundamenteel om verschillende redenen falen, wat co-ontwerp noodzakelijk maakt.
3. Noodzaak van Evolutionaire Feedback: Een onafhankelijke LLM-samplingbaseline (30 willekeurige samples zonder evolutionaire selectie) presteerde aanzienlijk slechter dan LIMEN (bijv. 2,1% versus 97% op Gemiddeld). Dit geeft aan dat de prior van de LLM over interface-ontwerpen op zichzelf onvoldoende is; de iteratieve evaluatie-en-verfijning-lus is essentieel voor het navigeren door de combinatorische ruimte.
4. Robuustheid: Geëvolueerde interfaces behielden taakrelevante structuur onder distributieveranderingen (bijv. verhoogde duwkrachten of volgsnelheden), degradeerden op een soepele manier in plaats van in te storten, wat wijst op de ontdekking van generaliseerbare structurele patronen.

Analyse van Ontdekte Interfaces

De analyse van geëvolueerde programma's onthulde consistente, interpreteerbare patronen die lijken op handmatige RL-engineeringstrategieën:

• Observaties: Frequente constructie van relatieve geometrische kenmerken (genormaliseerde afstanden, directionele indicatoren), multi-schaal coderingen en expliciete taakfase-indicatoren.
• Beloningen: Integratie van potentieelgebaseerde vormgeving, mijlpaalbonussen voor faseovergangen en gladheidsstraffen.
• Structurele Ontdekking: In de Go1-taak ontdekte de evolutie een structurele verandering in de beloningsfunctie (het verwijderen van een "rechtopstaande poort" op positiebeloningen) die het leerproces aanzienlijk verbeterde, wat het vermogen van het systeem aantoont om de structuur van de beloning te wijzigen, niet alleen de parameters.

Betekenis en Claims

Het artikel beweert dat automatische constructie van RL-interfaces vanuit ruwe status het handmatige engineeringwerk aanzienlijk kan verminderen. De primaire bijdrage is de demonstratie dat observatie- en beloningscomponenten vaak baat hebben bij co-ontwerp, aangezien het optimaliseren ervan in isolatie leidt tot catastrofaal falen in ten minste één domein binnen de evaluatiesuite.

De auteurs positioneren LIMEN als een stap richting het automatiseren van de "inductieve bias" van RL-problemen. Door te zoeken over uitvoerbare programma's die de geïnduceerde MDP zelf definiëren, produceert de methode interpreteerbare en overdraagbare code-artefacten in plaats van geleerde neurale embeddings. Het werk benadrukt dat, hoewel huidige methoden zich richten op beloningsontwerp, de observatie-interface evenzo kritiek is en vaak de beperkende factor is in complexe, compositieve taken.

Beperkingen: De auteurs erkennen dat de benadering afhankelijk is van toegang tot gestructureerde simulatorstatusvariabelen (bevoorrechte informatie) en een betrouwbare succesmetriek op trajectniveau. Bovendien blijft de rekenkosten een knelpunt, schaalend met RL-trainingseisen, hoewel JAX-gebaseerde parallelisatie dit voor de huidige experimenten mitigeert. Toekomstig werk wordt voorgesteld voor grootschaligere omgevingen en op visie gebaseerde observaties.