Technische Samenvatting: Begrip van Doelgeneralisatie in Sequentiële Versterkende Leer

Probleemstelling

Agenten voor versterkende leer (RL) vertonen vaak onbedoelde doelgerichte gedragingen wanneer ze worden ingezet in omgevingen buiten de verdeling (OOD). Hoewel onvoorspelbaar OOD-gedrag een bekend probleem is in machine learning, vertonen RL-agenten frequent een specifiek faalpatroon dat bekendstaat als doelmisgeneralisatie: agenten presteren bekwaam maar streven naar doelen die hoge beloningen opleveren in trainingsomgevingen, maar niet overeenkomen met de beoogde doelen in nieuwe omgevingen.

Dit probleem is bijzonder kritiek voor moderne frontier-AI-systemen, die doorgaans worden getraind via complexe, meerstapspijplijnen (bijvoorbeeld pre-training, supervised fine-tuning en RL vanuit menselijke feedback). De huidige literatuur mist een principieel begrip van hoe deze sequentiële trainingsgeschiedenissen de waarden van een agent en het daaropvolgende OOD-gedrag vormen. De kernvraag die wordt behandeld is: Gegeven de trainingspijplijn van een agent en zijn gedrag binnen de verdeling, kunnen we dan zijn gedrag voorspellen op OOD-steekproeven?

Methodologie

Experimentele Opstelling

De auteurs onderzoeken dit probleem in een gecontroleerde, procedurale gegenereerde mazen-omgeving.

• Taak: Agenten (CNN-gebaseerde PPO) navigeren door 8x8-mazen om doelobjecten te bereiken die worden gedefinieerd door kleur en vorm.
• Trainingspijplijnen: Het onderzoek maakt gebruik van meer dan 100 verschillende trainingspijplijnen, variërend van eenstaps-training tot tweestaps-sequentiële training. In tweestaps-pijplijnen worden agenten eerst getraind op een eerste doelobject en vervolgens gefinetuned op een tweede.
• Evaluatie: Agenten worden geëvalueerd in OOD-omgevingen die paren van objecten bevatten (inclusief nieuwe kleuren en vormen die niet tijdens de training zijn gezien). De primaire metriek is de empirische voorkeursfunctie ($\hat{\Pi}_\Omega$), gedefinieerd als de frequentie waarmee een agent één object boven een ander (of geen van beide) kiest, over 276 evaluatie-omgevingen.
• Schaal: De analyse bestrijkt meer dan 298 agenten en 250+ OOD-omgevingen.

De Methode van Latente Policy Gradients (LPG)

Om de waargenomen gedragingen te verklaren en te voorspellen, introduceren de auteurs Latente Policy Gradients, een methode die de evolutie van laagdimensionale latente variabelen ($w$) tijdens de training modelleert.

1. Latente Representatie: De voorkeuren van de agent worden omhuld door een laagdimensionale vector $w$ (dimensie 10, overeenkomend met het aantal objectkenmerken), in plaats van de volledige netwerkparameters (4,8 miljoen).
2. Parametrisatie van Voorkeuren: Voorkeuren worden gemodelleerd met een Boltzmann-rationale aanname, waarbij de kans op het kiezen van een doel een logistische functie is van zijn waarde. De waarde is lineair in zowel de kenmerken van het doel ($\phi(g)$) als de latente variabelen: $V(g) = \phi(g) \cdot Sw$.
3. Simulatie van Training: De methode simuleert de trainingspijplijn door gradiëntascentie uit te voeren op een gewijzigde beleidsdoelfunctie over de voorkeursfunctie. De doelfunctie bevat een entropieregulatieterm die wordt gecontroleerd door een hyperparameter $\tau$.
   • Voor een enkele fase met doel $\phi(g)$ is de doelfunctie $J(\Pi) = \Pi(\phi(g)|\phi(g), 0) + \tau h(\Pi(\phi(g)|\phi(g), 0))$.
   • Voor meerstaps-pijplijnen worden de latente variabelen sequentieel bijgewerkt, waarbij de uiteindelijke gewichten van één fase de volgende fase initialiseren.
4. Interpreteerbaarheid: De methode leert een saliëntiematrix ($S$) die kenmerkleer snelheden en kruis-kenmerkverwarring vastlegt (waarbij training op één kenmerk de waardering van een ander beïnvloedt).

Belangrijkste Resultaten

Empirische Verschijnselen

Analyse van de empirische data onthult drie distincte patronen in doelgeneralisatie:

1. Kenmerksaliëntie: Niet alle kenmerken drijven generalisatie even sterk. Vormkenmerken (met name het kruisvormige) zijn salienter dan kleurkenmerken (waarbij zwart het minst salient is).
2. Waardebehoud: Waarden die in de eerste fase van een meerstaps-pijplijn worden geleerd, blijven behouden, zelfs wanneer de tweede fase een nieuw doel introduceert. Vroege trainingsgeschiedenis beïnvloedt de uiteindelijke OOD-voorkeuren aanzienlijk.
3. Versterking en Inhibitie:
   • Versterking: Als een kenmerk wordt gedeeld tussen trainingsfasen, wordt zijn waarde versterkt ten opzichte van het geval dat het alleen in de tweede fase voorkwam.
   • Inhibitie: De aanwezigheid van een gedeeld kenmerk remt de vorming van waarden voor niet-gedeelde kenmerken in de tweede fase (een verschijnsel dat consistent is met gradiëntverhongering).
   • Orde-effecten: Wanneer doelen een kenmerk delen, verandert de volgorde van trainingsfasen de uiteindelijke agentwaarden aanzienlijk.

Modelprestaties

Het Latente Policy Gradients-model bereikt sterke voorspellende nauwkeurigheid:

• Voorspellende Fit: Het model minimaliseert de KL-divergentie tussen voorspelde en empirische voorkeursfuncties, en presteert beter dan baselines zoals "Geheugenloos" (geschiedenis negeren), "Simultaan" (volgorde negeren) en "Diagonaal S" (kenmerkverwarring negeren).
• Generalisatie: Een model dat uitsluitend is gefit op eenstaps-pijplijnen, voorspelt succesvol het gedrag van agenten die zijn getraind op tweestaps-pijplijnen. Evenzo generaliseert een model dat is getraind zonder afleidingsfactoren naar pijplijnen die deze bevatten.
• Coherentie: Empirische agentvoorkeuren blijken ongeveer coherent te zijn (Boltzmann-rationeel), met Elo-scores die 89,73% directionele nauwkeurigheid bereiken op vastgehouden paren.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. Empirische Analyse: Het biedt een grootschalige empirische analyse van doelgeneralisatie over meer dan 100 trainingspijplijnen, en demonstreert dat OOD-gedrag coherent en gestructureerd is door de trainingsgeschiedenis, met name door verschijnselen zoals waardebehoud en kenmerksaliëntie.
2. Probleemformulering: Het herformuleert het probleem van doelgeneralisatie als een voorspellingstaken: het direct afbeelden van trainingspijplijnen naar OOD-voorkeursfuncties.
3. Latente Policy Gradients: Het introduceert een nieuwe, interpreteerbare methode voor het oplossen van dit voorspellingsprobleem. De methode:
   • Bereikt hoge voorspellende nauwkeurigheid met een klein aantal parameters.
   • Biedt een mechanistische interpretatie waarbij meerstaps-training overeenkomt met geïtereerde projectie van latente gewichten op hypervlakken die worden gedefinieerd door de trainingsdoelen.
   • Definieert een kenmerkgelijkheidsmetriek (via $SS^T$) die verklaart hoe training op één doel de waardering van andere beïnvloedt.

Conclusie

De auteurs concluderen dat OOD-RL-agentgedrag weliswaar pad-afhankelijk is van de volledige trainingspijplijn, deze afhankelijkheid een onderliggende structuur bezit die kan worden vastgelegd. Het Latente Policy Gradients-framework biedt een principieel, interpreteerbaar hulpmiddel om te begrijpen hoe meerstaps-training agentwaarden vormt. Dit werk legt de basis voor een ontwikkelingsperspectief op doelgeneralisatie, en suggereert dat het begrijpen van de evolutie van latente variabelen tijdens training cruciaal is voor het voorspellen en waarborgen van de veiligheid van AI-systemen die worden ingezet in nieuwe omgevingen. De auteurs merken op dat hoewel het huidige framework een lineaire decompositie van waarden over kenmerken veronderstelt, de wiskundige structuur algemeen is en dient als fundament voor het uitbreiden van deze inzichten naar complexere systemen.