🤖 machine learning

A Loss Landscape Visualization Framework for Interpreting Reinforcement Learning: An ADHDP Case Study

Dit artikel introduceert een interpretabel raamwerk voor het visualiseren van het leerlandschap van versterkingslering, dat middels vier complementaire componenten de interacties tussen waarde-schatting, beleidsoptimalisatie en TD-signalen in ADHDP-algoritmes voor ruimteschepsbesturing in kaart brengt.

Oorspronkelijke auteurs: Jingyi Liu, Jian Guo, Eberhard Gill

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jingyi Liu, Jian Guo, Eberhard Gill

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer complexe, zelflerende robot wilt bouwen die een ruimtevaartuig moet stabiliseren. Deze robot leert door te proberen, te vallen en weer op te staan, net als een kind dat fietsen leert. Dit noemen we Versterkend Leren (Reinforcement Learning).

Het probleem is: deze robot is een "zwarte doos". We zien dat hij leert, maar we weten niet waarom hij soms faalt of waarom hij vastloopt. Het is alsof je een auto ziet crashen, maar je kunt niet onder de motorkap kijken om te zien welke bout los is.

Dit artikel introduceert een nieuw soort "röntgenfoto" voor deze robots. De auteurs hebben een framework ontwikkeld dat het leerproces van de robot in kaart brengt, zodat we precies kunnen zien wat er in zijn "hersenen" gebeurt.

Hier is de uitleg in simpele taal, met behulp van een paar creatieve vergelijkingen:

1. De Twee Hersendelen: De Opleider en de Leerling

De robot werkt met twee delen die samenwerken:

De Critic (De Opleider): Deze kijkt naar de acties van de robot en zegt: "Goed gedaan!" of "Dat was een slechte zet!". Hij probeert een voorspelling te maken over hoe goed de toekomst eruit zal zien.
De Actor (De Leerling): Deze is de robot zelf. Hij luistert naar de Opleider en past zijn bewegingen aan om de "Goed gedaan!"-scores te maximaliseren.

Het probleem is dat deze twee elkaar soms in de weg zitten. Als de Opleider onzeker is, raakt de Leerling in paniek en maakt hij foute bewegingen.

2. De Landkaart van het Leren (Loss Landscape)

De auteurs hebben een manier bedacht om het leerproces te visualiseren als een berglandschap.

Het dal: Dit is de perfecte plek waar de robot goed leert (de "loss" is laag).
De pieken: Dit zijn de fouten (de "loss" is hoog).

In plaats van alleen te kijken naar de score van de robot, kijken ze naar de vorm van dit landschap.

Vergelijking: Stel je voor dat je een bal in een landschap rolt. Als het landschap een diepe, ronde kom is, rolt de bal makkelijk naar beneden naar de perfecte oplossing. Maar als het landschap een smalle, steile kloof is met een platte bodem, kan de bal vastlopen of onvoorspelbaar springen.

3. Wat hebben ze ontdekt? (De 4 Variaties)

De auteurs hebben vier versies van de robot getest, waarbij ze verschillende "trainingstechnieken" toevoegden (zoals een target-netwerk of Huber-loss). Ze gebruikten hun landkaart om te zien wat er gebeurde:

Versie 1 (De Basis): De robot faalt. De landkaart toont een landschap met scherpe pieken en een heel plat dal. De robot raakt vast in een "vallei" waar hij niet meer weet welke kant op te gaan, en zijn bewegingen worden extreem (hij duwt tegen de remmen aan).
Versie 2 (Met een 'Stabiele Opleider'): Ze voegden een techniek toe om de Opleider rustiger te maken. De landkaart werd rustiger, maar de vorm veranderde niet echt. De robot bleef vastlopen in dezelfde vallei. Het was alsof je de leraar rustiger maakt, maar de klaslokaalstructuur (het landschap) blijft ongeschikt.
Versie 3 (Met extra stabilisatie): Ze voegden nog meer technieken toe om ruis te filteren. De landkaart werd gladder en de pieken verdwenen. De robot leek beter te leren, maar hij faalde nog steeds. Waarom? Omdat de "vallei" waarin hij liep, nog steeds scheef was. Hij werd gedwongen naar de rand van het landschap te lopen, waar hij vastliep tegen de muur (de limiet van zijn vermogen).
Versie 4 (Zonder 'gladde' techniek): Ze haalden één techniek weg. De landkaart werd weer scherper, wat bevestigde dat die techniek wel degelijk de vorm van het landschap beïnvloedde.

4. De Grote Leerles

De belangrijkste ontdekking van dit papier is verrassend: Een lage foutenwaarde betekent niet altijd dat de robot goed leert.

Je kunt een heel glad landschap hebben met lage pieken (een lage "TD-error"), maar als het landschap een scheve, smalle vallei is, zal de robot altijd naar de rand geduwd worden. Zodra hij tegen de rand (de limiet van zijn kracht) aan duwt, kan hij niet meer corrigeren en crasht het systeem.

Conclusie

Dit artikel zegt eigenlijk: "Kijk niet alleen naar de cijfers van de robot. Kijk naar de vorm van het landschap waarin hij leert."

De auteurs hebben een tool gemaakt die ons laat zien waarom een algoritme faalt. Het is alsof ze een bril hebben opgezet waarmee we de onzichtbare obstakels in het leerproces van een AI kunnen zien. Hierdoor kunnen ingenieurs in de toekomst betere robots bouwen die niet vastlopen in hun eigen leerprocessen, maar echt stabiel en veilig werken in de ruimte.

Probleemstelling

Versterkingslering (Reinforcement Learning - RL) wordt steeds vaker toegepast in dynamische en regelsystemen, zoals bij het besturen van ruimteschepen na het grijpen van ruimteafval (Active Debris Removal). Een groot probleem is echter dat het interne leerproces van RL-algoritmen een "black box" blijft. Hoewel RL succesvol kan zijn in simulaties, faalt het vaak bij overdracht naar nieuwe of licht gewijzigde systemen.

Traditionele meetwaarden, zoals de totale beloning (reward) of de Temporal-Difference (TD) fout, geven onvoldoende inzicht in waarom een algoritme faalt of instabiel wordt. Ze kunnen niet onthullen hoe de interactie tussen de actor (beleid) en de critic (waarde-schatting) de optimalisatie beïnvloedt, vooral niet in de aanwezigheid van onzekerheden zoals onbekende traagheidsparameters. Er is een behoefte aan een gestructureerd raamwerk om de trainingsdynamiek te interpreteren en de oorzaken van falen bloot te leggen.

Methodologie

De auteurs stellen een visueel raamwerk voor het visualiseren van het verlieslandschap (loss landscape) voor. Dit raamwerk transformeert de hoge-dimensionaliteit van neurale netwerkparameters naar interpreteerbare 2D- en 3D-visualisaties. Het raamwerk bestaat uit vier complementaire componenten:

3D Reconstructie van het Critic Match Loss Landschap:
- Toont hoe de TD-doelen (targets) de optimalisatiegeometrie vormgeven.
- Gebruikt Principal Component Analysis (PCA) om twee dominante richtingen ( $\delta$ en $\eta$ ) te selecteren uit de parametertrajecten.
- Visualiseert de oppervlakte van de critic-fitting over deze vlakken om te zien of het landschap vlak, scherp of anisotroop is.
Actor Loss Landschap (met bevroren critic):
- De critic wordt "bevroren" aan het einde van het trainen en fungeert als kostfunctie.
- Dit onthult hoe het beleid (policy) de geometrie van de critic benut. Het toont of de gradiënten sterk in één richting zijn en zwak in andere (wedge-shaped valleys), wat kan leiden tot verzadiging.
Traject van Tijd-TD-Actor Gewichten:
- Een 3D-traject dat de ontwikkeling van de actor-gewichten koppelt aan de TD-fout en de tijd.
- Dit toont hoe het beleid evolueert en of het vastloopt in bepaalde regio's van het parameter-ruimte.
State-TD Kaart:
- Een 2D-plot die de systeemtoestanden koppelt aan de TD-fout.
- Identificeert welke regio's in de toestandsruimte (bijv. grote hoekfouten) de grootste bijdrage leveren aan de fluctuaties en fouten.

Case Study:
Het raamwerk wordt toegepast op Action-Dependent Heuristic Dynamic Programming (ADHDP) voor de attitude-besturing van een samengesteld ruimteschip met onbekende traagheid. Er worden vier varianten van ADHDP vergeleken:

Basisversie.
Met target network (Polyak averaging).
Met training stabilizers (Huber loss, numerieke kost-schaling) én Target Policy Smoothing (TPS).
Met training stabilizers, maar zonder TPS.

Belangrijkste Resultaten

De toepassing van het visuele raamwerk op de vier ADHDP-varianten leverde de volgende inzichten op:

Basis ADHDP: Het trainen faalt door instabiele updates van de critic, wat leidt tot een scherp en anisotroop critic-landschap. De actor landt in een vlakke vallei en verzadigt de besturingskoppels, wat resulteert in divergentie.
Met Target Network: De target network maakt de TD-curve rustiger en vermindert jitter, maar verandert de fundamentele geometrie van het verlieslandschap niet. De actor blijft vastlopen in een ongunstige, schuine vallei die leidt tot verzadiging.
Met Stabilizers + TPS: Het gebruik van Huber loss, kost-schaling en TPS maakt het critic-landschap rond en glad, en vermindert extreme TD-pieken. Echter, de actor-landschap behoudt een dominante "wig-vorm" (wedge shape). Het beleid wordt nog steeds voornamelijk in één richting gedreven, wat onder de beperkingen van de besturingskoppels leidt tot verzadiging en uiteindelijk falen.
Met Stabilizers (zonder TPS): Zonder TPS keert het critic-landschap terug naar een zeer scherpe, smalle piek (deterministisch gedrag). Hoewel de TD-fout lager is door Huber loss, is de optimalisatie van de actor erg stijf en blijft deze vastlopen in de verzadigingsgrens.

Kerninzicht:
De analyse toont aan dat het falen van de gesloten-lus besturing niet primair wordt veroorzaakt door instabiliteit van de critic, maar door de ongunstige optimalisatiegeometrie van de actor. Zelfs wanneer de critic-stabiliteit wordt verbeterd (minder TD-fluctuaties), blijft het actor-landschap anisotroop. Dit zorgt ervoor dat het beleid systematisch naar de rand van de actieruimte (verzadiging) drijft, waar de controller geen corrigerend vermogen meer heeft.

Bijdragen

Ontwikkeling van een Multi-Perspectief Raamwerk: Een systematische methode om RL-trainingsdynamiek te diagnosticeren door vier specifieke visualisaties te combineren die de interactie tussen actor, critic en toestandsruimte blootleggen.
Diepgaande Diagnose van ADHDP: Het onthullen dat standaard stabilisatietechnieken (zoals target networks en Huber loss) weliswaar de TD-fout verkleinen, maar de fundamentele geometrische problemen van de actor-optimalisatie niet oplossen.
Interpreteerbaarheid: Het biedt een manier om te begrijpen waarom een algoritme faalt ondanks "goede" meetwaarden (zoals een dalende TD-fout), door te kijken naar de vorm van het verlieslandschap en de richting van de beleidsupdates.

Significantie

Dit onderzoek is significant omdat het de focus verschuift van het enkel verbeteren van de stabiliteit van de critic naar het begrijpen en herschikken van de optimalisatiegeometrie van de actor. Het raamwerk biedt een praktische tool voor onderzoekers en ingenieurs om:

De oorzaak van trainingsinstabiliteit of falen in RL-systemen sneller te diagnosticeren.
Beter te begrijpen hoe algoritme-keuzes (zoals loss-functies of smoothing) de leercurve beïnvloeden.
Gerichte verbeteringen te ontwerpen, zoals het introduceren van sterkere regularisatie of het aanpassen van de actor-output, om te voorkomen dat het beleid vastloopt in verzadigingsregio's.

Samenvattend biedt dit visuele raamwerk een systematische en interpreteerbare benadering om de "black box" van actor-critic reinforcement learning te openen, wat essentieel is voor de robuuste toepassing van RL in kritieke regelsystemen zoals de ruimtevaart.