Visualizing Critic Match Loss Landscapes for Interpretation of Online Reinforcement Learning Control Algorithms

Dit artikel introduceert een visualisatiemethode voor het landschap van de criticus-matchverliesfunctie om het optimalisatiegedrag van online versterkende leeralgoritmen met actor-critic-structuur kwalitatief en kwantitatief te interpreteren en te vergelijken in dynamische besturingsproblemen.

De kern

De Kern: Een "Landkaart" voor een Leraar die Leren

Stel je voor dat je een robot wilt leren om een bal op een stok in evenwicht te houden (zoals een circusartiest). Je gebruikt Versterkingsleren (Reinforcement Learning). Dit is een slimme manier om een computer te leren door proef en fout. De robot probeert iets, krijgt een beloning als het goed gaat, en een straf als het mislukt.

In dit systeem werken er twee "neurologen" samen:

1. De Acteur (De Leerling): Deze probeert de acties uit te voeren (bijv. de kar naar links of rechts duwen).
2. De Criticus (De Leraar): Deze kijkt naar wat de leerling doet en zegt: "Dat was goed" of "Dat was slecht". De criticus probeert een voorspelling te maken over hoe goed de toekomst eruit zal zien.

Het probleem:
Soms werkt de robot perfect, en soms faalt hij dramatisch, zelfs als je denkt dat je alles goed hebt ingesteld. De onderzoekers van deze paper (van de TU Delft) vroegen zich af: Waarom lukt het soms wel en soms niet? Ze wilden kijken wat er in het hoofd van die "Criticus" (de leraar) gebeurt terwijl hij leert.

De Oplossing: Een 3D-Landkaart tekenen

Normaal gesproken is het hoofd van een neurale netwerk (de computer) een wirwar van miljoenen getallen. Het is onmogelijk om te zien hoe die getallen veranderen.

De onderzoekers bedachten een slimme truc: Ze maken een "landkaart" van de fouten.

Stel je voor dat de criticus op een berg staat.

• De top van de berg is waar de fouten heel groot zijn (de robot doet het heel slecht).
• De dalen zijn waar de fouten klein zijn (de robot doet het goed).
• Het doel van de criticus is om de berg af te lopen naar het diepste dal.

De onderzoekers hebben een methode bedacht om deze berg te visualiseren. Ze nemen de "voetstappen" die de criticus heeft gemaakt tijdens het leren en projecteren die op een platte kaart. Zo zien ze niet alleen dat de criticus leert, maar ook hoe hij over het landschap loopt.

Twee Voorbeelden: De Kar en de Ruimteschip

De onderzoekers testten hun methode op twee situaties:

1. De Kar met de Stok (De "Goede" Leerling)

• Situatie: Een kar met een stok erop. De robot moet de stok rechtop houden.
• Het Landschap: Als je de landkaart bekijkt, zie je een gladde, zachte helling die recht naar beneden loopt.
• De Analogie: Het is alsof de criticus een bal heeft die hij de berg afrolt. De weg is duidelijk, er zijn geen kuilen of rotsen. De bal rolt rustig naar beneden en stopt precies op het juiste punt.
• Resultaat: De robot leert snel en stabiel. De landkaart laat zien dat het "leerproces" soepel verliep.

2. Het Ruimteschip (De "Moeilijke" Leerling)

• Situatie: Een ruimteschip dat een ander, onbekend schip heeft gevangen. De gewichten en bewegingen zijn onvoorspelbaar.
• Het Landschap: De landkaart ziet eruit als een ruig, gebarsten terrein met veel pieken, valleien en kuilen.
• De Analogie: De criticus probeert hier een bal te rollen, maar de grond is ongelijk. De bal rolt soms in een klein kuilje, stopt daar, en denkt dat hij klaar is. Maar als de robot een beetje duwt, valt de bal weer uit het kuilje en rolt hij naar een andere plek. Soms loopt de criticus zelfs terug de berg op!
• Resultaat: De robot faalt. De landkaart laat zien dat de criticus in de war raakt door de onstabiele omgeving. Hij weet niet waar het echte dal is.

Waarom is dit nuttig?

Vroeger keken onderzoekers alleen naar de eindresultaten: "Het werkt" of "Het werkt niet".
Met deze landkaart-methode kunnen ze nu zien:

• Waarom het mislukt: Zie je een berg met veel kuilen? Dan is het probleem dat de omgeving te chaotisch is of dat de robot niet goed leert.
• Hoe het te fixen: Als je ziet dat de weg te steil is, kun je de "stapgrootte" van de robot aanpassen. Als je ziet dat er een kuil is, kun je proberen de robot te helpen om eruit te komen.

Samenvatting in één zin

De onderzoekers hebben een manier gevonden om het "gedachteproces" van een lerende robot in een 3D-berglandschap te tekenen, zodat we kunnen zien of de robot een rustige wandeling maakt naar succes of dat hij verdwaalt in een doolhof van fouten.

Dit helpt ingenieurs om betere robots te bouwen die ook in moeilijke, veranderende situaties (zoals ruimtevaart) veilig kunnen werken.

Technische samenvatting

Probleemstelling

Versterkingsleer (Reinforcement Learning - RL) heeft bewezen krachtig te zijn in diverse domeinen, maar de prestaties zijn niet gegarandeerd wanneer de systeemdynamica verandert of wanneer systemen onzekerheden bevatten. RL-algoritmen met een Actor-Critic-structuur zijn afhankelijk van de kwaliteit van de benadering door het 'critic'-neuraal netwerk. Als dit netwerk de waarde- of kostfunctie niet nauwkeurig benadert, kan dit leiden tot instabiel leren of divergentie, zelfs als de actor goed lijkt te functioneren.

Het huidige probleem is dat het interpreteren van het gedrag van deze algoritmen, vooral in online dynamische besturingsproblemen, vaak gebaseerd is op empirische ervaring. Bestaande visualisatietechnieken richten zich voornamelijk op de 'reward landscapes' (beloningsoppervlakken) of de 'actor loss', maar geven geen direct inzicht in hoe het critic-module wordt geoptimaliseerd. Omdat de TD-error (Temporal-Difference error) en de statieverdeling tijdens online training continu veranderen, is het moeilijk om het critic-doel als één vast gedefinieerd oppervlak te visualiseren.

Methodologie

De auteurs stellen een methode voor om de Critic Match Loss Landscape te visualiseren en kwantitatief te analyseren. De kern van de methode bestaat uit de volgende stappen:

1. Constructie van de Critic Match Loss:

   • In plaats van de dynamische TD-error te gebruiken die verandert met elke stap, wordt een vaste referentie gebruikt.
   • Er worden staten en TD-doelen (targets) vastgehouden uit een specifieke referentie-episode (meestal de laatste succesvolle of mislukte episode).
   • De 'Critic Match Loss' wordt berekend door de critic-parameters te varieren over een raster, terwijl de input-data en targets constant worden gehouden. Dit creëert een goed gedefinieerd, statisch scalar veld (een verliesoppervlak) dat de lokale geometrie rond de huidige policy weergeeft.

2. Dimensiereductie en Visualisatie:

   • De critic-parameters zijn hoogdimensionaal. Om dit visualiseerbaar te maken, worden de opgeslagen parametertrajecten (aan het einde van elke trainingsepisode) onderworpen aan Principal Component Analysis (PCA).
   • De twee belangrijkste orthogonale richtingen (hoofdcomponenten) worden gebruikt om een 2D-subruimte te definiëren.
   • Het verliesoppervlak wordt geprojecteerd op dit 2D-vlak, wat resulteert in een 3D-verlieslandschap (hoogte = verlies) en een 2D-optimisatiepad dat het traject van de gewichtsupdates tijdens het trainen toont.

3. Kwantitatieve Analyse:
   Om de visualisatie te ondersteunen met objectieve maatstaven, worden drie indices geïntroduceerd:

   • Sharpness (Scherpte): Meet hoe snel het verlies stijgt wanneer men zich van het eindpunt verwijdert. Een hoge scherpte duidt op een stijf, gevoelig gebied.
   • Basin Area (Bekkenoppervlak): Kwantificeert het gebied met laag verlies rond het eindpunt. Een groot oppervlak suggereert robuustheid.
   • Local Anisotropy (Lokale Anisotropie): Meet de onbalans in de kromming (via de conditiegetal van de Hessian). Een hoge anisotropie duidt op een smalle, scheve vallei, wat de convergentie bemoeilijkt.

4. Systeemprestatie-index:
   Een genormaliseerde kostfunctie ($\tilde{J}_H$) wordt gebruikt om de daadwerkelijke besturingsprestaties te koppelen aan de geometrie van het verlieslandschap.

Kernbijdragen

• Nieuwe Visualisatietechniek: De introductie van de "Critic Match Loss Landscape" die het optimisatiegedrag van het critic-netwerk in online RL kwantificeert en visualiseert, zelfs onder veranderende omstandigheden.
• Interpretatie van Divergentie: Het vermogen om te verklaren waarom een algoritme convergeert in het ene systeem maar divergeert in een ander, door de geometrische eigenschappen van het verlieslandschap te analyseren.
• Kwantitatieve Koppeling: Het verbinden van abstracte landschapskenmerken (scherpte, anisotropie) met concrete besturingsresultaten via genormaliseerde indices.

Resultaten

De methode werd getest op twee systemen met onzekerheden: een karstok-systeem (cart-pole) en een ruimtevaartuig-attitudebesturing met onbekende traagheidsparameters.

1. Karstok-systeem (Stabiel):

   • Het algoritme convergeerde succesvol.
   • Landschap: Toonde een glad, enkelvoudig hellend oppervlak (single-slope).
   • Indices: Relatief hoge scherpte, klein bekkenoppervlak, maar lage anisotropie.
   • Pad: Het optimisatiepad volgde een gladde, monotoon dalende route naar een sub-optimale oplossing met laag verlies.
   • Conclusie: De geometrie ondersteunde stabiele convergentie.

2. Ruimtevaartuig (Instabiel/Divergent):

   • Het algoritme faalde in het stabiliseren van het systeem.
   • Landschap: Toonde een complex, niet-convex terrein met meerdere pieken en valleien.
   • Indices: Lage scherpte, groot (maar gefragmenteerd) bekkenoppervlak, en hoge anisotropie.
   • Pad: Het traject oscilleerde tussen lokale minima en volgde geen duidelijke afdalende richting.
   • Conclusie: De hoge anisotropie en de niet-convexe structuur maakten het moeilijk voor de optimizer om uit de lokale vallei te ontsnappen, wat leidde tot instabiliteit.

3. Robuustheid van de Methode:

   • Vergelijkingen tussen PCA-projectie en willekeurige orthogonale projecties toonden aan dat de fundamentele kenmerken (stabiliteit vs. instabiliteit) consistent bleven, ongeacht de specifieke projectiemethode.
   • Analyse van tussenliggende trainingsstadia toonde aan dat bij het ruimtevaartuig het landschap tijdens het trainen evolueerde ("moving target"), wat bijdroeg aan de instabiliteit.

Significantie

Dit onderzoek biedt een krachtig instrument voor het interpreteren en debuggen van online RL-algoritmen in complexe besturingsproblemen.

• Het verschuift de focus van puur empirisch testen naar een geometrisch begrip van waarom een algoritme faalt of slaagt.
• Het stelt onderzoekers en ingenieurs in staat om vroegtijdig te detecteren of een critic-netwerk vastloopt in een slecht geconditioneerd landschap (hoge anisotropie) of in een te smal bekken.
• De methode is specifiek waardevol voor toepassingen met onzekerheden, zoals ruimtevaart (Active Debris Removal), waar het begrijpen van de stabiliteit van het leerproces cruciaal is voor de veiligheid en prestaties.

Samenvattend biedt deze studie een brug tussen de abstracte wiskunde van verliesfuncties en de praktische prestaties van besturingssystemen, waardoor de "black box" van actor-critic RL transparanter wordt.