Cost-Driven Representation Learning for Linear Quadratic Gaussian Control: Part II

Dit artikel presenteert kosten-gedreven representatieleren voor Lineair Kwantitatief Gaussische (LQG) controle met onvolledige observaties, waarbij twee methoden worden onderzocht voor het leren van een latente dynamische model en wiskundige garanties worden geboden voor de optimaliteit van de gevonden controller.

De kern

Kostendrijvende Leren voor Slimme Besturing: Een Simpele Uitleg

Stel je voor dat je een enorme, complexe machine probeert te besturen, zoals een zelfrijdende auto of een robotarm. Maar er is een probleem: je kunt de machine niet direct zien. Je hebt alleen een camera die beelden levert en een paar sensoren die geluiden maken. De echte staat van de machine (waar hij precies is, hoe snel hij gaat, wat de motor doet) is verborgen. Dit noemen we in de vaktaal een "deels waarneembaar" systeem.

De auteurs van dit paper (Yi Tian, Kaiqing Zhang, Russ Tedrake en Suvrit Sra) hebben een manier bedacht om een computer te leren hoe hij deze verborgen staat moet begrijpen, puur door te kijken naar de kosten (bijvoorbeeld: hoeveel brandstof verbruikt hij? Hoeveel trilt de machine?).

Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. Het Probleem: De "Zwarte Doos"

Stel je voor dat je in een donkere kamer zit met een ingewikkelde machine. Je ziet alleen wat er op het scherm verschijnt (de beelden) en je hoort wat er gebeurt (de geluiden). Je wilt de machine zo besturen dat hij niet kapot gaat en zuinig is. Maar je weet niet precies hoe de machine intern werkt.

In het verleden probeerden AI-systemen vaak om een perfecte foto van de machine te maken vanuit de beelden (alsof ze een spiegel bouwen). Maar dat is lastig: de camera ziet ook de achtergrond, de zon en stofdeeltjes. Die informatie is nutteloos voor het besturen van de machine. Het is alsof je probeert te leren autorijden door te kijken naar de bomen langs de weg in plaats van de weg zelf.

2. De Oplossing: Leren door "Pijn" te Voelen

De auteurs zeggen: "Waarom proberen we niet om te leren wat er echt belangrijk is?"
In plaats van te proberen de machine perfect na te bouwen, laten we de AI leren om te voorspellen hoeveel kosten (of "pijn") er gaan ontstaan.

• De Analogie: Stel je voor dat je een blindeman bent die een labyrint moet doorlopen. Hij kan de muren niet zien. Maar als hij een muur raakt, voelt hij pijn (kosten). Als hij veilig loopt, voelt hij geen pijn.
• De AI leert een "intern model" (een soort mentale kaart) van de machine. Als deze kaart goed is, kan de AI precies voorspellen: "Als ik nu naar links draai, krijg ik over 5 seconden veel pijn." Als de kaart slecht is, is de voorspelling verkeerd.
• Door te proberen de pijn (kosten) zo goed mogelijk te voorspellen, leert de AI automatisch welke details van de beelden belangrijk zijn en welke ruis (zoals de achtergrond) hij moet negeren.

3. Twee Manieren om dit te Doen

Het paper beschrijft twee manieren om dit "mentale kaartje" te tekenen:

• Manier A (De Directe Route): De AI probeert te voorspellen: "Als ik nu naar links draai, waar ben ik dan over een seconde?" en "Hoeveel pijn krijg ik dan?" Ze leren zowel de beweging als de pijn tegelijkertijd. Dit is vergelijkbaar met wat ze in het eerste deel van hun onderzoek hebben gedaan.
• Manier B (De MuZero-Route): Dit is de coolste manier, geïnspireerd door MuZero (de AI die beter is dan mensen in schaken en Go). Hierbij leert de AI de beweging van de machine niet direct. In plaats daarvan leert hij alleen: "Als ik nu deze beweging maak, wat is de totale pijn over de komende 10 stappen?"
  • Het Geniale: De AI hoeft niet te weten hoe de machine beweegt, hij hoeft alleen maar te weten wat het effect is op de kosten. Het is alsof je niet leert hoe een auto werkt, maar gewoon leert welke knoppen je moet indrukken om op je bestemming te komen zonder crashen.

4. De Wiskundige "Magie" (Maar dan simpel)

De auteurs bewijzen wiskundig dat deze methoden werken, zelfs als je maar één lange rit (een "traject") hebt gedaan.

• Het Uitdaging: Omdat de AI maar één rit heeft, zijn de data niet onafhankelijk. De situatie op seconde 10 hangt af van seconde 9. Dit maakt wiskundige berekeningen heel lastig.
• De Oplossing: Ze hebben een nieuwe wiskundige techniek bedacht (een soort "excitatie-meting") die bewijst dat zelfs als de data gekoppeld zijn, de AI toch genoeg informatie verzamelt om een goed model te bouwen. Ze gebruiken een techniek waarbij ze de tijd in stukjes snijden om te bewijzen dat de AI op de lange termijn toch alles ziet wat hij nodig heeft.

5. Waarom is dit belangrijk?

• Betrouwbaarheid: Veel AI-methoden werken goed in games, maar niemand weet waarom of of ze veilig zijn in de echte wereld. Dit paper geeft een wiskundig bewijs dat deze methode werkt voor lineaire systemen (zoals veel industriële machines).
• Efficiëntie: Je hoeft geen enorme datasets te verzamelen. Met één rit kun je al een goede controller bouwen.
• Toekomst: Dit legt de basis voor AI die complexe systemen (zoals windmolens, drones of robotarmen) kan besturen zonder dat we eerst een perfecte handleiding van de machine hoeven te hebben. De AI leert het zelf door te kijken naar de resultaten.

Samenvattend:
Stel je voor dat je een nieuwe stad probeert te leren kennen. In plaats van elke straatnaam en elk gebouw te memoreren (wat de "oude" manier is), leer je gewoon welke routes je het snelst en veiligst naar je werk brengen (de "kosten"). Uiteindelijk heb je een perfect gevoel voor de stad, zonder dat je ooit een kaart hebt gezien. Dat is wat deze AI doet: hij leert de essentie van de machine door te focussen op wat er echt toe doet: de kosten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Cost-Driven Representation Learning for Linear Quadratic Gaussian Control: Part II" in het Nederlands.

Probleemstelling

Het paper richt zich op het probleem van toestandsrepresentatielearning voor besturing (control) vanuit gedeeltelijke en potentieel hoogdimensionale waarnemingen. Specifiek wordt de Lineair Kwantitatieve Gaussische (LQG) besturing onderzocht voor een oneindige horizon met tijd-invariante systemen.

In een LQG-systeem is de onderliggende toestand ($x_t$) niet direct waarneembaar; men heeft alleen toegang tot ruisbeïnvloede waarnemingen ($y_t$). Het doel is om een beleid (policy) te vinden dat de verwachte kosten minimaliseert over een oneindige tijdspanne. Traditionele methoden vereisen vaak dat het systeemmodel bekend is of dat er complexe observatieherconstructies worden geleerd. Dit paper onderzoekt een alternatieve aanpak: het leren van een latent model (een verborgen toestandsruimte) dat direct gekoppeld is aan de te minimaliseren kosten, in plaats van het reconstrueren van de waarnemingen.

Methodologie

De auteurs stellen een raamwerk voor voor kosten-gedreven toestandsrepresentatielearning (cost-driven state representation learning). Het kernidee is om een dynamisch model in een latente ruimte te leren door de cumulatieve kosten te voorspellen, in plaats van de waarnemingen te reconstrueren.

Het proces omvat drie hoofdstappen:

1. Leren van de representatiefunctie: Een lineaire afbeelding $M$ wordt geleerd die een geschiedenis van waarnemingen en acties ($h_t$) afbeeldt op een latente toestand $z_t$. Dit wordt gedaan door een kwadratische regressie uit te voeren om de cumulatieve kosten over een venster van $d_x$ stappen te voorspellen.
2. Leren van het latente model: Er worden twee benaderingen onderscheiden voor het leren van de dynamica ($A, B$) in de latente ruimte:
   • CoReL-E (Expliciet): Minimaliseert de voorspellingfout van de overgang tussen latente toestanden (standaard systeemidentificatie via kleinste-kwadraten).
   • CoReL-I (Implicit, MuZero-stijl): Minimaliseert de voorspellingfout van toekomstige kosten op basis van de latente dynamica. Dit lijkt sterk op de MuZero-algoritme, waarbij de dynamica impliciet wordt geleerd door het voorspellen van waarden/kosten in plaats van toestanden.
3. Beleidsoptimalisatie: Zodra het latente model is geleerd, wordt de optimale feedbackgain ($K$) berekend door de Discrete Algebraic Riccati-vergelijking (DARE) op te lossen in de latente ruimte. Het uiteindelijke beleid is een combinatie van de representatiefunctie en deze gain: $\pi = (M, K)$.

Een belangrijk technisch aspect is het gebruik van een truncated history (een venster van de afgelopen $H$ stappen) als input, in plaats van de volledige geschiedenis, wat de complexiteit beheersbaar houdt.

Belangrijkste Bijdragen

1. Finite-Sample Garanties voor Oneindige Horizon:
   Het paper bewijst dat beide methoden (CoReL-E en CoReL-I) een bijna-optimale representatiefunctie en een bijna-optimale controller kunnen vinden met finite-sample garanties voor het oneindige-horizon LQG-probleem. Dit is een uitbreiding van Part I van dit werk, dat zich beperkte tot eindige horizonnen en tijd-variante systemen.

2. MuZero-stijl Analyse en Coördinatie-Alignement:
   Bij het analyseren van de MuZero-achtige methode (CoReL-I) ontdekten de auteurs het probleem van coördinatie-misalignement. Omdat kosten invariant zijn onder orthogonale transformaties van de latente toestanden, kan het impliciet leren van dynamica leiden tot inconsistentie in de coördinatenstelsels van verschillende tijdstappen. De auteurs introduceren een alignatiematrix ($\hat{S}_0$) om deze transformaties uit te lijnen, wat essentieel is voor de correcte herwinning van de dynamica.

3. Nieuw Wiskundig Resultaat: Persistency of Excitation:
   Een cruciale technische bijdrage is het bewijzen van een nieuw resultaat over persistency of excitation (aanhoudende excitatie) voor een specifieke stochastische proces dat voortkomt uit de analyse van kwadratische regressie. Omdat de data uit één enkele trajectie komt en sterk gecorreleerd is (tijd-invariant), is de analyse complexer dan bij onafhankelijke data. De auteurs gebruiken de small-ball methode en een Gram-Schmidt proces om concentratie-ondergrenzen te bewijzen voor niet-martingale verschillenreeksen.

4. Onafhankelijkheid van Observatieherconstructie:
   De methode vermijdt het leren van de observatiematrix $C^*$ (observatieherconstructie), wat vaak gevoelig is voor achtergrondruis en irrelevante informatie. In plaats daarvan leert het direct de voor het besturingstask relevante representatie.

Resultaten

• Suboptimaliteitsgap: De auteurs tonen aan dat de kosten van het geleerde beleid $\hat{\pi}$ in verhouding tot de optimale kosten $J(\pi^*)$ afnemen met de grootte van de dataset $T$. De fout is van de orde $O(\text{poly}(H, d_x, d_y, d_u, \log(T/p)) \cdot T^{-1})$.
• Vergelijking CoReL-E vs. CoReL-I: Beide methoden bereiken vergelijkbare theoretische garanties. CoReL-I (MuZero-stijl) is echter interessanter omdat het dichter bij moderne empirische RL-methoden staat, hoewel het de extra stap van coördinatie-alignement vereist.
• Steekproefefficiëntie: Hoewel de methode werkt, is er een prijs te betalen in vergelijking met traditionele systeemidentificatie op basis van Markov-parameters: de foutmarges hangen slechter af van de systeemdimensies en vereisen een langere "burn-in" periode om de stationaire verdeling te bereiken. Dit komt doordat de methode werkt met kwadratische regressie op scalaire kosten in plaats van lineaire regressie op vectoriële waarnemingen.

Significantie

Dit werk is significant omdat het een theoretisch fundament legt voor de empirisch zeer succesvolle MuZero-algoritme binnen de context van klassieke optimal control.

• Brug tussen Theorie en Praktijk: Het verbindt de snelle evolutie van statistische leertheorie voor lineaire dynamische systemen met de empirische successen van model-based reinforcement learning (zoals MuZero).
• Validatie van Kosten-gedreven Learning: Het bewijst dat het voorspellen van kosten (in plaats van waarnemingen) een wiskundig onderbouwde en effectieve strategie is voor het leren van representaties in gedeeltelijk waarneembare systemen.
• Toekomstperspectief: De resultaten openen de deur voor het analyseren van niet-lineaire systemen en het generaliseren van kosten-gedreven learning naar complexere, real-world besturingssituaties met visuele waarnemingen.

Samenvattend biedt dit paper een rigoureuze wiskundige onderbouwing voor het gebruik van latent models in LQG-control, met name voor methoden die lijken op MuZero, en lost complexe statistische uitdagingen op die voortvloeien uit het werken met gecorreleerde data in stationaire systemen.