Hessian-augmented Supervised Learning for Hamilton-Jacobi-Bellman PDEs

Technische Samenvatting: Hessiaan-geaugmenteerd Supervised Learning voor Hamilton–Jacobi–Bellman PDE's

Probleemstelling
Het artikel behandelt de synthese van optimale feedback-controlwetten voor deterministische optimale controleproblemen met nietlineaire control-affine dynamica. De standaardbenadering omvat het oplossen van de Hamilton–Jacobi–Bellman (HJB) vergelijking, een volledig nietlineaire partiële differentiaalvergelijking gepositioneerd over een $n$-dimensionale toestandsruimte. Klassieke rastergebaseerde discretisaties lijden onder de "vloek van dimensionaliteit", waarbij de schaalbaarheid exponentieel toeneemt met de dimensie van de toestand $n$, wat hun toepasbaarheid beperkt tot laagdimensionale systemen ($n \lesssim 5$). Hoewel diverse niet-standaard numerieke strategieën (bijv. causaliteitsvrije karakteristieken, tensordecomposities en deep learning) zijn voorgesteld om dit te verzachten, blijft de uitdaging om waarde-functies te benaderen en feedback-wetten te extraheren in hoge dimensies ($n \gg 5$) aanzienlijk.

Methodologie
De auteurs stellen een data-gedreven raamwerk voor dat de waarde-functie $V(x)$ benadert met behulp van supervised learning met afgeleide-augmentatie. De kernmethodologie bestaat uit drie componenten:

1. Data-generatie via PMP en Riccati-vergelijkingen:
   In plaats van de HJB PDE direct op te lossen, genereert de methode trainingsdata door de eerste-orde noodzakelijke optimaliteitsvoorwaarden van het Pontryagin Maximum Principle (PMP) op te lossen. Voor een reeks begincondities levert de PMP een twee-punts randwaardeprobleem (TPBVP) op dat de optimale staat- en adjoint-trajecten beschrijft.

   • Nulde-orde: De kosten langs het optimale traject leveren de waarde-functie $V(x)$ op.
   • Eerste-orde: De adjoint-variabele $p(t)$ komt overeen met de gradiënt $\nabla V(x)$ langs het traject.
   • Tweede-orde: Een matrix Riccati-vergelijking, die achterwaarts wordt geïntegreerd langs het optimale traject, levert de Hessiaan $\nabla^2 V(x)$ op.
     Dit proces vermijdt discretisatie van de toestandsruimte en schaalt lineair met het aantal begincondities in plaats van exponentieel met de dimensie.

2. Sparse Polynomial Regression:
   De waarde-functie wordt benaderd door een sparse polynomiaal model $\tilde{V}(x) = \sum \theta_k \Phi_k(x)$. De basisfuncties worden geconstrueerd uit tensorproduct Legendre-polynomiaal op een hyperbolische cross indexset, verrijkt met laag-graads totale-graad termen om essentiële multivariate koppelingen te vangen.

3. Afgeleide-geaugmenteerde Least Squares:
   De regressie minimaliseert een gewogen kleinste-kwadraten-objectief dat gelijktijdig fouten in de functiewaarden, gradiënten en Hessiaanse matrices bestraft.

   • Elke trainingssteekproef $x_j$ draagt $1$ vergelijking bij voor de waarde, $n$ vergelijkingen voor de gradiënt, en $n(n+1)/2$ vergelijkingen voor de Hessiaan.
   • Dit resulteert in een totaal aantal vergelijkingen $M = N(1 + n + n(n+1)/2)$, waarbij $N$ het aantal steekproeven is.
   • Om computationele kosten te beheersen in hoge dimensies, wordt een "partiële Hessiaanse strategie" geïntroduceerd, waarbij Hessiaanse vergelijkingen alleen worden afgedwongen voor een fractie $\rho \in (0, 1]$ van de trainingssteekproeven.

Belangrijkste Bijdragen

• Uitbreiding naar Tweede-orde Informatie: Het artikel breidt de op PMP gebaseerde data-generatie uit met Hessiaanse informatie via Riccati-vergelijkingen, en ontwikkelt systematisch deze richting voor optimale controle.
• Partiële Hessiaanse Strategie: Een instelbare strategie wordt geïntroduceerd om tweede-orde data te subsamplen, waarbij een balans wordt gezocht tussen de hoge kosten van data-generatie en de omvang van het regressiesysteem versus de voordelen van kromming-informatie.
• Basis-interactie: De studie onderzoekt de interactie tussen tweede-orde augmentatie en hyperbolische cross polynomiaal-bases verrijkt met laag-graads totale-graad termen.
• Systematische Benchmarking: De aanpak wordt gevalideerd op problemen met toenemende toestand-dimensie ($n=2, 6, 19$), waarbij nauwkeurigheid in discrete Sobolev-normen, HJB-residuen en closed-loop controleprestaties worden gemeten.

Resultaten
Numerieke experimenten laten zien dat tweede-orde augmentatie de steekproefcomplexiteit aanzienlijk vermindert vergeleken met nulde- en eerste-orde methoden:

• Analytische Benchmark: Voor een 12-dimensionale testfunctie vereiste het bereiken van een voorgeschreven $L^2$ fout $N=50$ steekproeven met tweede-orde augmentatie, terwijl eerste-orde regressie $N \approx 350$ vereiste, en nulde-orde regressie de doelnauwkeurigheid niet bereikte binnen het geteste bereik.
• 2D Van der Pol Oscillator: Tweede-orde augmentatie produceerde gladde, nauwkeurige reconstructies met $N=25$ steekproeven, terwijl lagere-orde methoden oscillaties vertoonden. Wat betreft steekproefefficiëntie vereisten tweede-orde methoden tot 11,7 keer minder steekproeven dan nulde-orde methoden om een controle-fout tolerantie van 0,1% te bereiken.
• 6D Satelliet Attitude Control: Op een verrijkte basis ($q=1.800$), bleef eerste-order regressie onderbepaald ($M/q < 1$) voor $N \lesssim 250$, terwijl tweede-orde augmentatie een goed-bepaald regime bereikte bij $N=100$ en een hoge nauwkeurigheid bij $N=200$.
• 19D Allen–Cahn Vergelijking: In dit hoog-dimensionale regime werd de amplificatie van vergelijkingen per steekproef ($n(n+1)/2 = 190$) een structurele noodzaak. Eerste-orde regressie bleef onderbepaald bij gematigde budgetten, terwijl tweede-orde augmentatie de enige formulering was die in staat was tot een betekenisvolle benadering. Partiële Hessiaanse strategieën ($\rho=0,5$) bereikten bijna volledige nauwkeurigheid met de helft van de computationele kosten.

Betekenis en Claims
Het artikel claimt dat de primaire motivatie voor het opnemen van Hessiaanse data de reductie van de steekproefcomplexiteit is. Door gebruik te maken van de multiplicatieve winst in het aantal lineaire vergelijkingen per steekproef, kan de methode hoog-dimensionale optimale controleproblemen oplossen die onhandelbaar zijn voor lagere-orde supervised learning-benaderingen vanwege onderbepaalde systemen.

De auteurs benadrukken dat in hoge dimensies (bijv. $n=19$) tweede-orde augmentatie verschuift van louter een verbetering van de nauwkeurigheid naar een structurele vereiste voor oplosbaarheid. De methode is causaliteitsvrij, wat flexibele ontwerpkeuzes voor sampling en basisselectie mogelijk maakt. De dominante computationele kosten liggen bij de offline generatie van de dataset (het oplossen van TPBVPs en Riccati-vergelijkingen), terwijl de online evaluatie van de feedback-wet efficiënt is en enkel de evaluatie van basisfuncties en dot-producten vereist.

Het werk concludeert dat hoewel de methode momenteel beperkt is tot deterministische controleproblemen met gladde dynamica, het raamwerk een robuust pad biedt voor het benaderen van waarde-functies in dimensies waar traditionele rastermethoden falen en lagere-orde leer-methoden worstelen met steekproef-inefficiëntie.