Hessian-augmented Supervised Learning for Hamilton-Jacobi-Bellman PDEs

Sintesi Tecnica: Apprendimento Supervisionato con Augmentation dell'Essenziale (Hessian) per le PDE di Hamilton–Jacobi–Bellman

Definizione del Problema
Il documento affronta la sintesi di leggi di controllo feedback ottimali per problemi di controllo deterministico con dinamiche affini al controllo non lineari. L'approccio standard consiste nel risolvere l'equazione di Hamilton–Jacobi–Bellman (HJB), un'equazione alle derivate parziali completamente non lineare posta su uno spazio di stato $n$-dimensionale. Le classiche discretizzazioni basate su griglia soffrono della "maledizione della dimensionalità", scalando esponenzialmente con la dimensione dello stato $n$, il che ne limita l'applicabilità a sistemi a bassa dimensionalità ($n \lesssim 5$). Sebbene siano state proposte varie strategie numeriche non standard (ad esempio, caratteristiche causality-free, decomposizioni tensoriali e deep learning) per mitigare questo problema, la sfida di approssimare le funzioni valore e recuperare le leggi di feedback in dimensioni elevate ($n \gg 5$) rimane significativa.

Metodologia
Gli autori propongono un framework data-driven che approssima la funzione valore $V(x)$ mediante apprendimento supervisionato con derivata aumentata (augmentation). La metodologia centrale si compone di tre componenti:

1. Generazione dei Dati tramite PMP ed Equazioni di Riccati:
   Invece di risolvere direttamente la PDE HJB, il metodo genera dati di addestramento risolvendo le condizioni necessarie del primo ordine di ottimalità del Principio di Massimo di Pontryagin (PMP). Per un insieme di condizioni iniziali, il PMP fornisce un problema ai valori limite a due punti (TPBVP) che descrive le traiettorie ottimali dello stato e dell'adiacente.

   • Zero-esimo ordine: Il costo lungo la traiettoria ottima fornisce la funzione valore $V(x)$.
   • Primo ordine: La variabile adiacente $p(t)$ coincide con il gradiente $\nabla V(x)$ lungo la traiettoria.
   • Secondo ordine: Un'equazione di Riccati matriciale, integrata all'indietro lungo la traiettoria ottima, fornisce l'Essenziale (Hessiano) $\nabla^2 V(x)$.
     Questo processo evita la discretizzazione dello spazio degli stati e scala linearmente con il numero di condizioni iniziali piuttosto che esponenzialmente con la dimensione.

2. Regressione Polinomiale Sparsa:
   La funzione valore è approssimata da un modello polinomiale sparso $\tilde{V}(x) = \sum \theta_k \Phi_k(x)$. Le funzioni di base sono costruite da polinomi di Legendre prodotto-tensore su un insieme di indici a croce iperbolica (hyperbolic cross), arricchite con termini a grado totale di basso ordine per catturare i coupling multivariati essenziali.

3. Minimi Quadrati con Augmentation delle Derivate:
   La regressione minimizza un obiettivo di minimi quadrati pesati che penalizza simultaneamente gli errori nei valori della funzione, nei gradienti e negli Essenziali.

   • Ogni campione di addestramento $x_j$ contribuisce con $1$ equazione per il valore, $n$ equazioni per il gradiente e $n(n+1)/2$ equazioni per l'Essenziale.
   • Ciò risulta in un conteggio totale di equazioni $M = N(1 + n + n(n+1)/2)$, dove $N$ è il numero di campioni.
     Per gestire i costi computazionali in dimensioni elevate, viene introdotta una strategia di "Essenziale parziale", in cui le equazioni dell'Essenziale sono imposte solo per una frazione $\rho \in (0, 1]$ dei campioni di addestramento.

Contributi Chiave

• Estensione alle Informazioni del Secondo Ordine: Il documento estende la generazione dei dati basata su PMP per includere l'informazione dell'Esseniale tramite equazioni di Riccati, sviluppando sistematicamente questa direzione per il controllo ottimo.
• Strategia dell'Esseniale Parziale: Viene introdotta una strategia regolabile per sottocampionare i dati del secondo ordine, bilanciando l'alto costo della generazione dei dati e della dimensione del sistema di regressione rispetto ai benefici dell'informazione sulla curvatura.
• Interazione delle Basi: Lo studio investiga l'interazione tra l'augmentation del secondo ordine e le basi polinomiali a croce iperbolica arricchite con termini a grado totale di basso ordine.
• Benchmarking Sistematico: L'approccio è validato su problemi di crescente dimensione dello stato ($n=2, 6, 19$), misurando l'accuratezza in norme Sobolev discrete, residui HJB e prestazioni di controllo a ciclo chiuso.

Risultati
Gli esperimenti numerici dimostrano che l'augmentation del secondo ordine riduce significativamente la complessità campionaria rispetto ai metodi del zero-esimo e primo ordine:

• Benchmark Analitico: Per una funzione di test a 12 dimensioni, raggiungere un errore $L^2$ prescritto richiedeva $N=50$ campioni con l'augmentation del secondo ordine, mentre la regressione del primo ordine richiedeva $N \approx 350$, e la regressione del zero-esimo ordine non riusciva a raggiungere l'accuratezza target nell'intervallo testato.
• Oscillatore di Van der Pol 2D: L'augmentation del secondo ordine ha prodotto ricostruzioni lisce e accurate con $N=25$ campioni, mentre i metodi di ordine inferiore presentavano oscillazioni. In termini di efficienza campionaria, i metodi del secondo ordine hanno richiesto fino a 11,7 volte meno campioni rispetto ai metodi del zero-esimo ordine per raggiungere una tolleranza di errore di controllo dello 0,1%.
• Controllo dell'Assetto di un Satellite 6D: Su una base arricchita ($q=1.800$), la regressione del primo ordine rimaneva sotto-determinata ($M/q < 1$) per $N \lesssim 250$, mentre l'augmentation del secondo ordine ha raggiunto un regime ben determinato con $N=100$ e un'alta accuratezza con $N=200$.
• Equazione di Allen–Cahn 19D: In questo regime ad alta dimensione, l'amplificazione delle equazioni per campione ($n(n+1)/2 = 190$ equazioni aggiuntive) è diventata una necessità strutturale. La regressione del primo ordine rimaneva sotto-determinata con budget moderati, mentre l'augmentation del secondo ordine era l'unica formulazione capace di produrre un'approssimazione significativa. Le strategie di essenziale parziale ($\rho=0.5$) hanno ottenuto un'accuratezza quasi completa con metà del costo computazionale.

Significatività e Rivendicazioni
Il documento sostiene che la motivazione primaria per l'incorporazione dei dati dell'Esseniale sia la riduzione della complessità campionaria. Sfruttando il guadagno moltiplicativo nel numero di equazioni lineari per campione, il metodo può risolvere problemi di controllo ottimo ad alta dimensione che sono intrattabili per gli approcci di apprendimento supervisionato di ordine inferiore a causa di sistemi sotto-determinati.

Gli autori sottolineano che, in dimensioni elevate (ad esempio $n=19$), l'augmentation del secondo ordine passa dall'essere un semplice miglioramento dell'accuratezza a un requisito strutturale per la risolvibilità. Il metodo è causality-free, permettendo scelte flessibili nel campionamento e nella selezione della base. Il costo computazionale dominante è la generazione offline del dataset (risoluzione di TPBVP ed equazioni di Riccati), mentre la valutazione online della legge di feedback è efficiente, richiedendo solo valutazioni delle funzioni di base e prodotti scalari.

Il lavoro conclude che, sebbene sia attualmente limitato a problemi di controllo deterministico con dinamiche lisce, il framework offre una via robusta per approssimare le funzioni valore in dimensioni dove i metodi tradizionali su griglia falliscono e i metodi di apprendimento di ordine inferiore faticano con l'inefficienza campionaria.