Symplectic Inductive Bias for Data-Driven Target Reachability in Hamiltonian Systems

1. Il Problema: Generalizzazione nei Sistemi Non Lineari

Il lavoro affronta la sfida centrale del controllo basato sui dati: ottenere una generalizzazione affidabile partendo da dati limitati.

• Contesto: Nei sistemi lineari, l'induttivo bias (la restrizione sulla classe di ipotesi) è dato dalla linearità, permettendo garanzie di complessità del campione (sample complexity) basse.
• Limitazione attuale: Per i sistemi non lineari generici, le garanzie si basano spesso su ipotesi di regolarità (es. continuità di Lipschitz). Combinando queste ipotesi con argomenti di copertura (covering arguments), i requisiti di dati crescono esponenzialmente con la dimensione dello stato, rendendo il controllo data-driven inefficiente per sistemi ad alta dimensionalità.
• Obiettivo: Dimostrare che il controllo non lineare efficiente richiede di sfruttare l'induttivo bias fisico intrinseco ai sistemi naturali, in particolare la struttura geometrica dei sistemi hamiltoniani.

2. Metodologia: Geometria Simplettica e Politiche a Catena

L'approccio proposto combina la geometria simplettica con una nuova classe di strategie di controllo chiamate Chain Policies (Politiche a Catena).

A. Fondamenti Teorici

• Sistemi Hamiltoniani: Il sistema è descritto da $\dot{x} = J(x)\nabla H(x) + G(x)u$, dove $H(x)$ è l'energia e $J(x)$ è una matrice antisimmetrica che garantisce la conservazione dell'energia in assenza di input.
• Livelli Energetici e Ricorrenza: Lo spazio degli stati è partizionato in "livelli energetici" invarianti ($\Sigma_E = \{x : H(x) = E\}$). Grazie alla struttura hamiltoniana, le traiettorie a input nullo sono ricorrenti su questi livelli compatti. Se il sistema è ergodico su un livello, le traiettorie visitano densamente ogni regione del livello.
• Chain Policies (Politiche a Catena): Invece di apprendere una politica globale, il metodo costruisce una politica non parametrica componendo segmenti di traiettoria localmente certificati estratti da dimostrazioni esperte.
  • Viene definito un alfabeto di controllo (una libreria di snippet di controllo).
  • Viene definito un insieme di assegnazione (assignment set) che mappa regioni dello stato a specifici snippet di controllo.
  • La politica seleziona lo snippet più vicino (in senso normalizzato) o applica l'input nullo se fuori dal supporto.

B. Strategia di Controllo

L'obiettivo è la raggiungibilità del target (portare il sistema da un insieme iniziale $S_0$ a un insieme target $S_{tgt}$). La strategia si basa su due fasi iterative:

1. Riduzione dell'Energia Controllata: Utilizzare i segmenti di controllo dimostrati per ridurre la distanza energetica verso il target (spingere il sistema verso livelli energetici più bassi o specifici).
2. Ricorrenza Passiva: Una volta che il sistema esce dal supporto del controllo (dove non ci sono dimostrazioni), l'evoluzione naturale (input nullo) mantiene l'energia costante e, grazie alla ricorrenza ergodica, riporta il sistema in una regione dove può essere applicato un nuovo segmento di controllo.

3. Contributi Chiave

1. Nuovo Induttivo Bias Fisico: Il paper propone di utilizzare le leggi fisiche (conservazione dell'energia e ricorrenza) come vincolo strutturale, invece di ipotesi generiche di regolarità. Questo sposta la dipendenza della complessità dei dati dalla dimensione dello stato ($n$) alle proprietà geometriche e ricorrenti del sistema hamiltoniano.
2. Teorema di Raggiungibilità (Teorema 2): Vengono fornite condizioni sufficienti affinché una Chain Policy garantisca la raggiungibilità del target per quasi ogni condizione iniziale. Le condizioni richiedono che l'insieme di assegnazione copra:
   • L'intervallo energetico tra lo stato iniziale e il target.
   • Le componenti ergodiche all'interno di ciascun livello energetico.
3. Limiti di Complessità del Campione (Teorema 3): Viene dimostrato che il numero di segmenti di controllo necessari ($N$) per costruire la politica non scala esponenzialmente con la dimensione dello stato, ma dipende da:
   • La variazione energetica totale.
   • Le proprietà di convessità forte dell'Hamiltoniana.
   • I tassi di ricorrenza e le costanti di Lipschitz.
   • La formula risultante mostra una dipendenza polinomiale/esponenziale solo da parametri geometrici intrinseci, non da $n$.
4. Garanzie di Tempo Finito (Teorema 4): Vengono derivati limiti superiori uniformi sul tempo necessario per raggiungere il target, basati sui tempi di ritorno al supporto e sui tempi di raggiungimento del target.

4. Risultati Sperimentali

Gli autori hanno validato l'approccio su due sistemi meccanici: un sistema massa-molla e un pendolo semplice, confrontandolo con un baseline di Behavior Cloning (BC) standard (una rete neurale MLP).

• Sistema Massa-Molla:
  • La Chain Policy ha raggiunto un tasso di successo del 100% anche con una sola dimostrazione ($M=1$).
  • Il BC ha fallito quasi completamente con pochi dati (success rate ~6% per $M=1$).
  • Il tempo medio di raggiungimento è diminuito rapidamente all'aumentare delle dimostrazioni, saturando dopo poche traiettorie.
• Pendolo Semplice:
  • La Chain Policy ha mostrato un miglioramento drastico: il successo è passato dal 34% ($M=1$) al 100% ($M \ge 3$).
  • Il BC ha avuto prestazioni inferiori e instabili (success rate tra 0.8% e 74% al variare di $M$).
  • Il tempo di raggiungimento è crollato da ~115s a ~13s aumentando le dimostrazioni, dimostrando l'efficienza nell'utilizzo dei dati.

5. Significato e Implicazioni

Questo lavoro rappresenta un cambiamento di paradigma nel controllo data-driven per sistemi non lineari:

• Efficienza dei Dati: Dimostra che sfruttando la struttura fisica (simmetria simplettica e conservazione dell'energia), è possibile ottenere garanzie di controllo con un numero di dati drasticamente inferiore rispetto ai metodi basati su approssimazioni generiche.
• Scalabilità: Elimina la "maledizione della dimensionalità" tipica dei metodi non parametrici generici, rendendo il controllo fattibile per sistemi fisici complessi dove la raccolta di grandi dataset è proibitiva.
• Robustezza Strutturale: L'uso della ricorrenza intrinseca del sistema garantisce che, anche se il controllo non copre tutto lo spazio, il sistema "ritorni" naturalmente in regioni controllabili, rendendo la strategia intrinsecamente robusta.

In sintesi, il paper fornisce un quadro teorico e pratico per progettare controllori per sistemi hamiltoniani che sono garantiti, efficienti nei dati e scalabili, trasformando le leggi fisiche da vincoli a risorse computazionali.