Riepilogo Tecnico: Attenzione Temporale per il Controllo Adattivo di Sistemi di Eulero-Lagrange con Memoria Non Osservabile

1. Enunciato del Problema

Il lavoro affronta il controllo adattivo di manipolatori a corpo rigido (sistemi di Eulero-Lagrange) soggetti a dinamiche di attrito dipendenti dalla velocità, guidate da uno stato interno non osservabile $z(t)$. A differenza dei modelli di attrito classici (ad esempio viscoso o di Coulomb), dove l'attrito è una funzione nota della velocità, modelli come Stribeck e LuGre introducono uno stato interno che decade su un orizzonte finito ma non può essere recuperato istantaneamente dalle misurazioni delle giunture $(q, \dot{q})$.

Questa non osservabilità rende il sistema in anello chiuso non markoviano rispetto allo stato misurato. Di conseguenza, le leggi di controllo adattivo standard basate sull'equivalenza certa (che si basano sulla proprietà markoviana) perdono le loro garanzie di convergenza. Sebbene un lavoro complementare degli autori abbia affrontato questo problema tramite Apprendimento per Rinforzo (RL) Sicuro con Residui utilizzando una politica Soft Actor-Critic (SAC), tale approccio presentava due limitazioni:

1. L'agente RL operava a livello di coppia, risultando in uno spazio delle azioni ad alta dimensionalità.
2. L'agente osservava solo lo stato istantaneo, non riuscendo a esporre la struttura temporale della memoria non osservabile alla politica.

La sfida principale consiste nel progettare un meta-controllore che generi guadagni del controllore (anziché coppie) basandosi su una storia a finestra del movimento, recuperando così le informazioni temporali perse, garantendo al contempo la stabilità e determinando l'architettura ottimale (in particolare, il numero di teste di attenzione) senza fare affidamento su regolazioni euristico.

2. Metodologia

La soluzione proposta è un'architettura di meta-controllo in cui una politica di apprendimento per rinforzo mappa una finestra della storia recente del movimento ai parametri di un controllore a coppia calcolata. La metodologia è divisa in due fasi distinte:

Fase 1: Selezione dell'Architettura tramite Analisi Surrogata

Invece di trattare il numero di teste di attenzione ($K$) come un iperparametro da sintonizzare tramite tentativi ed errori, gli autori propongono una procedura offline e fondata per determinare un limite superiore su $K$.

• Operatore di Residuo Temporale: Viene costruito un operatore surrogato $A_{res}^{temp}$ a partire dalla autocovarianza del gradiente dello stato di memoria non osservabile $z(t)$ rispetto alla finestra di storia.
• Tracciamento del Rango: Utilizzando il framework INCRT (Incremental Rank-Tracking), viene stimato il rango effettivo di questo operatore. Tale rango funge da limite superiore per compressione sensoriale sul numero di teste di attenzione necessarie per rappresentare le dinamiche della memoria.
• Output: Viene prodotto un intero fisso $K^*$, che viene passato come iperparametro alla fase di addestramento.

Fase 2: Addestramento della Politica con Scudo

Il meta-controllore viene addestrato utilizzando Soft Actor-Critic (SAC) sotto un vincolo di ammissibilità protetto.

• Azione a Livello di Parametri: La politica genera le matrici di guadagno ($K_d, \Lambda$) e i pesi feed-forward ($\eta$) per una legge a coppia calcolata, anziché coppie grezze.
• Scudo Lyapunov: Una funzione di Lyapunov appresa $V_\psi$ (ereditata dal lavoro complementare) impone una condizione di stabilità. L'insieme ammissibile dei parametri del controllore è dimostrato essere un poliedro convesso sotto restrizioni feed-forward affini.
• Ciclo di Addestramento: L'agente SAC minimizza l'errore di inseguimento mentre un moltiplicatore di Lagrange impone la condizione di decrescita di Lyapunov. Una proiezione in tempo reale agisce come rete di sicurezza, sebbene gli autori dimostrino che, all'ottimo, l'attivazione dello scudo svanisce.

Quadro Teorico

Il lavoro stabilisce due risultati teorici chiave:

1. Divario di Ottimalità Markoviana: Viene derivato un limite inferiore sull'errore di inseguimento per qualsiasi controllore markoviano (senza memoria), mostrando che scala con la varianza condizionata della memoria non osservabile. Un controllore a finestra può ridurre questo errore a $o(\sigma_z^2)$ se la dimensione della finestra copre l'orizzonte della memoria.
2. Limite sul Numero di Teste: Il rango effettivo dell'operatore di residuo temporale fornisce un limite superiore non monotono sul numero di teste di attenzione richieste, raggiungendo il picco quando l'orizzonte della memoria corrisponde al prodotto del tempo della finestra.

3. Contributi Chiave

1. Limite Inferiore Quantitativo sull'Errore di Inseguimento: Il lavoro deriva un limite informale che mostra come il divario di prestazioni tra un controllore senza memoria e un controllore ottimale scala con la varianza a regime della memoria non osservabile. Dimostra che un meta-controllore a finestra può colmare questo divario se la lunghezza della finestra supera l'orizzonte della memoria.
2. Limite Temporale sul Numero di Teste: Viene introdotta una nuova adattamento temporale del framework INCRT. Costruisce un operatore di residuo dal gradiente dello stato di memoria per determinare il rango effettivo, fornendo un limite superiore fondato e non euristico sul numero di teste di attenzione necessarie.
3. Validazione Sperimentale su un Manipolatore a 2 DOF: Il metodo è stato valutato su un manipolatore con attrito di Stribeck e carichi variabili.
   • Regimi Corti/Corrispondenti: Un meta-controllore a strato singolo, basato solo su attenzione (INCRT-1L) con il numero di teste prescritto dalla Fase 1, supera significativamente una baseline Transformer più profonda (riduzione dell'errore di inseguimento del 12–19%) con grandi dimensioni dell'effetto ($d \approx -1.1$ a $-2.1$).
   • Efficienza Parametrica: All'orizzonte di memoria corto, il metodo proposto raggiunge prestazioni superiori con circa il 43% dei parametri della baseline Transformer.
   • Modalità di Fallimento in Regimi Lunghi: A orizzonti di memoria lunghi ($\tau_z = 5$ s), il vantaggio svanisce su un campione più ampio ($n=10$). L'analisi rivela una specifica modalità di fallimento in cui il 40% delle esecuzioni di addestramento diverge o collassa in una politica invariante al carico, attribuita alla natura statica della separazione Fase 1/Fase 2 e alla mancanza di ridondanza nell'architettura a strato singolo.

4. Risultati e Significato

Il lavoro rivendica rilevanza in tre aree specifiche, rimanendo modesto riguardo alle proprie limitazioni:

• Separazione delle Preoccupazioni: Lo studio dimostra che la domanda architettonica ("quante teste sono necessarie?") può essere separata dalla domanda di addestramento ("come ottimizzare la politica?"). La procedura offline di tracciamento del rango fornisce un limite superiore stretto che riduce lo spazio di ricerca della Fase 2 di un fattore 2–4 rispetto a una ricerca su griglia non vincolata.
• Efficienza Dipendente dal Contesto: L'efficienza parametrica del metodo non è incondizionata; è una conseguenza della specifica struttura di memoria del compito. Il metodo è altamente efficiente a orizzonti corti ma prescrive un numero di teste maggiore a orizzonti lunghi, invertendo il guadagno di efficienza.
• Identificazione di Limitazioni Strutturali: Il lavoro identifica esplicitamente una modalità di fallimento specifica per la pipeline statica Fase 1/Fase 2 a orizzonti di memoria lunghi. L'architettura a strato singolo basata solo su attenzione, sebbene efficiente, è vulnerabile al "silenzio dell'attenzione" durante l'addestramento, portando a un collasso invariante al carico. Questa scoperta motiva un futuro lavoro di follow-up in cui le dinamiche di tracciamento del rango vengono spostate all'interno del ciclo RL per consentire il pruning e la crescita delle teste di attenzione in tempo reale.

Cosa Non Viene Rivendicato:
Gli autori dichiarano esplicitamente che le loro dimostrazioni teoriche si basano su assunzioni di regolarità esplicite e non sono teoremi strutturali validi sotto ipotesi minime. Non rivendicano un'efficienza parametrica uniforme in tutti i regimi, né affermano che il metodo sia superiore ai Transformer a orizzonti di memoria lunghi (dove il vantaggio svanisce e i tassi di fallimento aumentano). Il lavoro si posiziona come un passo verso il controllo adattivo con memoria non osservabile, evidenziando sia l'efficacia della selezione dell'architettura basata sul rango sia le limitazioni specifiche delle prescrizioni architettoniche statiche nei regimi a orizzonte lungo.