🤖 machine learning

Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control

Questo articolo introduce un meccanismo transformer a incremento a runtime che espande e pota dinamicamente le teste di attenzione durante l'apprendimento per rinforzo in base alla capacità rappresentativa del contesto e alla ridondanza delle teste, eliminando così i fallimenti catastrofici nel controllo adattivo a lungo termine di manipolatori robotici con memoria dell'attrito non osservabile e rimuovendo la necessità di costosi sintonizzaggi offline degli iperparametri.

Autori originali: Giansalvo Cirrincione, Adriano Fagiolini

Pubblicato 2026-09-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Giansalvo Cirrincione, Adriano Fagiolini

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I robot che si muovono con precisione, come le braccia utilizzate nelle fabbriche per assemblare auto o manipolare materiali delicati, si affidano a una matematica complessa per sapere quanta forza applicare. Per decenni, gli ingegneri hanno utilizzato un metodo chiamato controllo della coppia computata (computed-torque control), che calcola la spinta o la trazione esatta necessaria per spostare un giunto verso un punto desiderato. Questo funziona bene quando il movimento del robot è prevedibile, ma le macchine del mondo reale affrontano un problema nascosto: l'attrito. Mentre parte dell'attrito è semplice e costante, altri tipi, come il comportamento di scivolamento viscoso noto come attrito di Stribeck, dipendono da uno stato interno nascosto che cambia nel tempo. Poiché i sensori di un robot non possono vedere direttamente questo stato nascosto, il sistema perde la capacità di prevedere il proprio comportamento futuro basandosi solo sulla posizione attuale. Per risolvere questo problema, i ricercatori si sono rivolti all'intelligenza artificiale, specificamente a un tipo di apprendimento chiamato apprendimento per rinforzo (reinforcement learning), in cui un programma informatico impara attraverso tentativi ed errori. Tuttavia, questi programmi utilizzano spesso una specifica caratteristica architettonica chiamata meccanismo di attenzione, che agisce come un riflettore, permettendo all'IA di concentrarsi su diverse parti della sua storia recente. Il numero di questi riflettori, o "teste", è solitamente fisso prima dell'inizio dell'addestramento, scelto attraverso un lungo ed costoso processo di ricerca. Se il numero scelto è troppo piccolo, il robot fallisce l'apprendimento; se è troppo grande, il sistema diventa inefficiente.

I ricercatori dietro questo studio hanno cercato di correggere questa rigidità creando un sistema capace di cambiare idea mentre sta imparando. Hanno sviluppato un nuovo controllore che non decide il numero di teste di attenzione in anticipo. Inveve, osserva le proprie prestazioni durante il processo di addestramento e aggiunge nuove teste quando sente di essere sopraffatto dalla complessità del compito, o le rimuove quando si rende conto che alcune non stanno facendo nulla. Questo avviene in tempo reale, senza interrompere il processo di apprendimento. Il sistema utilizza due segnali semplici per prendere queste decisioni. Primo, misura quanta nuova informazione arriva dalla storia del robot; se l'informazione è troppo complessa per l'attuale numero di teste, il sistema ne crea una nuova. Secondo, controlla quanto ogni testa contribuisce alla decisione finale; se una testa contribuisce pochissimo, il sistema la rimuove silenziosamente. Fondamentalmente, i ricercatori hanno progettato il sistema in modo che l'aggiunta o la rimozione di una testa non causi un salto improvviso o un errore nel comportamento del robot. Quando viene aggiunta una nuova testa, essa inizia con un'influenza pari a zero, garantendo che il movimento del robot rimanga fluido. Quando una testa viene rimossa, il cambiamento è così piccolo da non interrompere l'apprendimento.

Il team ha testato questo approccio su un braccio robotico simulato a due giunti che affrontava diversi livelli di memoria dell'attrito, spaziando da ritardi a breve termine a ritardi a lungo termine. In esperimenti precedenti che utilizzavano un numero fisso di teste, il sistema falliva completamente negli scenari più difficili a lunga memoria, causando spesso la perdita di controllo del robot o l'ignoranza del peso che stava trasportando. Con il nuovo sistema regolabile in tempo di esecuzione, il robot ha avuto successo in ogni singolo test, anche nei casi difficili in cui il vecchio metodo falliva. I ricercatori hanno scoperto che il sistema non ha scoperto un numero specifico di teste "naturale" intrinseco al compito; al contrario, ha saturato il limite massimo di teste in ogni esecuzione della campagna principale, e il trigger di potatura (prune trigger) non è mai scattato per rimuovere le teste inutilizzate. Interessante è che il beneficio non derivava dalla dimensione finale del sistema, ma dal modo in cui esso cresceva. Il processo graduale di aggiunta delle teste ha agito come un curriculum di addestramento, aiutando il robot a imparare passo dopo passo invece di essere gettato in un compito complesso tutto in una volta. Ciò suggerisce che la capacità di adattare l'architettura durante l'apprendimento sia più importante di avere una struttura massiccia e pre-costruita. Il risultato è un modo più robusto ed efficiente per insegnare ai robot come gestire l'attrito disordinato e imprevedibile del mondo reale, eliminando la necessità di costose ricerche per tentativi ed errori per trovare le impostazioni corrette prima che il robot si muova.

Sintesi Tecnica: Runtime-Incremental Transformer per il Controllo Adattivo Basato su Reinforcement Learning

Definizione del Problema
Il paper affronta la sfida dell'apprendimento di un controllo adattivo per manipolatori robotici soggetti a memoria di attrito non osservabile, specificamente l'attrito di Stribeck. In tali sistemi, la forza di attrito dipende da uno stato interno nascosto con un orizzonte di memoria finito ( $\tau_z$ ), rendendo il sistema a ciclo chiuso non-Markoviano rispetto alle misure rilevate. Il lavoro precedente degli autori (INCRT-1L) utilizzava un encoder transformer a singolo strato con un numero fisso di teste di attenzione ( $K$ ) per elaborare una finestra scorrevole di misurazioni passate. Tuttavia, questo approccio si affidava a una procedura offline a due fasi (Fase-1/Fase-2) per selezionare $K$ tramite un'analisi di un operatore surrogato. Sebbene efficace per orizzonti di memoria brevi e medi ( $\tau_z \in \{1, 2\}$ s), questo approccio a capacità fissa ha subito fallimenti catastrofici nel 40% dei seed di addestramento ad orizzonti di memoria lunghi ( $\tau_z = 5$ s). Tali fallimenti sono stati attribuiti ad attrattori locali nel panorama di ottimizzazione del reinforcement learning (RL) che erano invisibili all'analisi surrogata offline.

Metodologia: Runtime-INCRT
Il paper introduce Runtime-INCRT, un meccanismo che aumenta e pota dinamicamente le teste di attenzione dell'encoder transformer durante il ciclo di addestramento del reinforcement learning, eliminando la necessità di una ricerca offline dell'architettura.

Architettura a Teste Variabili: Il meta-controller impiega un blocco transformer con una capacità massima di $K_{max}$ teste. In ogni step di addestramento $t$ , una maschera attiva determina l'attuale numero di teste $K(t)$ .
Trigger di Runtime:
- Crescita (Growth): Innescata quando il rango effettivo ( $\hat{\rho}_\alpha$ ) della distribuzione dei token di contesto on-policy supera la capacità attuale scalata da una soglia ( $K(t)(1+\epsilon_{grow})$ ). Ciò indica che la capacità rappresentativa attuale è insufficiente per catturare la complessità della distribuzione di input della policy.
- Potatura (Pruning): Innescata quando l'entità relativa dell'output di una testa attiva scende al di sotto di una soglia ( $\epsilon_{prune}$ ), segnalando la testa come ridondante.
Vincoli Operativi:
- Cooldown: Un numero minimo di step ( $\Delta_{grace}$ ) è imposto tra gli eventi per permettere alla policy di adattarsi.
- Inizializzazione Soft (Soft Initialization): Quando viene aggiunta una nuova testa, la sua matrice di proiezione dell'output ( $W^O$ ) viene inizializzata a zero. Ciò assicura che la nuova testa contribuisca inizialmente con un output nullo, preservando la continuità della policy.
- Limite di Potatura (Pruning Bound): Quando una testa viene rimossa, la variazione nell'output della policy è limitata dalla soglia di potatura.

Garanzie Teoriche
Gli autori stabiliscono tre garanzie analitiche per garantire la stabilità del processo di apprendimento:

Zero-Loss alla Crescita (Proposizione 7): Grazie all'inizializzazione soft ( $W^O=0$ ), l'aggiunta di una testa non produce cambiamenti nell'output della policy al momento della crescita.
Limite di Continuità della Policy (Teorema 9): La discontinuità cumulativa introdotta dagli eventi di potatura è limitata linearmente dal numero di eventi di potatura e dalla soglia $\epsilon_{prune}$ .
Convergenza del Numero di Teste (Proposizione 11): Fornito che il rango effettivo empirico della distribuzione del contesto si stabilizzi, il numero di teste attive $K(t)$ converge a un intervallo di stato stazionario determinato dalle soglie di crescita e potatura.

Risultati Sperimentali
Il metodo è stato valutato su un manipolatore a 2 gradi di libertà (2-DOF) con attrito di Stribeck attraverso tre regimi di memoria ( $\tau_z \in \{1, 2, 5\}$ s) utilizzando 10 seed casuali per regime (30 esecuzioni totali).

Tasso di Successo: Runtime-INCRT ha raggiunto un tasso di successo del 100% (30/30 esecuzioni), eliminando con successo la modalità di fallimento ad lungo orizzonte osservata nel baseline a $K$ fisso.
Performance: Ha ottenuto il successo totale in tutti i regimi di memoria con un unico set di iperparametri, superando l'approccio a $K$ fisso che falliva a $\tau_z = 5$ s.
Dinamiche di Capacità: Contrariamente all'aspettativa che il controller adatterebbe $K(t)$ alla complessità del compito, il meccanismo ha saturato il limite massimo di teste ( $K_{max}=8$ ) in tutte le esecuzioni. Il trigger di potatura non è mai stato attivato.
Approfondimenti dall'Ablazione:
- Variando $K_{max}$ a $\tau_z = 2$ s, si è osservato che capacità minori ( $K_{max}=2$ ) producevano una performance media migliore e una varianza inferiore rispetto a capacità maggiori ( $K_{max}=16$ ), suggerendo che una capacità maggiore non migliora intrinsecamente le prestazioni.
- La performance era non-monotona rispetto al parametro di cooldown ( $\Delta_{grace}$ ), con il valore predefinito che risultava ottimale.
- Conclusione sul Meccanismo: Gli autori concludono che il beneficio di Runtime-INCRT deriva dalla traiettoria di addestramento piuttosto che dalla capacità terminale. L'attivazione graduale delle teste agisce come un curriculum di capacità implicito all'interno di una singola esecuzione di RL, guidando l'ottimizzatore lontano da cattivi attrattori locali.

Significatività e Rivendicazioni
Il paper sostiene che Runtime-INCRT offre un'alternativa fondata alla ricerca offline dell'architettura per il controllo adattivo in ambienti non-Markoviani. Il suo contributo primario è la dimostrazione che l'adattamento a runtime della capacità del modello, guidato dal rango effettivo della distribuzione dei dati on-policy, può risolvere i fallimenti di ottimizzazione associati a lunghi orizzonti di memoria. Gli autori sottolineano che il metodo elimina la necessità di una ricerca per-task degli iperparametri per il numero di teste e fornisce garanzie analitiche sulla continuità della policy, distinguendosi dagli approcci standard di "restart-and-resize". Il lavoro suggerisce che il processo di crescita della capacità funge da fondamentale bias induttivo per un addestramento RL di successo in compiti di controllo complessi, piuttosto che la dimensione finale del modello sia l'unico determinante del successo.

Articoli simili