Sintesi Tecnica: PRISM – Rappresentazioni Polinomiali per il Controllo Motorio Strutturato per Interazioni

1. Definizione del Problema

Le standard policy per robot, tipicamente implementate come Multi-Layer Perceptrons (MLP), mappano le osservazioni (posizioni articolari, velocità, comandi, ecc.) direttamente in azioni. Sebbene gli MLP possano teoricamente approssimare funzioni complesse, essi trattano gli input come variabili di primo ordine. Tuttavia, molti quantitativi fisici critici che governano il comportamento del robot — come la potenza articolare, gli effetti inerziali, lo slittamento, l'impulso di contatto e la compliance — derivano da interazioni moltiplicative (prodotti) tra queste variabili osservabili.

Negli MLP standard, questi indizi di interazione rimangono latenti. La rete deve scoprire implicitamente queste relazioni dai dati, richiedendo spesso una capacità eccessiva per approssimare ciò che è fisicamente una relazione di secondo ordine o superiore. Semplicemente aumentare il numero di parametri (capacità del modello) non cambia la base di input; lascia la policy priva di una esplicita "base di interazione" allineata con la fisica sottostante. Inoltre, ottenere un comportamento compliant in compiti ricchi di contatto richiede solitamente sensori di forza espliciti, input di wrench o controller di ammettenza specializzati, che sono spesso non disponibili in scenari di deployment con sensori minimi.

2. Metodologia: PRISM

Gli autori introducono PRISM (Polynomial Representations for Interaction-Structured Motor Control), una rappresentazione della policy che rende le interazioni polinomiali tra le variabili fisiche osservabili esplicite, apprendibili e compatte.

Architettura Core

PRISM sostituisce il percorso di condizionamento lineare standard per gli input propriocettivi con un modulo polinomiale fattorizzato. Invece di enumerare esplicitamente tutti i termini monomiali (il che sarebbe computazionalmente inefficiente), PRISM utilizza proiezioni apprese per formare fattori latenti compatti.

Dato un vettore di input propriocettivo $x_t$, PRISM calcola due fattori affini appresi:
$$u_t = W_1 x_t + b_1$$
$$v_t = W_2 x_t + b_2$$

La rappresentazione del secondo ordine è costruita come:
$$\psi_2(x_t) = u_t \odot (1 + \alpha_2 \odot v_t) = u_t + \alpha_2 \odot (u_t \odot v_t)$$
dove $\odot$ denota la moltiplicazione elemento per elemento e $\alpha_2$ è un parametro apprendibile inizializzato vicino allo zero. Questo design permette alla policy di mantenere le caratteristiche lineari dove sufficienti, mentre impara a rafforzare le interazioni quadratiche dove benefico.

Il framework si estende ricorsivamente al grado $K$:
$$\psi_k(x_t) = \psi_{k-1}(x_t) \odot [1 + \alpha_k \odot (W_k x_t + b_k)]$$
Questo preserva tutti i percorsi di ordine inferiore aggiungendo al contempo termini di interazione di ordine superiore senza espansione esplicita.

Integrazione nei Paradigmi di Apprendimento

• Reinforcement Learning (RL): PRISM aumenta la rete dell'attore applicando il modulo polinomiale agli stati propriocettivi disponibili durante il deployment prima che entrino nello standard backbone MLP. Lo spazio delle azioni, la funzione di reward e i controller di basso livello rimangono invariati.
• Imitation Learning (IL): Nelle Diffusion Policies, PRISM sostituisce lo standard strato di condizionamento lineare propriocettivo con lo strato di interazione polinomiale. Questo strato viene addestrato end-to-end con la policy, combinandosi con le feature visive e linguistiche per la predizione dell'azione.

Fondamentalmente, PRISM non richiede sensori aggiuntivi (forza, tattili, wrench) né input fisici privilegiati (etichette di contatto, attrito del terreno) durante il deployment.

3. Contributi Chiave

1. Identificazione di un Limite: Il paper identifica che le policy MLP predefinite ricevono solo variabili fisiche di primo ordine, fallendo nel rappresentare esplicitamente le interazioni moltiplicative essenziali per il controllo (ad esempio, coppia $\times$ velocità per la potenza).
2. Architettura PRISM: Una rappresentazione della policy polinomiale compatta e fattorizzata che rende queste interazioni esplicite e apprendibili senza enumerare tutti i monomiali. Supporta l'attivazione graduale in RL e può sostituire il condizionamento lineare nelle Diffusion Policies.
3. Validazione Empirica: Dimostrare che la modellazione strutturata delle interazioni produce guadagni di performance rispetto sia agli MLP standard che ad MLP più grandi con capacità equivalente, provando che la struttura di interazione non può essere sostituita dal semplice conteggio dei parametri.

4. Risultati Sperimentali

Gli autori hanno valutato PRISM su Humanoid-Gym (locomozione) e LIBERO (manipolazione ricca di contatto).

Locomozione Umanoide (Humanoid-Gym)

• Performance: PRISM ha superato significativamente sia un MLP standard che un "Larger MLP" (con quasi il doppio dei parametri rispetto al baseline) in termini di lunghezza dell'episodio, errore di tracciamento della velocità lineare/yaw e tasso di sopravvivenza.
• Stabilità: PRISM ha mostrato limiti di convergenza più stretti attraverso i seed di training e una riduzione del drift di velocità rispetto ai baseline.
• Conclusione: Il salto di performance è guidato dalla modellazione esplicita delle interazioni moltiplicative, non semplicemente dall'aumento della capacità del modello.

Manipolazione Ricca di Contatto (LIBERO)

• Compliance senza Sensori: PRISM ha raggiunto un tasso di successo del 91.0%, superando significativamente la standard Diffusion Policy (63.8%) e un controller di compliance senza sensori (MCC-Sensorless, 47.8%).
• Comportamento: PRISM ha esibito un comportamento compliant emergente: ha mantenuto un approccio ad alta velocità nello spazio libero, ma ha soppresso istantaneamente la velocità al contatto, regolando le forze senza input di forza/tattili. Questo ha superato l'MCC-Sensorless, che soffriva di risposte ritardate ed elevate forze d'impatto.
• Agnosticismo del Backbone: Quando integrato in backbone più forti (BFM-Zero per la locomozione, SmolVLA per la manipolazione), PRISM ha continuato a superare controlli con capacità maggiore, confermando che il beneficio è architettonico, non solo di capacità.

Analisi delle Quantità Fisiche

• Linear Probing: I linear probe addestrati sulle rappresentazioni di PRISM congelate hanno predetto quantità ispirate alla meccanica (velocità di slittamento, potenza articolare, impulso di contatto, lavoro di contatto) con un errore quadratico medio (MSE) significativamente inferiore e coefficienti di correlazione di Pearson (PCC) più alti rispetto ai baseline.
• Interazioni Emergenti: Gli studi di ablazione hanno rivelato che i fattori appresi più impattanti corrispondevano a accoppiamenti fisicamente significativi, come la "memoria della velocità" (velocità attuale $\times$ velocità passata) e l' "accoppiamento velocità-articolazione", confermando che il modello apprende strutture fisiche rilevanti per il compito.

5. Significato e Rivendicazioni

Il paper sostiene che le rappresentazioni polinomiali dovrebbero diventare una scelta architettonica standard per il controllo motorio incarnato (embodied control).

• Bias Induttivo Allineato alla Fisica: Rendendo esplicite le strutture di interazione, PRISM allinea il bias induttivo della policy con la realtà fisica della dinamica del robot, dove il controllo dipende spesso dai prodotti delle variabili di stato.
• Compliance Sensorless: PRISM dimostra che un comportamento compliant e consapevole del contatto può essere appreso puramente dalla propriocezione e dagli input visivi, eliminando la necessità di costosi o fragili sensori di forza/tattili durante il deployment.
• Efficienza rispetto alla Capacità: I risultati suggeriscono che migliorare le performance della policy non è solo una funzione della scalabilità della dimensione del modello; piuttosto, modellare esplicitamente la struttura di interazione delle variabili fisiche produce una maggiore efficienza dei dati e robustezza.

Gli autori concludono che, sebbene PRISM assuma che i segnali chiave siano catturati da polinomi di basso grado e possa avere difficoltà con la storia a lungo termine o la geometria non osservata, offre una soluzione robusta e deployable per il controllo strutturato per interazioni attraverso diverse morfologie e compiti robotici.