Riepilogo Tecnico: MSE dell'Intervallo Critico per la Validazione Offline nella Manipolazione Robotica

1. Definizione del Problema

La valutazione nel mondo reale (rollout della policy su hardware fisico) è il gold standard per valutare le policy di manipolazione robotica, ma funge da collo di bottiglia per l'iterazione rapida dei modelli a causa degli alti costi, dei problemi di riproducibilità e della scarsità di dati. Sebbene la validazione offline utilizzando dimostrazioni tenute da parte (held-out) offra un'alternativa economica e riproducibile, la metrica standard — l'Errore Quadratico Medio (MSE) sull'intero spazio delle azioni — correla scarsamente con il successo del compito nel mondo reale.

Il disallineamento fondamentale deriva dal fatto che le traiettorie contengono molti istanti temporali "non critici" (ad esempio, stabilizzazione inattiva, movimenti di transito ampi) dove gli errori di azione sono grandi ma irrilevanti per il completamento del compito. Al contrario, gli intervalli "critici" (ad esempio, presa, contatto, allineamento fine) sono brevi, sensibili all'errore e causalmente legati al successo. La media degli errori sull'intera traiettoria oscura i segnali di performance, poiché la metrica è dominata da segmenti non informativi ad alto errore. Inoltre, le metriche offline standard spesso ignorano le procedure di rollout (ad esempio, ensembling temporale, action chunking) che alterano materialmente il comportamento della policy.

2. Metodologia: MSE dell'Intervallo Critico (CI-MSE)

Il documento propone il CI-MSE (Critical Interval MSE), una metrica di validazione offline progettata per allineare il calcolo dell'errore con i segmenti critici del compito e con i comportamenti di esecuzione durante il rollout. La metodologia si compone di tre componenti principali:

3.1 Filtraggio dell'Intervallo Critico

Invece di mediare gli errori sull'intera traiettoria, il CI-MSE restringe il calcolo dell'errore agli intervalli critici — segmenti contigui in cui l'accuratezza dell'azione impatta sproporzionatamente sul risultato del compito (ad esempio, contatto con l'oggetto, inserimento).

• Automazione: Gli intervalli critici sono identificati automaticamente utilizzando un Modello Vision-Language (VLM) con prompting few-shot su video di dimostrazione. Ciò crea una pipeline di annotazione agnostica rispetto al compito che richiede un minimo sforio umano.
• Filtraggio: La metrica calcola l'errore solo sugli istanti temporali all'interno di questi intervalli identificati ($D_{crit}$), scartando efficacemente gli istanti temporali non informativi che dominano l'MSE grezzo.

3.2 Allineamento dell'Azione per la Validazione Offline

Per corrispondere meglio al comportamento durante il rollout, il CI-MSE incorpora le procedure di inferenza direttamente nel processo di validazione:

• Ensembling Temporale e RTC: La metrica applica la stessa logica di ensembling temporale o di Real-Time Chunking (RTC) utilizzata durante il deployment. Ciò comporta la media delle predizioni di azione da chunk sovrapposti o l'uso di chunk sovrapposti per guidare la generazione, modellando così gli effetti di smoothing e di riduzione della varianza del rollout.
• Dynamic Time Warping (DTW): Per tenere conto dei disallineamenti temporali (ad esempio, lievi sfasamenti nella presa), il CI-MSE utilizza il DTW per trovare un percorso di allineamento monotono tra le sequenze di azioni predette e quelle dell'esperto. Ciò minimizza l'errore accumulato senza penalizzare offset temporali innocui, mentre un vincolo sulla dimensione della finestra previene un warping eccessivo che potrebbe nascondere i fallimenti.

3.3 Classifica Stabile tramite Elo

Per gli esperimenti nel mondo reale, dove i tassi di successo binari sono troppo grossolani e i conteggi delle prove sono limitati, gli autori raccomandano l'uso di un sistema di classificazione in stile Elo. Questo sistema aggiorna i punteggi delle policy basandosi su confronti a coppie tra le prove, fornendo una classifica più stabile rispetto ai punteggi scalari di successo parziale.

3. Contributi Chiave

1. Introduzione del CI-MSE: Una metrica offline semplice ma efficace che filtra gli istanti temporali non critici e si allinea al comportamento di esecuzione durante il rollout (tramite ensembling/DTW).
2. Validazione Empirica: Esperimenti estesi sia in simulazione che in contesti reali che dimostrano come il CI-MSE superi significativamente l'MSE grezzo nel predire le performance di rollout.
3. Analisi di Robustezza: Valutazione sistematica che mostra come il CI-MSE rimanga efficace sotto varie distribuzioni di shift (layout dell'oggetto, visivo e skill OOD) ed è robusto rispetto alle scelte degli iperparametri entro intervalli ragionevoli.

4. Risultati Sperimentali

Esperimenti in Simulazione

Utilizzando 27 checkpoint di modelli variabili per architettura, scala dei dati, step di addestramento, PEFT, dimensione della testa d'azione e backbone VLM:

• Miglioramento della Correlazione: Il CI-MSE ha ottenuto una correlazione di rango di Spearman ($\rho$) di −0,87 con i tassi di successo del rollout, rispetto a −0,61 per l'MSE grezzo. La correlazione di Pearson ($r$) è migliorata da −0,56 (MSE grezzo) a −0,74 (CI-MSE).
• Sensibilità alle Varianti: L'MSE grezzo ha fallito nel predire correttamente le performance variando la scala dei dati (mostrando una correlazione positiva di $\rho=0,90$, implicando che un errore minore correla con una performance peggiore). Il CI-MSE ha mantenuto una forte correlazione negativa ($\rho=-0,90$) attraverso tutte le famiglie di varianti, classificando correttamente i modelli indipendentemente da come la policy fosse stata modificata.

Esperimenti nel Mondo Reale

Valutati su un braccio Franka attraverso quattro compiti (versare acqua, sistemare mouse, piegare asciugamano, scollegare spina):

• Performance Cross-Domain: Il CI-MSE ha mostrato un accordo quasi perfetto nella validazione cross-environment per "pour-water" ($\rho=-1,00$) e "arrange-mouse" ($\rho=-1,00$).
• Gestione dei Confounder: Nei compiti in cui i dati di validazione e di addestramento sono stati raccolti da operatori diversi (introducendo mismatch di stile), le correlazioni si sono indebolite per entrambe le metriche, evidenziando la sensibilità della validazione offline ai protocolli di raccolta dati. Tuttavia, il CI-MSE ha comunque fornito un segnale più forte rispetto all'MSE grezzo nella maggior parte dei casi.

Analisi di Sensibilità

La metrica è stata trovata robusta alle variazioni degli iperparametri:

• Ensemble Horizon: Le performance hanno raggiunto il picco a $H=8$ e sono rimaste stabili per variazioni moderate.
• Finestra DTW: Una finestra piccola ($W=1$) ha fornito i risultati migliori; finestre più grandi hanno degradato la correlazione.
• Annotazione dell'Intervallo: La metrica ha tollerato spostamenti moderati nei confini degli intervalli critici (fino al 40% della lunghezza dell'intervallo) senza una degradazione significativa, indicando che non è fragile rispetto all'imprecisione dell'annotazione.

5. Significato e Rivendicazioni

Gli autori posizionano il CI-MSE non come un sostituto dei rollout nel mondo reale, ma come uno strumento affidabile per accelerare l'iterazione della policy. Filtrando il rumore dagli istanti temporali non critici e tenendo conto dei comportamenti di deployment, il CI-MSE fornisce un segnale di validazione che è:

• Più Predittivo: Fortemente correlato al successo nel mondo reale attraverso diverse varianti di modello.
• Robusto: Efficace sotto shift di distribuzione e insensibile a una ragionevole calibrazione degli iperparametri.
• Pratico: Permette ai ricercatori di confrontare modelli vicini (ad esempio, lievi cambiamenti di architettura o dataset) senza il costo proibitivo dei rollout fisici.

Il documento conclude che, sebbene la validazione offline non possa catturare completamente le complessità della dinamica fisica o i nuovi modi di fallimento, il CI-MSE migliora significativamente la fedeltà dei benchmark offline, permettendo cicli di apprendimento robotico più efficienti e basati sui dati.