Riepilogo Tecnico: Le metriche di curatela delle dimostrazioni influenzano la vostra policy

Definizione del Problema

Nella behavior cloning (BC), le prestazioni della policy sono fondamentalmente limitate dalla qualità delle dimostrazioni di addestramento. Sebbene i dataset su larga scala raccolti in contesti reali contengano spesso una qualità eterogenea dovuta alle variazioni di abilità dell'operatore o ai fallimenti delle policy scriptate, il rimedio standard — la curatela (punteggio e scarto delle epizodi di bassa qualità) — manca di un framework di valutazione unificato. La letteratura esistente propone diverse metriche di qualità (ad esempio, fluidità della traiettoria, rilevamento degli outlier), ma le valida principalmente sulla precisione del rilevamento (quanto bene una metrica classifica episodi puliti rispetto a quelli difettosi).

Questo articolo identifica una lacuna critica: la precisione del rilevamento non correla necessariamente con il valore di curatela (quanto migliora la policy a valle quando addestrata sul sottoinsieme curato). Una metrica potrebbe eccellere nel segnalare traiettorie insolite senza riuscire però a identificare quelle che sono più dannose per la policy appresa. Inoltre, gli autori ipotizzano che molti benchmark esistenti soffrano di un confondimento metodologico in cui le metriche sfruttano la lunghezza dell'episodio come un proxy banale per i difetti, gonfiando le prestazioni riportate.

Metodologia

Gli autori hanno progettato un banco di prova controllato utilizzando il benchmark LIBERO pick-and-place (basato su robosuite) per disaccoppiare l'accuratezza del rilevamento dalle prestazioni della policy a valle.

Configurazione Sperimentale

• Task: Un compito di pick-and-place ricco di contatti che coinvolge quattro fasi: approccio, discesa, sollevamento e trasporto.
• Architettura della Policy: Una policy di behavior cloning condizionata per fase (MLP con 2 strati nascosti, 256 unità) che riceve osservazioni a 26 dimensioni (posizione dell'end-effector, stato della pinza, posizione iniziale della ciotola e codifica one-hot della fase) e produce azioni a 4 dimensioni.
• Iniezione del Difetto: Un difetto strutturale è stato introdotto con un tasso di contaminazione dell'80%. Il difetto consiste nel rilascio precoce della pinza durante la fase di LIFT (tra il 30% e il 70% della fase), causando la caduta dell'oggetto prima del trasporto.
  • Dati Puliti: 16 dimostrazioni scriptate (successo al 100%).
  • Dati Difettosi: 64 dimostrazioni (successo allo 0%).
  • Baseline Contaminata: L'addestramento su tutti gli 80 episodi produce solo il 3,3% di successo nel task.
  • Oracle Ceiling: L'addestramento solo sulle 16 dimostrazioni pulite produce il 93,3% di successo.

Protocollo di Valutazione

Lo studio valuta sette metriche di curatela su due assi:

1. Rilevamento: Area sotto la curva ROC (AUROC) dello score di qualità della metrica rispetto alle etichette di successo reali.
2. Prestazioni a Valle: Tasso di successo del task di una policy BC addestrata sul top 75% delle dimostrazioni (60/80) curate da ciascuna metrica.

Controllo Critico: Normalizzazione della Lunghezza dell'Episodio

Gli autori hanno identificato che gli episodi difettosi nel loro setup arrivano al limite temporale (500 step) perché il robot continua a muoversi dopo aver lasciato l'oggetto, mentre gli episodi di successo terminano precocemente (~325 step). Per evitare che le metriche sfruttino questa differenza di lunghezza come proxy per i difetti, tutte le dimostrazioni sono state troncate a T=324 step prima dell'estrazione delle feature. Ciò assicura che le metriche si affidino a segnali basati sul contenuto piuttosto che sulla durata.

Contributi Chiave e Metriche Valutate

Il paper valuta sette metriche, che spaziano da semplici euristiche a metodi d'insieme complessi:

1. Smoothness (Fluidità): Spectral Arc Length (SPARC) della velocità di azione.
2. Entropy (Entropia): Deviazione standard negativa della sequenza di azioni.
3. Gripper Timing (Tempistica della Pinza): Timestep normalizzato del primo apertura della pinza (bersaglia specificamente il difetto iniettato).
4. Isolation Forest: Rilevamento di outlier nello spazio delle feature riassuntive delle azioni.
5. Ensemble: Combinazione pesata di Smoothness e Gripper Timing.
6. kNN: Distanza media negativa dai vicini più prossimi nello spazio delle feature della traiettoria.
7. Trajectory Alignment (Allineamento della Traiettoria): Similarità del coseno tra la traiettoria media dello stato di una dimostrazione e la media del set pulito.

Risultati

1. Forte Disaccoppiamento tra Rilevamento e Curatela

Il risultato centrale è la mancanza di correlazione (Spearman $\rho = -0.14$) tra l'AUROC di rilevamento e il successo della policy a valle.

• Il "Peggior" Rilevatore: Gripper Timing ha ottenuto l'AUROC di rilevamento più alto (0.804) ma ha prodotto la peggiore policy (13,3% di successo). È fallito perché ha mantenuto dimostrazioni difettose che aprivano la pinza più tardi (ma comunque troppo presto) mentre scartava dimostrazioni pulite che avevano accidentalmente una chiusura leggermente anticipata.
• Il "Miglior" Rilevatore: Trajectory Alignment ha avuto un AUROC basso (0.638) ma ha prodotto una policy con il 90,0% di successo (entro 3,3 punti percentuali dall'Oracle). Ha avuto successo perché il difetto strutturale (far cadere la ciotola) causava una grande deviazione nella traiettoria media dello stato, permettendo anche a una metrica imprecisa di separare gli episodi più dannosi.
• L'Oracle: Il metodo Ensemble ha ottenuto il 91,1% di successo con una varianza quasi nulla, dimostrando che combinare la qualità del movimento globale con indicatori di difetto localizzati per fase è altamente efficace.

2. Il Confondimento della Lunghezza dell'Episodio

Prima della troncatura, cinque delle sette metriche (inclusi Isolation Forest e kNN) hanno raggiunto un AUROC quasi perfetto (1.000) semplicemente rilevando la differenza nella lunghezza dell'episodio (325 vs 500 step). Dopo la troncatura:

• Lunghezza (percorso cumulativo): È scesa da 1.000 a 0.500 (caso fortuito).
• Isolation Forest: È scesa da 1.000 a 0.440.
• Gripper Timing: È rimasta alta (0.804) perché è consapevole del contenuto e normalizzata per lunghezza.
  Ciò conferma che molte metriche con alte prestazioni riportate in letteratura potrebbero misurare la durata dell'episodio piuttosto che la qualità della dimostrazione.

3. Varianza e Affidabilità

Metriche come kNN e Smoothness hanno mostrato un'alta varianza nel successo a valle (es. kNN $\pm 41,7\%$), indicando che le decisioni di curatela sono instabili tra i diversi seed casuali. Al contrario, Ensemble e Trajectory Alignment hanno mostrato una varianza quasi nulla, rendendoli più affidabili per pipeline di curatela a esecuzione singola.

Significato e Rivendicazioni

Il paper sostiene un cambio di paradigma nel modo in cui viene valutata la curatela delle dimostrazioni:

1. La Performance della Policy è l'Unica Metrica: L'AUROC di rilevamento è un cattivo predittore del valore di curatela. La "domanda corretta" non è quale metrica rileva meglio i difetti, ma quale metrica produce la migliore policy.
2. Rigore Metodologico: Qualsiasi benchmark di curatela deve controllare la lunghezza dell'episodio. Se gli episodi difettosi e quelli di successo differiscono sistematicamente in durata, le metriche di accuratezza del rilevamento stanno probabilmente misurando un confondimento piuttosto che la vera qualità.
3. Guida Pratica: I professionaggi dovrebbero dare priorità a metriche che producono policy a bassa varianza e alto successo (come Trajectory Alignment o gli Ensemble) rispetto a quelle con alto AUROC di rilevamento ma scarsi risultati a valle.

Gli autori concludono che il campo deve allontanarsi dai benchmark di rilevamento isolati verso la valutazione della policy end-to-end per garantire che i metodi di curatela migliorino effettivamente i risultati dell'apprendimento per imitazione. Il banco di prova, le implementazioni delle metriche e la pipeline di valutazione sono rilasciati per facilitare questo passaggio.