Phase-Localized Curation Does Not Help: A Negative Result on Per-Phase Metric Selection for Demonstration Filtering

Sintesi Tecnica: La Curatela Localizzata per Fase Non Aiuta

Enunciato del Problema
La curatela delle dimostrazioni per il behavior cloning è critica quando si addestra su dati di qualità mista, tuttavia studi recenti hanno stabilito un controintuitivo disaccoppiamento tra l'accuratezza della rilevazione e il valore della curatela: una metrica con il più alto AUROC di rilevamento dei difetti non produce necessariamente la policy migliore quando utilizzata come filtro. Un'ipotesi naturale per rimediare a ciò è la curatela localizzata per fase. Poiché i compiti di manipolazione possiedono strutture temporali di fase (ad es., approccio, presa, sollevamento, trasporto) e i difetti spesso si localizzano in fasi specifiche, è plausibile che assegnare un punteggio a ogni fase con la metrica localmente più informativa e aggregare i risultati possa superare la punteggiatura globale. Questo articolo testa l'ipotesi che segmentare le traiettorie in fasi e applicare la selezione delle metriche per fase migliori gli esiti della curatela rispetto a strategie uniformi o globali.

Metodologia e Testbed
Gli autori valutano questa ipotesi su tre compiti di pick-and-place ricchi di contatto dal benchmark LIBERO, costruito sul simulatore robosuite.

• Modello di Difetto: Viene iniettato un difetto strutturale controllato di tipo "rilascio anticipato", in cui il gripper si apre prematuramente durante la fase di LIFT (30–70% della durata della fase), causando la caduta dell'oggetto. Questo difetto è localizzato in una singola fase e non si media attraverso il dataset.
• Configurazione dei Dati: I set di addestramento consistono in 80 dimostrazioni (tasso di contaminazione dell'80%: 64 difettose, 16 pulite). Le policy sono addestrate sul top 75% delle dimostrazioni curate (60 traiettorie).
• Policy: Un MLP di behavior-cloning condizionato alla fase (2 strati nascosti, 256 unità) addestrato per 300 epoche.
• Strategie di Curatela Confrontate:
  1. Globale: Una singola metrica viene calcolata sull'intera traiettoria troncata per classificare tutte le dimostrazioni.
  2. Uniforme: Una singola metrica è applicata identicamente a ogni fase, e i punteggi per fase vengono aggregati. Ciò isola l'effetto dei meccanismi di aggregazione dalla variazione delle metriche.
  3. Phase-Gated (Proposta): Le traiettorie sono segmentate in quattro fasi (PREGRASP, DESCEND, LIFT, TRANSPORT). Per ogni fase, una ricerca (sweep) identifica la metrica localmente più discriminante. Questi punteggi per fase sono normalizzati per rango e mediati per produrre una classificazione finale della curatela.
• Valutazione: I tassi di successo sono misurati su 30 rollout per cinque seed casuali per condizione.

Risultati Chiave
Lo studio produce un risultato costantemente negativo: la curatela phase-gated non è mai la strategia migliore ed è spesso la peggiore.

• Performance: In tutti e tre i compiti, la curatela phase-gated non è riuscita a superare sia il baseline uniforme che il baseline globale.
  • Task 1: La fase-gated (86.0%) è stata la peggiore, restando indietro rispetto alle strategie globale (92.0%) e uniforme (91.3%).
  • Task 3: La fase-gated (22.7%) è stata la peggiore, sottoperformando significativamente l'uniforme (48.0%) e la globale (30.7%).
  • Task 2: La fase-gated (78.0%) ha battuto la metrica globale (58.0%), ma ha perso contro il baseline uniforme (83.3%), indicando che il miglioramento derivava dall'uso di una metrica migliore, non dalla decomposizione in fasi.
• Trasferibilità: La selezione della metrica per fase non si trasferisce tra i compiti. La Tabella III mostra che nessuna fase condivide la stessa metrica "vincente" tra due compiti diversi, rendendo necessaria una nuova, rumorosa e costosa ricerca per ogni nuovo compito.

Meccanismo di Fallimento: Diluizione del Segnale
Il paper identifica la diluizione del segnale sotto l'aggregazione dei ranghi come il meccanismo concreto di fallimento.

• Il segnale del difetto è concentrato interamente nella fase LIFT. La metrica sensibile a questo difetto (tempistica del gripper) trasporta un segnale pulito e ad alto peso quando applicata globalmente o uniformemente.
• Nell'approccio phase-gated, la fase LIFT viene punteggiata correttamente, ma le altre tre fasi prive di difetti vengono punteggiate basandosi sul rumore (poiché non c'è alcun difetto da rilevare in quelle fasi).
• Quando i ranghi vengono aggregati, il segnale concentrato e informativo della fase LIFT viene diluito dai ranghi rumorosi e non informativi delle altre fasi. Ciò permette alle dimostrazioni difettose (che appaiono normali nelle fasi senza difetti) di classificarsi più in alto rispetto alle dimostrazioni pulite (che possono apparire leggermente anomale nelle fasi prive di difetti).
• Un fallback basato su una soglia di confidenza è stato testato ma non è riuscito a salvare il metodo perché le fasi prive di difetti sono state selezionate "con fiducia" come irrilevanti, e il meccanismo di diluizione è rimasto attivo.

Significatività e Contributi
Il documento apporta quattro contributi primari:

1. Limite Empirico: Fornisce un test controllato e multi-task che mostra come la curatela phase-gated non migliori le strategie più semplici e sia spesso inferiore.
2. Spiegazione Meccanicistica: Spiega perché il metodo fallisce (diluizione del segnale), prevedendo che la decomposizione in fasi sia deleteria quando i difetti sono concentrati in una singola fase.
3. Mancanza di Trasferibilità: Dimostra che la selezione della metrica per fase non è riutilizzabile tra i compiti, rimuovendo il principale argomento pratico per l'adozione del metodo.
4. Guida Pratica: Gli autori sostengono che i professionisti dovrebbero dare priorità all'identificazione di una singola metrica informativa del difetto e applicarla uniformemente, piuttosto che scomporre la curatela per fase.

Limitazioni e Ambito
Gli autori limitano esplicitamente le loro affermazioni al contesto specifico dei difetti strutturali concentrati in una singola fase, alti tassi di contaminazione e compiti ricchi di contatto. Non affermano che la fase-gating fallisca per difetti che sono genuinamente distribuiti su più fasi, osservando che tali difetti distribuiti sono meno comuni nella pratica (ad es., oggetti che cadono, prese mancate). I risultati si basano sull'ordine coerente tra i seed piuttosto che sulle sole differenze medie, data l'alta varianza osservata nel behavior cloning con piccoli set curati.