Riepilogo Tecnico: ReGuide

Definizione del Problema

Le policy di diffusione basate sul behavior cloning, pur essendo espressive nel modellare distribuzioni di azioni multimodali, rimangono vulnerabili al covariate shift (spostamento della distribuzione delle covariate). Piccole deviazioni dagli stati dimostrati possono causare l'interrogazione della policy su osservazioni al di fuori della propria distribuzione di addestramento, portando a errori cumulativi e al fallimento del compito. Ciò è particolarmente acuto nei compiti di manipolazione a lungo orizzonte.

Le soluzioni esistenti affrontano compromessi significativi:

• Espansione della Distribuzione di Addestramento: Metodi come DAgger richiedono un accesso continuo all'esperto per le correzioni, mentre l'augmentation dei dati si basa su assunzioni sulla struttura del compito o sulla dinamica locale.
• Guida al Tempo di Test: Metodi recenti (ad es., DynaGuide, Latent Policy Barrier) guidano una policy congelata durante l'inferenza utilizzando i gradienti di un modello di dinamica appreso. Tuttavia, questi approcci scartano le traiettorie corrette dopo l'esecuzione, non riuscendo a sfruttare i dati recuperati per il miglioramento della policy.

Metodologia: ReGuide

ReGuide è un framework di auto-miglioramento che trasforma la guida al tempo di test in un meccanismo per generare dati di recupero on-policy riutilizzabili. Opera attraverso un ciclo iterativo rollout–collect–train (rollout–raccolta–addestramento), composto da tre componenti principali:

1. Costruzione di Target per Fase (Phase-Aware Target Construction)

Per affrontare l'ambiguità dei target globali nei compiti a lungo orizzonte, ReGuide decompone le dimostrazioni in macro-fasi ordinate temporalmente.

• Augmentation delle Caratteristiche: Gli stati latenti vengono aumentati con differenze temporali (visive e propriocettive) per disambiguare stati visivamente simili appartenenti a diverse fasi del compito.
• Clustering: Le caratteristiche vengono raggruppate tramite PCA e ordinate per timestep per formare le macro-fasi.
• Set di Target: Per ogni fase $j$, viene costruito un set di centroidi rappresentativi $P_j$. Questo preserva la multimodalità all'interno delle fasi fornendo al contempo target di guida locali e precisi invece di un singolo manifold globale.

2. Guida Condizionata per Fase (Phase-Conditioned Guidance - PCG)

ReGuide utilizza un modello di dinamica appreso per guidare il processo di denoising della diffusione, ma con vincoli specifici per garantire la qualità dei dati:

• Guida dell'Azione Pulita (Clean-Action Guidance): A differenza della guida standard che differenzia attraverso gli iterati di denoising rumorosi, ReGuide adatta la Manifold Preserving Guided Diffusion (MPGD). Applica il gradiente di guida attraverso l'azione pulita stimata ($\hat{A}^0_t$), corrispondendo alla distribuzione su cui il modello di dinamica è stato addestrato.
• Gating a Due Soglie: La guida viene applicata solo nel regime "deviato-ma-recuperabile":
  • Una soglia inferiore impedisce interventi non necessari quando il rollout è già vicino al manifold dell'esperto.
  • Una soglia superiore impedisce l'affidamento a gradienti di dinamica estrapolativi quando il rollout è troppo lontano dalla distribuzione di addestramento.
  • Queste soglie sono specifiche per fase, adattandosi alla geometria locale di ogni stadio del compito.
• Switching di Fase: Il sistema traccia l'indice della fase corrente, avanzando solo quando lo stato latente predetto è costantemente più vicino ai target della fase successiva.

3. Apprendimento di Auto-Miglioramento Iterativo

I rollout guidati con successo vengono filtrati e assorbiti nuovamente nel set di addestramento per aggiornare la policy. Il framework supporta due meccanismi di aggiornamento complementari:

• ReGuide-FT (Fine-Tuning): Effettua il fine-tuning dell'attuale checkpoint su un mix del dataset originale e dei nuovi rollout guidati. Questo è computazionalmente efficiente e preserva la competenza esistente.
• ReGuide-FS (From Scratch): Riaddestra una nuova policy da zero sull'insieme di dati aumentato. Questo rimuove la dipendenza dal checkpoint iniziale, risultando benefico quando la base policy è una cattiva inizializzazione.
• Composizione: Questi possono essere impilati (ad es., ReGuide-FS seguito da ReGuide-FT) per combinare i punti di forza di entrambi gli approcci.

Contributi Chiave

1. Meccanismo di Generazione Dati: ReGuide inquadra la guida al tempo di test non solo come uno strumento di correzione, ma come un generatore di dati di recupero on-policy di alta qualità che catturano dove le policy deviano e come recuperare.
2. Guida Condizionata per Fase (PCG): Una strategia di guida innovativa che localizza i target nelle fasi del compito e limita la guida a regimi affidabili, prevenendo il collasso dei modi di comportamento validi.
3. Differenziazione dell'Azione Pulita: Adattare la guida per differenziare attraverso le azioni pulite stimate invece che attraverso gli iterati rumorosi, garantendo la compatibilità con i modelli di dinamica addestrati su dati puliti.
4. Ciclo Iterativo: Un framework che migliora iterativamente la policy senza richiedere ulteriori dimostrazioni dell'esperto, limitato solo dal tetto delle prestazioni dei dati auto-generati.

Risultati Sperimentali

Valutato su quattro compiti di manipolazione Robomimic (Can, Square, Transport, Tool Hang) in regimi di bassi dati:

• Guadagni di Performance: ReGuide migliora i tassi di successo della base-policy del 1,3–7,7×.
  • Tool Hang ha registrato il miglioramento più drammatico (7,7× con l'iterazione di ReGuide-FT), partendo da un tasso di successo base del 3%.
  • Can, Square e Transport hanno mostrato miglioramenti costanti (1,3–1,5×) con singole iterazioni, e ulteriori guadagni con composizione o iterazione.
• Confronto con LPB: In scenari di sola guida al tempo di test (senza fine-tuning), la PCG supera il baseline Latent Policy Barrier (LPB) in tutti i compiti valutati.
• Insight dalle Ablation:
  • Guidato vs Non Guidato: I guadagni sono attribuiti alla qualità dei dati di recupero guidati, non semplicemente al volume di ulteriori rollout.
  • Soglie (Thresholding): Il gating a due soglie è critico; rimuovere la soglia superiore riduce significativamente le prestazioni.
  • Multimodalità: Un numero intermedio di target di fase ($M \approx 50$) è ottimale; troppi pochi causano il collasso dei modi, mentre troppi diluiscono il segnale.
  • Iterazione: Una seconda iterazione di ReGuide-FT supera costantemente la prima, dimostrando la validità del ciclo di auto-miglioramento.

Significato e Dichiarazioni

L'articolo sostiene che ReGuide offre una soluzione pratica al problema del covariate shift nell'apprendimento per imitazione, trasformando lo "scarto" di traiettorie fallite o corrette in preziosi dati di addestramento. Trattando i rollout guidati come dati on-policy riutilizzabili, ReGuide consente alle policy di auto-migliorarsi iterativamente senza l'alto costo di un continuo intervento dell'esperto.

Gli autori sottolineano che il framework è modesto nella sua portata: si affida a un modello di dinamica fisso attraverso le iterazioni (per efficienza) e utilizza il filtraggio del successo a livello di traiettoria. Riconoscono che, sebbene il metodo funzioni bene in simulazione, è necessario ulteriore lavoro per affrontare la validazione su robot reali, la scoperta adattiva delle fasi e la calibrazione dell'incertezza per il modello di dinamica. Il contributo principale è la dimostrazione che i dati di recupero guidati sono più preziosi dei rollout non guidati, abilitando un ciclo chiuso di miglioramento della policy guidato esclusivamente dalle proprie esperienze corrette.