Sintesi Tecnica: RoDiF – Fine-Tuning Diretto Robusto di Politiche di Diffusione con Feedback Umano Corrotto

1. Definizione del Problema

Le politiche di diffusione sono emerse come un paradigma potente per il controllo robotico, offrendo capacità superiori nel catturare distribuzioni multimodali e nel gestire spazi di azione ad alta dimensionalità rispetto alle tradizionali politiche gaussiane o deterministiche. Tuttavia, il fine-tuning di queste politiche pre-addestrate per allinearle a preferenze umane specifiche presenta due sfide fondamentali:

1. Disallineamento Strutturale: A differenza dei modelli linguistici autoregressivi, le politiche di diffusione operano tramite una catena di denoising multi-step annidata all'interno del Processo Decisionale di Markov (MDP) ambientale. I metodi esistenti di Ottimizzazione Diretta delle Preferenze (DPO) non tengono conto nativamente di questa duplà struttura temporale (passaggi di denoising interni vs. dinamiche ambientali esterne), rendendo la derivazione di un obiettivo DPO trattabile non banale.
2. Feedback Umano Corrotto: Il feedback umano nel controllo robotico è spesso stocastico e contiene incongruenze che vanno oltre gli standard assunzioni di rumore (ad esempio, inversioni di etichette, disaccordo tra annotatori o criteri non stazionari). Il fine-tuning ingenuo su tali dati causa l'overfitting su confronti conflittuali, ottimizzando efficacemente per vincoli errati piuttosto che per l'intento umano, il che degrada sia l'allineamento che le prestazioni del compito.

2. Metodologia

Il framework proposto, RoDiF (Robust Direct Fine-Tuning), affronta queste sfide attraverso una formulazione teorica unificata e una strategia di ottimizzazione fondata sulla geometria.

2.1 Formulazione MDP Unificata

Per abilitare il DPO per le politiche di diffusione, gli autori introducono un MDP Unificato che integra coerentemente la catena di denoising della diffusione con le dinamiche ambientali.

• Definizione di Stato e Azione: Lo stato unificato $s^+$ combina lo stato attuale dell'ambiente $s_t$ e il vettore di rumore iniziale $a^K_t$. L'azione unificata $a^+$ rappresenta la sequenza di passaggi di denoising $(a^{K-1}_t, \dots, a^0_t)$.
• Dinamiche di Transizione: La funzione di transizione appiattisce il processo, trattando l'iniezione di rumore casuale e la transizione ambientale come un singolo passaggio.
• Fattorizzazione della Politica: La politica unificata $\pi_\theta(a^+|s^+)$ è fattorizzata nel prodotto delle probabilità di denoising condizionate ad ogni passaggio $k$, permettendo l'applicazione dei classici trucchi di riparametrizzazione DPO al processo di diffusione senza un esplicito modellazione della ricompensa.

2.2 Prospettiva Geometrica di "Hypothesis-Cutting"

RoDiF reinterpreta l'obiettivo DPO attraverso una lente geometrica.

• Spazio delle Ipotesi: Lo spazio dei parametri della politica di diffusione è visto come uno spazio di ipotesi $\Theta$.
• Preferenza come Tagli (Cuts): Ogni coppia di preferenza umana (traiettoria vincente $\tau_w$ vs. traiettoria perdente $\tau_l$) induce un vincolo di disuguaglianza (un "taglio") sullo spazio dei parametri. Un parametro di politica valido deve soddisfare $\Delta Q_\theta \geq 0$ per la coppia preferita.
• Il Problema del Rumore: In presenza di etichette corrotte, un singolo feedback errato può creare un "falso taglio" che esclude il vero parametro ottimale $\theta_H$ dall'intersezione di tutti i tagli, deragliando irreversibilmente il processo di apprendimento.

2.3 Strategia di Votazione Conservativa

Per ottenere robustezza senza assumere una specifica distribuzione di rumore, RoDiF impiega una strategia di taglio conservativa:

• Meccanismo di Votazione: Invece di richiedere che un parametro soddisfi tutti i tagli di preferenza (il che fallirebbe se un'etichetta fosse corrotta), il metodo tratta ogni taglio come un voto.
• Soglia di Conservatività: Viene introdotta una livello di conservatività $\gamma \in [0, 1]$, che rappresenta un limite superiore stimato del tasso di corruzione. L'obiettivo di ottimizzazione è rilassato per mantenere i parametri che soddisfano almeno $\lfloor(1-\gamma)N\rfloor$ tagli.
• Funzione di Perdita Robusta: La perdita DPO standard viene modificata in una perdita robusta $L_{RoDiF}$. La funzione a gradino di Heaviside non differenziabile (usata per contare i voti) viene ammorbidita usando una funzione sigmoide per consentire l'ottimizzazione basata sul gradiente. Ciò permette alla politica di ignorare fino a $\gamma N$ etichette inconsistenti pur convergendo verso la vera politica allineata all'uomo.

3. Contributi Chiave

1. Formulazione MDP Unificata: Una nuova formulazione che integra i passaggi di denoising della diffusione con le transizioni ambientali, consentendo la derivazione di un obiettivo DPO trattabile e privo di ricompensa per le politiche di diffusione.
2. Algoritmo RoDiF: Un algoritmo geometricamente fondato che effettua il fine-tuning robusto delle politiche di diffusione sfruttando il taglio ipotetico conservativo. Mitiga l'impatto delle etichette di preferenza inconsistenti senza richiedere la conoscenza a priori della distribuzione del rumore.
3. Validazione Empirica: Esperimenti estesi che dimostrano come RoDiF superi significativamente i baseline allo stato dell'arte (inclusi DPO standard, CPO, IPO e SimPO) in compiti di manipolazione ad alta dimensionalità e lungo orizzonte, mantenendo un'alta performance di allineamento anche sotto il 30% di etichette di preferenza corrotte.

4. Risultati Sperimentali

Il metodo è stato valutato su cinque compiti di manipolazione a lungo orizzonte (Avoid, Pushing, Sorting, Aligning, Stacking) utilizzando tre diversi backbone di diffusione (UNet, Transformer, MLP).

• Efficacia dell'Allineamento: RoDiF ha guidato con successo le politiche pre-addestrate verso modalità specificate dall'utente, anche quando tali modalità non erano dominanti nella politica pre-addestrata (ad esempio, raggiungendo un allineamento di modalità >84% nel compito "Avoid" dove il baseline era <21%).
• Robustezza al Rumore:
  • Con lo 0% di corruzione, RoDiF ha performato comparabilmente al DPO standard.
  • Con il 20% e il 30% di corruzione, il DPO standard e altri baseline (come SimPO) sono degradati significativamente (ad esempio, il tasso di successo di SimPO è sceso dal 43% al 10% con il 20% di rumore).
  • RoDiF ha mantenuto alte prestazioni (>84% di tasso di successo) attraverso tutti i livelli di rumore, isolando efficacementamente il segnale di guida dal rumore sistematico delle etichette.
• Agnosticismo dell'Architettura: Il metodo si è dimostrato efficace attraverso diverse architetture di diffusione (UNet, Transformer, MLP).
• Efficienza Campionaria: Il framework ha dimostrato un'alta efficienza campionaria, raggiungendo un forte allineamento con appena 10 coppie vincitore-perdente in compiti specifici.

5. Significato e Rivendicazioni

Il paper afferma che RoDiF fa progredire la sicurezza e l'affidabilità dell'apprendimento robotico basato sulle preferenze. Mitigando esplicitamente gli effetti del feedback umano errato o inconsistente, il framework riduce il rischio di aggiornamenti della politica fragili o instabili. Ciò è presentato come un passo critico verso il dispiegamento di sistemi robotici in ambienti reali, sensibili alla sicurezza, dove gli annotatori umani possono fornire dati imperfetti. Il lavoro enfatizza la robustezza come un requisito fondamentale per il dispiegamento responsabile, offrendo una soluzione che non dipende da dati perfetti o da una complessa modellazione della ricompensa.