Sintesi Tecnica: Domain Arithmetic (DART) per l'adattamento One-Shot dei VLA

Problema

I modelli Vision-Language-Action (VLA), addestrati su corpora su larga scala, esibiscono forti capacità multi-task all'interno dei loro ambienti di addestramento sorgente. Tuttavia, soffrono di un significativo degrado delle prestazioni quando vengono distribuiti in nuovi ambienti target caratterizzati da shift ambientali. Questi shift includono cambiamenti nelle pose della telecamera (shift di viewpoint), calibrazioni dei sensori o modifiche dell'embodiment (ad esempio, passare da un robot Panda a un UR5e).

Le strategie di adattamento esistenti affrontano un collo di bottiglia critico:

1. Fine-tuning su dati completi: Richiede estese dimostrazioni esperte per ogni task nel dominio target, il che è proibitivamente costoso da raccogliere in contesti reali (ad esempio, ambienti domestici).
2. Fine-tuning One-shot: Sebbene efficiente dal punto di vista dei dati, il fine-tuning standard su una singola dimostrazione spesso fallisce nel generalizzare a task non visti nel dominio target. Invece di apprendere lo shift ambientale, il modello si concentra principalmente sul task specifico dimostrato, perdendo le sue capacità multi-task.

Metodologia: Domain ARiThmetic (DART)

Gli autori propongono DART, un framework basato su analogie che adatta i modelli VLA a nuovi ambienti shiftati utilizzando un singolo esempio di un singolo task. Il metodo si basa sull'osservazione che i pesi derivanti dal fine-tuning one-shot possono essere scomposti in componenti additive e disgiunte: direzioni specifiche del task e direzioni specifiche del dominio.

Intuizione Centrale

Attraverso l'analisi dell'allineamento degli spazi sottospaziali, gli autori scoprono che i vettori di aggiornamento ($\Delta = \theta_{fine-tuned} - \theta_{base}$) derivanti dal fine-tuning one-shot sono dominati da direzioni specifiche del task. Tuttavia, esiste una componente più piccola e costante, specifica del dominio, che codifica lo shift ambientale. Gli autori ipotizzano che queste componenti siano linearmente additive e ortogonali, similmente all'analogia "regina = re + donna - uomo" nei modelli linguistici.

Passaggi Algoritmici

DART estrae un vettore di dominio riutilizzabile ($\tilde{\delta}_{tgt}$) per adattare la policy di base ($\theta_0$) senza riaddestrare su grandi dataset.

1. Calcolo del Vettore di Aggiornamento:

   • Calcolare il vettore di aggiornamento del dominio target ($\Delta_{m,tgt}$) effettuando il fine-tuning del modello base su una singola dimostrazione del dominio target ($D_{m,tgt}$) per il task $T_m$.
   • Calcolare il vettore di aggiornamento del dominio sorgente ($\Delta_{m,src}$) effettuando il fine-tuning dello stesso modello base su una singola dimostrazione del dominio sorgente ($D_{m,src}$) per lo stesso task $T_m$.

2. Estrazione del Vettore di Dominio (Operazione di Analogia):

   • Eseguire una sottrazione per isolare la direzione del dominio: $\delta_{tgt} = \Delta_{m,tgt} - \Delta_{m,src}$.
   • Questa operazione annulla le direzioni comuni specifiche del task, lasciando lo shift specifico del dominio.

3. Filtraggio del Sottospazio e Scaling (Riduzione del Rumore):

   • La sottrazione diretta può mantenere artefatti del dominio sorgente o amplificare il rumore del fine-tuning. Per affrontare questo, DART impiega due passaggi di raffinamento:
     • Filtraggio del Sottospazio: Utilizzando la Decomposizione ai Valori Singolari (SVD), il metodo identifica e filtra i vettori base nel vettore di aggiornamento sorgente che non si allineano con il sottospazio target. Ciò impedisce al rumore specifico della sorgente di corrompere il vettore di dominio estratto.
     • Scaling del Sottospazio: Il vettore di dominio risultante è scalato tramite il punteggio di allineamento del sottospazio ($\gamma$). Se gli aggiornamenti sorgente e target sono scarsamente allineati (indicando alto rumore o irrilevanza), il vettore viene declassato.

4. Adattamento del Modello:

   • Il vettore di dominio raffinato viene aggiunto nuovamente al modello di base: $\theta^* = \theta_0 + \alpha \cdot \tilde{\delta}_{tgt}$, dove $\alpha$ è un coefficiente scalare che controlla la forza dell'adattamento.

Contributi Chiave

1. Evidenza Empirica di Additività: Il paper fornisce prove che i pesi del fine-tuning one-shot nei modelli VLA si decompongono in direzioni specifiche di task e dominio, condivisibili e additive.
2. Framework DART: Un nuovo metodo basato su analogie che estrae un vettore di dominio riutilizzabile da un aggiornamento di peso derivante da un fine-tuning one-shot, rimuovendo le direzioni specifiche del task tramite aritmetica dei pesi.
3. Raffinamento del Sottospazio: L'introduzione del filtraggio e dello scaling del sottospazio per mitigare il rumore e gli artefatti durante l'estrazione del vettore di dominio, garantendo un adattamento robusto.
4. Agnosticismo dell'Architettura: Il metodo è dimostrato efficace su diverse architetture VLA (flow-matching $\pi0.5$ e autoregressivo $\pi0-FAST$) e diversi tipi di shift (visivi ed embodiment).

Risultati Sperimentali

Gli autori hanno valutato DART sul benchmark LIBERO (simulazione) e su una configurazione robotica reale UR10e.

• Simulazione (Nuovi Viewpoint): DART ha superato significativamente i baseline (Zero-shot, One-shot Fine-tuning, FLA e RETAIN) attraverso shift di viewpoint Small, Medium e Large. Ad esempio, su $\pi0.5$ con shift di viewpoint Medium, DART ha raggiunto un tasso di successo dell'80.8% rispetto al 33.3% del One-shot Fine-tuning e al 76.4% di FLA.
• Perturbazioni Combinate: DART ha mantenuto prestazioni superiori sotto shift visivi combinati (Viewpoint + Noise + Light), dimostrando robustezza a cambiamenti ambientali complessi.
• Cross-Embodiment: Nel trasferimento di policy da un robot Panda a un robot UR5e, DART ha migliorato il tasso di successo dal 37.2% (Zero-shot) al 45.4%, e il tasso di progresso al 73.8%, superando sia il One-shot Fine-tuning che i baseline Zero-shot.
• Mondo Reale: Su un robot UR10e con un nuovo viewpoint, DART ha raggiunto un tasso di successo medio dell'81.7% su cinque task (inclusa la manipolazione fine) utilizzando una singola dimostrazione per l'adattamento, superando significativamente tutti i baseline.
• Merging dei Vettori: Gli autori hanno dimostrato che i vettori di dominio provenienti da diversi domini target possono essere uniti in un singolo vettore, permettendo a un singolo modello di adattarsi a più ambienti simultaneamente.

Significato e Claim

Il paper sostiene che DART offra una soluzione data-efficient al collo di bottiglia della distribuzione dei modelli VLA. Sfruttando le proprietà strutturali degli aggiornamenti dei pesi, DART consente l'adattamento one-shot che preserva le capacità multi-task del modello di base pur trasferendolo in nuovi ambienti.

Gli autori sottolineano che, a differenza di approcci precedenti che richiedono estesi dati o modifiche architettoniche, DART è:

• Agnostico rispetto all'architettura: Applicabile a diversi backbone VLA.
• Robusto rispetto agli iperparametri: Stabile attraverso un'ampia gamma di coefficienti di scaling ($\alpha$).
• Componibile: I vettori di dominio possono essere uniti per gestire più shift con un singolo set di parametri.

Il lavoro suggerisce che la "conoscenza del dominio" necessaria per l'adattamento è implicitamente apprendibile da una singola dimostrazione e può essere isolata matematicamente, offrendo una via pratica per distribuire robot generalisti in contesti reali diversificati e non strutturati.