Technische Samenvatting: Domain Arithmetic (DART) voor One-Shot VLA Adaptatie

Probleemstelling

Vision-Language-Action (VLA) modellen, getraind op grootschalige corpora, vertonen sterke multi-task capaciteiten binnen hun bron-trainingsomgevingen. Echter, ze lijden onder significante prestatiedegradatie wanneer ze worden ingezet in nieuwe doelomgevingen die gekenmerkt worden door omgevingsverschuivingen (environmental shifts). Deze verschuivingen omvatten veranderingen in camerastandpunten (viewpoint shifts), sensorcalibraties of wijzigingen in de belichaming (bijv. de overstap van een Panda naar een UR5e robot).

Bestaande adaptatiestrategieën kampen met een kritieke bottleneck:

1. Full-data Fine-tuning: Vereist uitgebreide expert-demonstraties voor elke taak in de doel-domein, wat extreem kostbaar is om te verzamelen in echte omgevingen (bijv. huishoudelijke omgevingen).
2. One-shot Fine-tuning: Hoewel datagefficiënt, faalt standaard fine-tuning op een enkele demonstratie vaak bij het generaliseren naar ongeziene taken in de doel-domein. In plaats van de omgevingsverschuiving te leren, past het model zich primair aan aan de specifieke taak die gedemonstreerd wordt, waardoor de multi-task capaciteiten verloren gaan.

Methodologie: Domain ARiThmetic (DART)

De auteurs stellen DART voor, een analogie-gebaseerd framework dat VLA-modellen aanpast aan verschoven omgevingen met behulp van slechts één enkele demonstratie van één enkele taak. De methode is gebaseerd op de observatie dat one-shot gefinetunede gewichten kunnen worden gedecomponeerd in optelbare, ontkoppelde componenten: taakspecifieke richtingen en domeinspecifieke richtingen.

Kerninzicht

Door middel van subspace alignment analyse vinden de auteurs dat update-vectoren ($\Delta = \theta_{fine-tuned} - \theta_{base}$) gedomineerd worden door taakspecifieke richtingen tijdens one-shot fine-tuning. Echter, er bestaat een consistente, kleinere domeinspecifieke component die de omgevingsverschuiving codeert. De auteurs hypothetiseren dat deze componenten lineair optelbaar en orthogonaal zijn, vergelijkbaar met de "queen = king + woman - man" analogie in taalmodellen.

Algoritmische Stappen

DART extraheert een herbruikbare domeinvector ($\tilde{\delta}_{tgt}$) om het basisbeleid ($\theta_0$) aan te passen zonder te hertrainen op grote datasets.

1. Berekening van de Update-Vector:

   • Bereken de doel-domein update-vector ($\Delta_{m,tgt}$) door het basismodel te finetunen op een enkele doel-domein demonstratie ($D_{m,tgt}$) voor taak $T_m$.
   • Bereken de bron-domein update-vector ($\Delta_{m,src}$) door hetzelfde basismodel te finetunen op een enkele bron-domein demonstratie ($D_{m,src}$) voor de zelfde taak $T_m$.

2. Extractie van de Domeinvector (Analogie-operatie):

   • Voer een aftrekking uit om de domeinrichting te isoleren: $\delta_{tgt} = \Delta_{m,tgt} - \Delta_{m,src}$.
   • Deze operatie elimineert de gedeelde taakspecifieke richtingen, waardoor de domeinspecifieke verschuiving overblijft.

3. Subspace Filtering & Scaling (Ruisreductie):

   • Directe aftrekking kan bron-domein artefacten behouden of fine-tuning ruis versterken. Om dit aan te pakken, gebruikt DART twee verfijningsstappen:
     • Subspace Filtering: Met behulp van Singular Value Decomposition (SVD) identificeert de methode en filtert basisvectoren uit de bron update-vector die niet uitlijnen met de doel-subspace. Dit voorkomt dat bron-specifieke ruis de geëxtraheerde domeinvector corrumpeert.
     • Subspace Scaling: De resulterende domeinvector wordt geschaald door de subspace alignment score ($\gamma$). Als de bron en doel updates slecht uitlijnen (wat duidt op hoge ruis of irrelevantie), wordt de vector afgetrapt.

4. Model Adaptatie:

   • De verfijnde domeinvector wordt toegevoegd aan het basismodel: $\theta^* = \theta_0 + \alpha \cdot \tilde{\delta}_{tgt}$, waarbij $\alpha$ een scalaire coëfficiënt is die de adaptatiestärke regelt.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Additiviteit: Het paper levert bewijs dat one-shot gefinetunede gewichten in VLA-modellen uiteenvallen in deelbare, optelbare taak- en domeinspecifieke richtingen.
2. DART Framework: Een nieuwe analogie-gebaseerde methode die een herbruikbare domeinvector extraheert uit een single-shot gefinetuned gewicht-update door bron-specifieke taakrichtingen te verwijderen via gewicht-arithmetiek.
3. Subspace Refinement: De introductie van subspace filtering en scaling om ruis en artefacten tijdens de extractie van de domeinvector te mitigeren, wat zorgt voor robuuste adaptatie.
4. Architectuur-agnostisch: De methode wordt aangetoond te werken over verschillende VLA-architecturen (flow-matching $\pi0.5$ en autoregressieve $\pi0-FAST$) en diverse typen verschuivingen (visueel en belichaming).

Experimentele Resultaten

De auteurs evalueerden DART op de LIBERO benchmark (simulatie) en een real-world UR10e robotopstelling.

• Simulatie (Nieuwe Viewpoints): DART presteerde significant beter dan de baselines (Zero-shot, One-shot Fine-tuning, FLA, en RETAIN) bij Small, Medium, en Large viewpoint shifts. Bijvoorbeeld, op $\pi0.5$ met Medium viewpoint shifts, behaalde DART een succespercentage van 80,8% vergeleken met 33,3% voor One-shot Fine-tuning en 76,4% voor FLA.
• Gecombineerde Perturbaties: DART behield superieure prestaties onder gecombineerde visuele verschuivingen (Viewpoint + Noise + Light), wat de robuustheid tegen complexe omgevingsveranderingen aantoont.
• Cross-Embodiment: Bij het overdragen van beleid van een Panda-robot naar een UR5e-robot verbeterde DART het succespercentage van 37,2% (Zero-shot) naar 45,4%, en het progressiepercentage naar 73,8%, waarmee het zowel One-shot Fine-tuning als Zero-shot baselines overtrof.
• Real-World: Op een UR10e robot met een nieuwe viewpoint bereikte DART een gemiddeld succespercentage van 81,7% over vijf taken (inclusief fijnmazige manipulatie) met behulp van slechts één enkele demonstratie voor adaptatie, wat aanzienlijk beter is dan alle baselines.
• Vector Merging: De auteurs toonden aan dat domeinvectoren van verschillende doel-domeinen kunnen worden samengevoegd in één enkele vector, waardoor één enkel model tegelijkertijd aan meerdere omgevingen kan worden aangepast.

Betekenis en Claims

Het paper claimt dat DART een datageefficiënte oplossing biedt voor de deployment-bottleneck van VLA-modellen. Door gebruik te maken van de structurele eigenschappen van gewicht-updates, maakt DART one-shot adaptatie mogelijk die de multi-task capaciteiten van het basismodel behoudt terwijl het wordt overgedragen naar nieuwe omgevingen.

De auteurs benadrukken dat, in tegen tegenstelling tot eerdere benaderingen die uitgebreide data of architecturale wijzigingen vereisen, DART:

• Architectuur-agnostisch is: toepasbaar op verschillende VLA-backbones.
• Hyperparameter-robuust is: stabiel over een breed scala aan schalingscoëfficiënten ($\alpha$).
• Componeerbaar is: domeinvectoren kunnen worden samengevoegd om meerdere verschuivingen met één enkele parameterset te behandelen.

Het werk suggereert dat de "domeinkennis" die nodig is voor adaptatie impliciet leerbaar is vanuit een enkele demonstratie en wiskundig geïsoleerd kan worden, wat een praktisch pad biedt voor de inzet van algemene robots in diverse, ongestructureerde real-world settings.