🤖 machine learning

Domain Arithmetic: One-Shot VLA Adaptation under Environmental Shifts

Dieses Paper führt Domain ARiThmetic (DART) ein, eine analogiebasierte Methode, die eine effiziente One-Shot-Adaption von Vision-Language-Action-Modellen an Umweltveränderungen ermöglicht, indem sie Vektorarithmetik mit unterraum-ausgerichteten domänenspezifischen Informationen durchführt und somit die Notwendigkeit eines kostspieligen Trainings mit mehreren Demonstrationen eliminiert.

Ursprüngliche Autoren: Taewook Kang, Taeheon Kim, Donghyun Shin, Jonghyun Choi

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Taewook Kang, Taeheon Kim, Donghyun Shin, Jonghyun Choi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Roboter verirrt sich in einem neuen Raum

Stellen Sie sich vor, Sie haben einen hochqualifizierten Roboter-Koch (ein VLA-Modell), der in einer bestimmten Küche (die Quell-Domäne) trainiert wurde. Dieser Roboter weiß genau, wie man Gemüse schneidet, Suppe rührt und Speisen anrichtet. Er hat tausende Videos dieser Aufgaben gesehen.

Nun ziehen Sie den Roboter in eine neue Küche (die Ziel-Domäne).

Die Kameras sind an anderen Stellen montiert.
Die Beleuchtung ist etwas anders.
Vielleicht ist der Roboter nun eine andere Marke mit leicht anderen Armen.

Obwohl der Roboter weiß, wie man kocht, wird er verwirrt. Er denkt, das Messer sei an einem anderen Ort, weil sich der Kamerawinkel geändert hat, oder er erkennt die Zutaten nicht, weil das Licht anders ist. Er scheitert bei den Aufgaben, die er früher mühelos beherrschte.

Der alte Weg zur Lösung:
Um den Roboter an diese neue Küche zu gewöhnen, müsste man normalerweise einen menschlichen Trainer engagieren, der dutzende Videos des Roboters bei jeder einzelnen Aufgabe in dem neuen Raum filmt. Das ist teuer, langsam und unpraktisch.

Der „One-Shot“-Traum:
Was wäre, wenn man den Roboter lehren könnte, sich an die neue Küche anzupassen, indem man ihm nur ein einziges Video von einer einzigen Aufgabe zeigt? Das ist das Ziel dieser Arbeit.

Die Lösung: DART (Domain ARiThmetic)

Die Autoren schlagen eine Methode namens DART vor. Anstatt den gesamten Roboter von Grund auf neu zu trainieren, nutzen sie einen cleveren Trick namens „Gewichts-Arithmetik“ (Weight Arithmetic).

Stellen Sie sich das Gehirn des Roboters (seine neuronalen Netzwerk-Gewichte) wie eine riesige Bibliothek von Anweisungen vor.

Der Basis-Roboter: Hat die Anweisungen für „Wie man schneidet“ (Aufgabe) und „Wie man in Küche A sieht“ (Quell-Domäne).
Der neue Roboter: Benötigt die Anweisungen für „Wie man schneidet“ (Aufgabe) und „Wie man in Küche B sieht“ (Ziel-Domäne).

Das Problem ist: Wenn man dem Roboter nur ein einziges Video in der neuen Küche zeigt, aktualisiert sich sein Gehirn mit einer Mischung aus beidem. Er lernt zwar „Wie man in Küche B schneidet“, aber er wird so besessen von dieser spezifischen Aufgabe, dass er vergisst, wie er andere Aufgaben in dieser neuen Küche bewältigt.

Der magische Trick: Subtrahieren und Addieren

Die Autoren haben entdeckt, dass sich die Aktualisierungen des Robotergehirns in zwei separate Teile zerlegen lassen, ähnlich wie das Mischen von Farben:

Aufgaben-Farbe (Task Color): Die „Schneide“-Anweisungen.
Domänen-Farbe (Domain Color): Die „Küche B Beleuchtung/Kamera“-Anweisungen.

Sie fanden heraus, dass diese beiden Farben vermischt sind, aber mathematisch getrennt werden können. So funktioniert DART:

Die „Aufgaben“-Referenz holen: Der Roboter weiß bereits, wie man in der alten Küche schneidet. Sie nehmen ein einzelnes Video vom Schneiden in der alten Küche und berechnen den „Aufgaben-Vektor“ (die reine „Schneide“-Anweisung).
Das „Neue“ Update holen: Sie nehmen ein einzelnes Video vom Schneiden in der neuen Küche und berechnen den „Neuen Update-Vektor“.
Die Subtraktion (Die Analogie):
- Stellen Sie sich vor, das „Neue Update“ ist ein Smoothie aus Schneiden + Neue Küche.
- Stellen Sie sich vor, das „Alte Update“ ist ein Smoothie aus Schneiden + Alte Küche.
- Wenn man das „Alte Update“ vom „Neuen Update“ subtrahiert, fällt der Teil „Schneiden“ weg!
- Ergebnis: Man erhält einen reinen „Neuer Küche“-Vektor. Dieser Vektor enthält nur die Informationen über die neuen Kameras und die Beleuchtung, ohne die spezifischen Aufgabenanweisungen.
Die Addition: Man nimmt diesen reinen „Neuer Küche“-Vektor und addiert ihn zurück zum ursprünglichen Gehirn des Roboters.
- Ursprüngliches Gehirn + Neuer Küche-Vektor = Ein Roboter, der alle seine alten Aufgaben beherrscht, aber sie nun in der neuen Küche perfekt ausführt.

Das Rauschen bereinigen (Subspace Filtering)

Es gibt einen Haken. Wenn man zwei Dinge voneinander abzieht, bleiben manchmal versehentlich „Rauschen“ oder „Artefakte“ zurück (wie ein Staubkorn aus der alten Küche, das bei der Subtraktion hängengeblieben ist).

Um dies zu beheben, nutzt DART einen Subspace-Filter.

Betrachten Sie die Updates des Robotergehirns als eine 3D-Form.
Der Filter prüft, ob die „Neue Küche“-Form perfekt mit der „Alten Küche“-Form übereinstimmt.
Wenn ein Teil der Form nicht übereinstimmt (es ist nur zufälliges Rauschen), schneidet der Filter diesen Teil heraus.
Dies stellt sicher, dass der Roboter nur die echten Unterschiede zwischen den Küchen lernt und nicht zufällige Fehler.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten dies an Robotern in Simulationen und in der realen Welt.

Der Test: Sie bewegten die Roboter zu neuen Kamerawinkeln, fügten Kamerarauschen hinzu oder tauschten sogar den Roboterarm gegen eine völlig andere Marke aus (wie den Wechsel eines Panda-Roboters zu einem UR5e-Roboter).
Das Ergebnis:
- Alte Methoden: Scheiterten oder benötigten viele Daten.
- One-Shot Fine-Tuning (Der naive Weg): Der Robbot lernte die eine Aufgabe, vergaß aber alles andere.
- DART: Der Roboter passte sich an die neue Umgebung an, indem er nur eine einzige Demonstration nutzte, und behielt gleichzeitig seine Fähigkeit für alle anderen Aufgaben bei. Er übertraf alle anderen Methoden.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie sind ein Musiker, der das Klavierspiel in einem Konzertsaal mit großartiger Akustik perfekt beherrscht (Quell-Domäne).
Sie ziehen in ein kleines, hallendes Wohnzimmer (Ziel-Domäne). Sie versuchen zu spielen, aber der Klang ist seltsam und Sie machen Fehler.

Der alte Weg: Sie engagieren einen Lehrer, der Sie wochenlang in dem Wohnzimmer jede einzelne Song spielt und aufnimmt.
Der DART-Weg:
1. Sie nehmen sich selbst dabei auf, wie Sie ein Lied im Wohnzimmer spielen.
2. Sie nehmen dasselbe Lied in dem Konzertsaal auf.
3. Sie nutzen einen Computer, um den „Konzertsaal-Klang“ vom „Wohnzimmer-Klang“ zu subtrahieren.
4. Übrig bleibt eine „Wohnzimmer-Akustik“-Datei.
5. Sie wenden diese Datei auf Ihr Gehirn an. Nun können Sie jedes beliebige Lied im Wohnzimmer perfekt spielen, obwohl Sie nur ein einziges Mal dort geübt haben.

Das Fazate: DART ermöglicht es Robotern, sich augenblicklich an neue Umgebungen (andere Kameras, andere Roboter) anzupassen, indem sie den „Umwelt-Teil“ ihres Gehirns mathematisch isolieren und zu ihrem bestehenden Wissen hinzufügen – und das mit nur einem einzigen Beispiel.

Technisches Resümee: Domain Arithmetic (DART) für die One-Shot VLA-Adaption

Problemstellung

Vision-Language-Action (VLA)-Modelle, die auf groß angelegten Korpora trainiert wurden, weisen starke Multi-Task-Fähigkeiten innerhalb ihrer Quell-Trainingsumgebungen auf. Sie leiden jedoch unter einem signifikanten Leistungsabfall, wenn sie in neuen Zielumgebungen eingesetzt werden, die durch Umweltverschiebungen (Environmental Shifts) gekennzeichnet sind. Diese Verschiebungen umfassen Änderungen der Kamerapositionen (Blickwinkelverschiebungen), Sensor-Kalibrierungen oder Modifikationen der Verkörperung (z. B. der Wechsel von einem Panda zu einem UR5e-Roboter).

Bestehende Adaptionsstrategien stehen vor einem kritischen Engpass:

Vollständiges Daten-Fine-Tuning: Erfordert umfangreiche Experten-Demonstrationen für jede Aufgabe in der Zieldomäne, was in realen Umgebungen (z. B. Haushaltsszenarien) prohibitiv teuer in der Datenerhebung ist.
One-Shot Fine-Tuning: Obwohl dateneffizient, scheitert das Standard-Fine-Tuning auf einer einzigen Demonstration oft daran, sich auf ungesehene Aufgaben in der Zieldomäne zu generalisieren. Anstatt die Umweltverschiebung zu lernen, passt sich das Modell primär an die spezifische demonstrierte Aufgabe an und verliert dabei seine Multi-Task-Fähigkeiten.

Methodik: Domain ARiThmetic (DART)

Die Autoren schlagen DART vor, ein analogiebasiertes Framework, das VLA-Modelle unter Verwendung von nur einer einzigen Demonstration einer einzelnen Aufgabe an verschobene Umgebungen anpasst. Die Methode basiert auf der Beobachtung, dass One-Shot Fine-tuned Gewichte in additive, disentangled (entkoppelte) Komponenten zerlegt werden können: aufgabenspezifische Richtungen und domänenspezifische Richtungen.

Kernaspekt

Durch eine Subspace-Alignment-Analyse stellen die Autoren fest, dass die Update-Vektoren ( $\Delta = \theta_{fine-tuned} - \theta_{base}$ ) aus dem One-Shot Fine-Tuning von aufgabenspezifischen Richtungen dominiert werden. Es existiert jedoch eine konsistente, kleinere domänenspezifische Komponente, die die Umweltverschiebung kodiert. Die Autoren hypothetisieren, dass diese Komponenten linear additiv und orthogonal sind, ähnlich der Analogie „König = König + Frau - Mann“ in Sprachmodellen.

Algorithmische Schritte

DART extrahiert einen wiederverwendbaren Domänen-Vektor ( $\tilde{\delta}_{tgt}$ ), um das Basis-Policy ( $\theta_0$ ) zu adaptieren, ohne auf großen Datensätzen neu zu trainieren.

Berechnung des Update-Vektors:
- Berechne den Zieldomänen-Update-Vektor ( $\Delta_{m,tgt}$ ) durch Fine-Tuning des Basismodells auf einer einzigen Zieldomänen-Demonstration ( $D_{m,tgt}$ ) für die Aufgabe $T_m$ .
- Berechne den Quelldomänen-Update-Vektor ( $\Delta_{m,src}$ ) durch Fine-Tuning desselben Basismodells auf einer einzigen Quelldomänen-Demonstration ( $D_{m,src}$ ) für die gleiche Aufgabe $T_m$ .
Extraktion des Domänen-Vektors (Analogie-Operation):
- Führe eine Subtraktion durch, um die Domänenrichtung zu isolieren: $\delta_{tgt} = \Delta_{m,tgt} - \Delta_{m,src}$ .
- Diese Operation eliminiert die gemeinsamen aufgabenspezifischen Richtungen und lässt die domänenspezifische Verschiebung übrig.
Subspace-Filterung & Skalierung (Rauschreduktion):
- Eine direkte Subtraktion kann Quelldomänen-Artefakte beibehalten oder Fine-Tuning-Rauschen verstärken. Um dies zu adressieren, nutzt DART zwei Verfeinerungsschritte:
  - Subspace-Filterung: Unter Verwendung der Singulärwertzerlegung (SVD) identifiziert und filtert die Methode Basisvektoren im Quell-Update, die nicht mit dem Ziel-Subspace übereinstimmen. Dies verhindert, dass Quell-spezifisches Rauschen den extrahierten Domänen-Vektor korrumpiert.
  - Subspace-Skalierung: Der resultierende Domänen-Vektor wird durch den Subspace-Alignment-Score ( $\gamma$ ) skaliert. Wenn die Quell- und Ziel-Updates schlecht ausgerichtet sind (was auf hohes Rauschen oder Irrelevanz hindeutet), wird der Vektor abgeschwächt.
Modell-Adaption:
- Der verfeinerte Domänen-Vektor wird zum Basismodell hinzugefügt: $\theta^* = \theta_0 + \alpha \cdot \tilde{\delta}_{tgt}$ , wobei $\alpha$ ein Skalar-Koeffizient zur Steuerung der Adaptionsstärke ist.

Wichtigste Beiträge

Empirischer Beleg für Additivität: Die Arbeit liefert Beweise dafür, dass One-Shot Fine-tuned Gewichte in VLA-Modellen in teilbare, additive aufgaben- und domänenspezifische Richtungen zerlegt werden können.
DART-Framework: Eine neuartige, analogiebasierte Methode, die durch Entfernung aufgabenspezifischer Richtungen mittels Gewicht-Arithmetik einen wiederverwendbaren Domänen-Vektor aus einem One-Shot Fine-tuned Gewicht-Update extrahiert.
Subspace-Verfeinerung: Die Einführung von Subspace-Filterung und -Skalierung zur Minderung von Rauschen und Artefakten während der Extraktion des Domänen-Vektors, um eine robuste Adaption zu gewährleisten.
Architektur-Agnostik: Die Methode wird über verschiedene VLA-Architekturen hinweg (Flow-Matching $\pi0.5$ und autoregressiv $\pi0$ -FAST) sowie über diverse Verschiebungstypen (visuell und Verkörperung) hinweg demonstriert.

Experimentelle Ergebnisse

Die Autoren evaluierten DART auf dem LIBERO-Benchmark (Simulation) und einem realen UR10e-Roboter-Setup.

Simulation (Neue Blickwinkel): DART übertraf die Baselines (Zero-shot, One-shot Fine-tuning, FLA und RETAIN) bei kleinen, mittleren und großen Blickwinkelverschiebungen signifikant. Beispielsweise erreichte DART bei $\pi0.5$ mit mittleren Blickwinkelverschiebungen eine Erfolgsrate von 80,8 % im Vergleich zu 33,3 % bei One-shot Fine-tuning und 76,4 % bei FLA.
Kombinierte Perturbationen: DART behielt eine überlegene Leistung unter kombinierten visuellen Verschiebungen (Blickwinkel + Rauschen + Licht) bei, was die Robustheit gegenüber komplexen Umweltveränderungen zeigt.
Cross-Embodiment: Beim Transfer von Policies von einem Panda-Roboter auf einen UR5e-Roboter verbesserte DART die Erfolgsrate von 37,2 % (Zero-shot) auf 45,4 % und die Progress-Rate auf 73,8 %, womit es sowohl das One-shot Fine-tuning als auch die Zero-shot-Baselines übertraf.
Realwelt: Auf einem UR10e-Roboter mit einem neuen Blickwinkel erreichte DART eine durchschnittliche Erfolgsrate von 81,7 % über fünf Aufgaben (einschließlich feingranularer Manipulation) unter Verwendung von nur einer einzigen Demonstration zur Adaption, was alle Baselines deutlich übertraf.
Vektor-Merging: Die Autoren zeigten, dass Domänen-Vektoren aus verschiedenen Zieldomänen zu einem einzigen Vektor zusammengeführt werden können, was es einem einzelnen Modell ermöglicht, sich gleichzeitig an mehrere Umgebungen anzupassen.

Bedeutung und Ansprüche

Das Paper behauptet, dass DART eine dateneffiziente Lösung für den Deployment-Engpass von VLA-Modellen bietet. Durch die Nutzung der strukturellen Eigenschaften von Gewicht-Updates ermöglicht DART eine One-Shot-Adaption, welche die Multi-Task-Fähigkeiten des Basismodells bewahrt und es gleichzeitig an neue Umgebungen anpasst.

Die Autoren betonen, dass DART im Gegensatz zu bisherigen Ansätzen, die umfangreiche Daten oder architektonische Modifikationen erfordern, ist:

Architektur-agnostisch: Anwendbar auf verschiedene VLA-Backbones.
Hyperparameter-robust: Stabil über einen weiten Bereich von Skalierungskoeffizienten ( $\alpha$ ).
Komponierbar: Domänen-Vektoren können zusammengeführt werden, um mehrere Verschiebungen mit einem einzigen Parametersatz zu handhaben.

Die Arbeit legt nahe, dass das für die Adaption erforderliche „Domänenwissen“ implizit aus einer einzigen Demonstration lernbar ist und mathematisch isoliert werden kann, was einen praktischen Weg für den Einsatz generalisierter Roboter in diversen, unstrukturierten realen Umgebungen eröffnet.