💻 computer science

BEACON: Cross-Domain Co-Training of Generative Robot Policies via Best-Effort Adaptation

BEACON ist ein theoriebasiertes Framework, das die Robustheit und Dateneffizienz generativer Robotik-Policies in domänenübergreifenden Szenarien verbessert, indem es Co-Training als ein diskrepanzbewusstes Umge wichtungsproblem formuliert, das gemeinsam eine diffusionsbasierte visuomotorische Policy und pro-Sample-Quellgewichte optimiert, um den Generalisierungsfehler im Zielbereich zu minimieren.

Ursprüngliche Autoren: Antong Zhang, Han Qi, Heng Yang

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Antong Zhang, Han Qi, Heng Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboterarm beizubringen, wie man Blöcke stapelt. Sie verfügen über zwei Arten von Trainingsdaten:

Die „Quell"-Daten: Eine riesige Bibliothek von Videos, die Roboter zeigen, wie sie die Aufgabe in einer perfekten, computergenerierten Welt (Simulation) ausführen. Es gibt Tausende dieser Videos, doch Beleuchtung, Texturen und Physik weichen leicht von der realen Welt ab.
Die „Ziel"-Daten: Eine winzige, kostbare Handvoll von Videos, die einen echten Roboter zeigen, wie er die Aufgabe in Ihrer tatsächlichen Küche ausführt. Diese sind teuer und schwer zu beschaffen, aber sie sind die einzigen, die für die eigentliche Aufgabe wirklich zählen.

Das Problem:
Wenn Sie einfach alle Computer-Videos mit den wenigen realen Videos mischen und den Roboter gleichermaßen aus allen lehren, gerät der Roboter in Verwirrung. Die Computerwelt ist zu unterschiedlich von der realen Welt (unterschiedliche Reibung, Beleuchtung, Kamerawinkel). Der Roboter könnte lernen, Blöcke in der Simulation perfekt zu stapeln, scheitert aber kläglich in der realen Küche.

Verwenden Sie nur die wenigen realen Videos, lernt der Roboter nicht genug und ist nicht in der Lage, das Gelernte zu verallgemeinern.

Die Lösung: BEACON
Die Arbeit stellt eine neue Methode namens BEACON (Best-Effort Adaptation for Cross-Domain Co-Training) vor. Betrachten Sie BEACON nicht als Lehrer, sondern als einen intelligenten Redakteur oder einen Kurator.

Anstatt jedes Trainingsvideo gleich zu behandeln, weist BEACON jedem einzelnen Video in der riesigen Bibliothek einen „Relevanzwert" (ein Gewicht) zu.

Die „Best-Effort"-Idee: Das System fragt: „Welche dieser Tausenden von gefälschten Videos sehen und fühlen sich tatsächlich wie die wenigen realen Videos an, die ich habe?"
Der Bearbeitungsprozess:
- Wenn ein Computer-Video eine Bewegung des Roboters zeigt, die der des echten Roboters sehr ähnlich ist, vergibt BEACON einen hohen Wert. Es sagt: „Verwenden Sie diesen! Er ist hilfreich!"
- Wenn ein Computer-Video etwas Seltsames oder Unrealistisches zeigt (wie einen Block, der auf Eis rutscht, während echte Blöcke auf Holz rutschen), vergibt BEACON einen niedrigen Wert (oder Null). Es sagt: „Ignorieren Sie diesen. Er wird den Roboter verwirren."

Wie es funktioniert (Der Zaubertrick):
Normalerweise versuchen Menschen, die Computerwelt und die reale Welt zum Aussehen gleich zu machen, indem sie Farben oder Texturen verändern (wie das Auftragen eines Filters auf ein Foto). BEACON macht etwas anderes.

Es versucht nicht, die Welten gleich aussehen zu lassen. Stattdessen selektiert es die spezifischen Momente in der Computerwelt, die bereits für die reale Welt nützlich sind.

Analogie: Stellen Sie sich vor, Sie lernen, ein bestimmtes Gericht zu kochen. Sie haben ein Rezept von Ihrer Großmutter (die realen Daten) und tausend Rezepte von einem berühmten TV-Koch, der andere Zutaten verwendet (die Quelldaten).
- Der alte Weg: Sie versuchen, die Zutaten des TV-Kochs an die Ihrer Großmutter anzupassen, oder Sie mischen sie einfach alle zusammen.
- Der BEACON-Weg: Sie lesen die tausend Rezepte des TV-Kochs und wählen nur die Schritte aus, die der Technik Ihrer Großmutter entsprechen. Sie ignorieren den Rest. Sie lernen von den wenigen Schritten Ihrer Großmutter, füllen aber die Lücken mit den besten passenden Schritten des TV-Kochs.

Das überraschende Ergebnis:
Die Arbeit fand heraus, dass durch diese „intelligente Selektion" das Gehirn des Roboters (sein neuronales Netz) auf natürliche Weise begann, die reale Welt besser zu verstehen. Obwohl dem System nicht explizit befohlen wurde, „Merkmale auszurichten" oder „Muster abzugleichen", bewirkte der Akt der richtigen Datenselektion, dass der Roboter automatisch die richtigen Muster lernte. Es ist wie bei einem Schüler, der nur die relevantesten Übungsfragen studiert und dadurch auf natürliche Weise beginnt, die zugrunde liegende Logik des Fachs zu erkennen, ohne dass ein separater Kurs über „Logik" nötig ist.

Was sie testeten:
Sie testeten dies an einem Roboterarm bei drei Aufgaben: Blöcke stapeln, Tassen aufräumen und eine Nadel einfädeln. Sie verglichen BEACON mit:

Der Verwendung nur der wenigen realen Videos.
Der gleichmäßigen Mischung aller Videos.
Der Verwendung anderer Methoden, die versuchen, die Computer- und reale Welt zum Aussehen ähnlich zu machen.

Das Ergebnis:
BEACON gewann konsequent. Der Roboter lernte schneller, benötigte weniger reale Daten und war viel robuster, wenn sich die Umgebung änderte (wie das Verschieben der Kamera oder das Ändern der Tischtextur). Es bewies, dass ein intelligenter Kurator von Daten zu sein mächtiger ist als der Versuch, die Daten zum Aussehen gleich zu machen.

Kurz gesagt:
BEACON ist ein Framework, das Roboter lehrt, indem es sagt: „Wir haben viele gefälschte Daten und ein wenig echte Daten. Lassen Sie uns den gefälschten Teil ignorieren, der nicht passt, und uns intensiv auf den gefälschten Teil konzentrieren, der passt, damit wir die echte Aufgabe effizient lernen können."

Technische Zusammenfassung: BEACON

Problemstellung

Das Lernen von Robotern durch Behavior Cloning (BC) hat mit Sequenzmodellen wie Diffusion Policies erhebliche Fortschritte gemacht, doch ein kritischer Engpass bleibt bestehen: Strategien, die in einer Domäne (Quelle) trainiert wurden, verschlechtern sich oft beim Einsatz in einer anderen (Ziel), selbst wenn die Aufgabensemantik identisch ist. Diese Domänenlücken entstehen durch visuelle Diskrepanzen (Textur, Beleuchtung, Kameraposition) und physikalische Missverhältnisse (Reibung, Kontaktdynamik, Aktorverzögerungen). Während die Sammlung großskaliger Ziel-Datensätze teuer und schwer skalierbar ist, sind Quelldaten (z. B. aus Simulation oder menschlichen Demonstrationen) reichlich vorhanden, aber oft nicht passend.

Bestehende Ansätze für dieses Problem fallen in zwei Kategorien:

Domain Randomization: Erhöht die Quellenvielfalt, um die Robustheit zu verbessern, aligniert jedoch keine Verteilungen explizit.
Domain Adaptation: Aligniert Quell- und Zielrepräsentationen explizit (z. B. durch Feature-Matching oder adversariales Training). Diese Methoden verlassen sich jedoch häufig auf heuristische Zielsetzungen, können nicht-visuelle Verschiebungen übersehen und haben Schwierigkeiten mit Multi-Source-Szenarien, in denen sich die Quellen untereinander sowie vom Ziel unterscheiden.

Die zentrale Frage, die diese Arbeit behandelt, lautet: Wie können wir reichlich vorhandene, aber nicht passende Quell-Demonstrationen nutzen, um die Generalisierung im Zielbereich zu verbessern, den Bedarf an gelabelten Zieldaten minimieren und dabei auf heuristische Alignmentsverluste verzichten?

Methodik: BEACON

Die Autoren schlagen BEACON (Best-Effort Adaptation for Cross-Domain Co-Training) vor, ein theoriegetriebenes Framework, das cross-domänisches Co-Training als ein diskrepanzbewusstes Importance-Reweighting-Problem neu definiert.

Theoretische Grundlage

BEACON basiert auf dem Best-Effort Adaptation (BEA)-Framework [23]. Anstatt Quell- und Zieldaten naiv zu mischen oder Feature-Alignment zu erzwingen, lernt BEACON gemeinsam eine Strategie $\pi_\theta$ und eine Menge von Stichproben-gewichten $q$ , um eine theoretisch abgeleitete Generalisierungsschranke für die Ziel-Domäne zu minimieren.

Die Zielfunktion (Gleichung 6) minimiert:
$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$

Wobei:

$\ell_{BC}$ der Diffusion-Behavior-Cloning-Verlust ist.
$d_i$ ein Diskrepanzterm ist, der Quell-Stichproben bestraft, die nicht mit dem Ziel übereinstimmen.
$p_0$ eine Referenzgewichtung ist (empirische Verteilung nur des Ziels).
Die Regularisierungsterme ( $\lambda_1, \lambda_2$ ) sicherstellen, dass die gelernten Gewichte an die Zielverteilung gebunden bleiben und degenerierte Lösungen verhindern.

Praktische Anpassungen für die Robotik

Die Anwendung des ursprünglichen BEA-Frameworks auf hochdimensionale Diffusions-Policies erforderte mehrere Schlüssel-Anpassungen:

Instanz-Level-Diskrepanzschätzung: Anstatt einer einzigen Domänen-Level-Strafe berechnet BEACON einen pro-Stichproben-Diskrepanzwert $d_i$ . Der Standard-Schätzer verwendet k-Nearest Neighbors (k-NN) im Embedding-Raum des Vision-Encoders der Strategie. Er misst die Distanz einer Quell-Stichprobe zu ihren nächsten Ziel-Nachbarn, normalisiert durch die Streuung innerhalb des Ziels. Dies ermöglicht dem System, spezifische „Ausreißer"-Quell-Trajektorien zu identifizieren und herunterzupriorisieren, die visuell oder verhaltensmäßig mit dem Ziel unvereinbar sind, selbst innerhalb eines einzigen Simulators.
Stochastische Alternierende Optimierung: Aufgrund der Rechenkosten von Diffusionsmodellen setzt BEACON stochastische alternierende Updates anstelle einer vollständigen Batch-Minimierung ein. Es wechselt zwischen:
- Gewicht-Update ( $q$ ): Ein projizierter Subgradienten-Schritt basierend auf dem Verlust pro Beispiel und der Diskrepanz.
- Policy-Update ( $\theta$ ): Ein AdamW-Schritt auf dem gewichteten Minibatch-Verlust.
- Komplexitätskontrolle: Die ursprüngliche normbasierte Kapazitätskontrolle wird durch optimizer-kompatiblen Weight Decay ersetzt ( $\gamma \|q\|_\infty R(\theta)$ ), wobei die maximale Stichproben-Gewichtung mit der Regularisierungsstärke verknüpft wird.
Multi-Source-Erweiterung (MS-BEACON): Für Szenarien mit heterogenen Quell-Domänen (z. B. mehrere Simulatoren) führt die Methode ein zweistufiges Gewichtungsschema ein: eine Domänen-Level-Gewichtung $w$ , um nützliche Quell-Domänen auszuwählen, und eine Instanz-Level-Gewichtung $\tilde{q}$ , um nicht passende Trajektorien innerhalb jeder Domäne zu filtern.

Hauptbeiträge

Theoriegetriebenes Co-Training: BEACON ist die erste Methode, die das BEA-Framework auf generative Roboter-Policies anwendet, indem sie direkt eine diskrepanzbasierte Generalisierungsschranke minimiert, anstatt sich auf heuristische Feature-Alignmentsverluste zu verlassen.
Skalierbare Instanz-Level-Reweighting: Die Einführung skalierbarer, instanzbasierter Diskrepanzschätzer (k-NN im Embedding-Raum) ermöglicht es der Methode, hochdimensionale Sequenz-Policies und heterogene Quelldaten effektiv zu verarbeiten.
Implizites Feature-Alignment: Die Arbeit zeigt, dass Feature-Alignment als Nebenprodukt des diskrepanzbewussten Reweighting-Ziels natürlich entsteht, ohne dass ein expliziter Alignmentsverlust-Term erforderlich ist.
Multi-Source-Robustheit: Die MS-BEACON-Erweiterung balanciert heterogene Quell-Domänen effektiv aus und mildert negativen Transfer, wenn sich die Quellen untereinander und vom Ziel erheblich unterscheiden.

Experimentelle Ergebnisse

BEACON wurde über Sim-zu-Sim, Sim-zu-Real und Multi-Source-Manipulationsaufgaben (Blockstapeln, Tassenaufräumen, Fädeln) auf einem Franka Emika Panda-Roboter evaluiert.

Überlegene Generalisierung: BEACON übertraf konsistent die Baselines, einschließlich Target-Only, festem Verhältnis Co-Training und Feature-Alignment-Methoden (MMD, UOT).
- Bei Sim-zu-Sim (Textur- und Blickwinkel-Lücken) erreichte BEACON eine durchschnittliche Erfolgsrate von 0,64 (Texturlücke) und 0,45 (Textur + Blickwinkel) und übertraf die nächstbeste Baseline (MMD) mit einem signifikanten Abstand.
- Bei Sim-zu-Real, wo Target-Only-Policies fast versagten (0,10 durchschnittlicher Erfolg), erreichte BEACON 0,77 durchschnittlichen Erfolg und zeigte Robustheit gegenüber sowohl visuellen als auch physikalischen Lücken.
Out-of-Distribution (OOD)-Robustheit: BEACON behielt die Leistung bei, wenn es auf Aufgabeninstanzen außerhalb der Verteilung der Ziel-Demonstrationen evaluiert wurde, wohingegen Feature-Alignment-Baselines (wie MMD) eine signifikante Verschlechterung erlitten.
Implizites Alignment: UMAP-Visualisierungen bestätigten, dass BEACON Quell- und Ziel-Latenzmerkmale als Ergebnis der Reweighting-Dynamik näher zusammenbringt, trotz Fehlens eines expliziten Alignmentsverlusts.
Dateneffizienz: Das Hochskalieren von Ziel-Demonstrationen verbesserte die Leistung von BEACON weiter, was darauf hindeutet, dass Quell-Reweighting den Wert von Zieldaten verstärkt, anstatt sie zu ersetzen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BEACON ein ergänzendes Paradigma zu bestehenden Domain-Adaptation-Methoden bietet. Anstatt sich darauf zu konzentrieren, Latenzräume zum Matchen zu zwingen (was die aufgabenrelevante Geometrie kollabieren lassen kann), konzentriert sich BEACON auf die Auswahl, welche Quell-Trajektorien das Ziel-Lernen beeinflussen sollen.

Die Autoren behaupten, dass:

Importance Reweighting ein fundamentalerer Design-Hebel für cross-domänisches Roboter-Lernen ist als die Wahl, wo Repräsentationen in einem Netzwerk aligniert werden sollen.
Die Verankerung dieses Hebels in der Generalisierungstheorie konkrete Gewinne in Robustheit und Dateneffizienz liefert.
Die Methode besonders effektiv in Regimen mit wenig Zieldaten ist, wo die Sammlung großer Zieldatensätze nicht machbar ist.

Die Arbeit erkennt Einschränkungen an und stellt fest, dass die Experimente auf quasi-statische Interaktionen beschränkt waren und die Annahme knapper realer Daten möglicherweise nicht in allen zukünftigen Szenarien gilt, in denen große, heterogene reale Datensätze verfügbar sein könnten. Die Ergebnisse deuten jedoch darauf hin, dass der vorgeschlagene Reweighting-Mechanismus eine robuste Strategie zur Handhabung von Domänenverschiebungen bleibt.