Technische Zusammenfassung: DISC – Entkopplung von Instruktion und zustandsbedingter Steuerung durch Policy-Generierung

1. Problemstellung

Die Arbeit adressiert eine fundamentale Einschränkung aktueller sprachbedingter Roboter-Manipulations-Policies: Task-Zustands-Verschränkung. Bestehende Architekturen (z. B. Transformer, Diffusions-Policies) verarbeiten natürliche Sprachinstruktionen und visuelle Beobachtungen durch gemeinsame Netzwerkgewichte. Die Autoren argumentieren, dass dieses Design zwei kritische Fehler verursacht:

1. Optimierungsspannung: Gemeinsame Parameter müssen gleichzeitig semantisches Sprachverständnis (erfordert Abstraktion) und präzise visuomotorische Steuerung (erfordert räumliche Sensitivität) erlernen, was zu konfligierenden Optimierungszielen führt.
2. Beobachtungsleckage: In begrenzten Robotik-Datensätzen korreliert der visuelle Kontext oft stark mit der Task-Identität. Verschränkte Architekturen nutzen dies aus, indem sie „Szenen-zu-Aktion"-Abkürzungen erlernen und die Sprachinstruktion vollständig umgehen. Folglich sind die Policies bei vertrauten Szenen erfolgreich, scheitern jedoch, wenn sich die Instruktionen ändern oder visuelle Mehrdeutigkeiten auftreten, da sie auf visuelle Priors statt auf die Verankerung der sprachlichen Taskspezifikation angewiesen sind.

2. Methodik: DISC-Architektur

Die vorgeschlagene Lösung, DISC, entkoppelt die Taskspezifikation (Sprache) strukturell von der zustandsbedingten Steuerung. Anstatt eine universelle Policy sprachlich zu konditionieren, verwendet DISC ein Hypernetzwerk, um den gesamten Parametersatz einer taskspezifischen visuomotorischen Policy allein basierend auf der Instruktion zu generieren.

Kernkomponenten

• Hypernetzwerk ($H_\phi$): Nimmt eine Sprachinstruktions-Embedding ($e_l$) entgegen und gibt die Gewichte ($\theta_\pi$) für eine Zielpolicy aus. Die Zielpolicy ($\pi_{\theta_\pi}$) erhält nur visuelle Beobachtungen ($o_t$) und gibt Aktionen ($a_t$) aus. Da die Zielpolicy keinen direkten Zugriff auf Sprache hat, müssen Taskssemantiken vollständig innerhalb der generierten Gewichte kodiert werden, was Beobachtungsleckage strukturell eliminiert.
• Zweistufige Generierung: Die Generierung kohärenter hochdimensionaler Gewichte ist herausfordernd. DISC employs einen zweistufigen Prozess, um die Parameterqualität sicherzustellen:
  1. Gewicht-Initialisierungsnetzwerk (WIN): Abbildet das Sprach-Embedding auf einen groben, semantisch informierten Punkt im Parameterraum (z. B. Unterscheidung zwischen Greifen und Schieben).
  2. Iterativer Verfeinerungsmodul: Verfeinert die Initialisierung über $T$ gelernte Schritte. Dieses Modul imitiert die Struktur gradientenbasierter Optimierung (Vorwärtsdurchlauf, Pseudo-Gradientenschätzung, Parameterupdate), operiert jedoch als vollständig feed-forward neuronales Netzwerk. Es kodiert eine induktive Bias für Optimierung, ohne die Rechenkosten eines tatsächlichen Gradientenabstiegs zur Inferenzzeit zu verursachen.
• Zielpolicy: Ein kompakter, taskspezifischer Controller (implementiert als leichtgewichtiges MLP), der durch die generierten Gewichte konfiguriert wird.

Training und Anpassung

• Training: Das System wird end-to-end via Behavior Cloning trainiert. Der Verlust wird durch die Zielpolicy und das Hypernetzwerk zurückpropagiert, um die Hypernetzwerk-Parameter ($\phi$) zu aktualisieren.
• Few-Shot-Anpassung: Für neue Tasks generiert das Hypernetzwerk eine Initialisierung basierend auf der neuen Instruktion. Diese Initialisierung, die bereits semantisch mit dem Task-Mannigfaltigkeit abgestimmt ist, wird dann an einer kleinen Anzahl von Demonstrationen feinabgestimmt. Dies verwandelt die Anpassung von einer globalen Suche in eine lokale Verfeinerung und verbessert die Probeneffizienz erheblich.

3. Hauptbeiträge

• Architektonische Entkopplung: Die Arbeit führt eine strukturelle Garantie gegen Beobachtungsleckage ein, indem sichergestellt wird, dass Taskssemantiken das Verhalten nur durch generierte Policy-Parameter beeinflussen, nicht durch gemeinsame Verarbeitungsschichten.
• Optimierungsinspiriertes Hypernetzwerk: Ein neuartiges Hypernetzwerk-Design, das einen gelernten, feed-forward Verfeinerungsprozess nutzt, um kohärente, hochdimensionale Policy-Gewichte zu generieren und so die Lücke zwischen Ausdruckskraft und Steuerpräzision schließt.
• Semantischer Parameter-Mannigfaltigkeit: Die Methode lernt einen Parameterraum, in dem semantisch ähnliche Tasks geometrisch clustern, was eine robuste Few-Shot-Anpassung und Generalisierung auf umformulierte Instruktionen ermöglicht.

4. Experimentelle Ergebnisse

Die Autoren bewerten DISC an Simulations-Benchmarks (LIBERO-90, Meta-World) und einem realweltlichen kombinatorischen Benchmark.

• Multi-Task-Leistung:
  • Auf LIBERO-90 erreicht DISC 94,3 % Gesamterfolg und übertrifft die stärkste von Grund auf neu trainierte verschränkte Baseline (OTTER, 86,6 %) um 7,7 %.
  • Die Leistungslücke vergrößert sich mit der Task-Komplexität: DISC übertrifft die Baselines um +8,4 % bei Langzeit-Horizont-Tasks.
  • DISC übertrifft das großskalige vortrainierte Modell $\pi_0$ (91,6 %), obwohl es von Grund auf neu trainiert wurde, und bleibt mit $\pi_{0.5}$ (95,7 %) konkurrenzfähig.
  • Auf Meta-World erreicht DISC 92,2 % insgesamt und übertrifft alle Baselines.
• Minderung von Beobachtungsleckage (Realwelt):
  • In einem realweltlichen Benchmark, bei dem 9 Tasks identische visuelle Kontexte teilen (sich nur durch Sprache unterscheiden), erreicht DISC 86,4 % Erfolg.
  • Verschränkte Baselines (z. B. Octo) fallen auf 78,5 % und scheitern oft daran, zwischen Tasks mit identischen visuellen Aufbauten, aber unterschiedlichen Instruktionen zu unterscheiden, was bestätigt, dass die Entkopplung von DISC visuelle Abkürzungen verhindert.
• Few-Shot-Anpassung:
  • DISC zeigt überlegene Probeneffizienz. Mit nur 1–3 Demonstrationen erreicht es nicht-triviale Erfolgsquoten, bei denen Diffusions-basierte Methoden nahe 0 % kämpfen.
  • Es konvergiert rasch (innerhalb von 200 Schritten) im Vergleich zu Baselines, die längere „Warm-up"-Phasen benötigen.
• Sprachverankerung:
  • Unter sprachlichen Variationen (umformulierte Instruktionen) behält DISC eine hohe Leistung bei (85,4 % auf LIBERO-90), während verschränkte Modelle eine signifikante Verschlechterung zeigen, was darauf hindeutet, dass DISC die Tasksbedeutung verankert und nicht spezifische Formulierungen auswendig lernt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass wo Sprache eine Policy-Architektur betritt, wichtiger ist als wie sie kodiert wird. Die Autoren argumentieren, dass Task-Zustands-Verschränkung ein struktureller Fehler ist, der allein durch Skalierung von Daten oder Modellgröße nicht vollständig gelöst werden kann.

• Strukturelle Garantie: Durch die Generierung taskspezifischer Parameter bietet DISC eine strukturelle Garantie, dass Taskssemantiken im gesamten Controller eingebettet sind und verhindern, dass das Netzwerk Abkürzungen lernt, die die Sprache umgehen.
• Effizienz vs. Vortraining: Die Ergebnisse deuten darauf hin, dass architektonische induktive Biases (Entkopplung) einen Großteil des Vorteils wiederherstellen können, der großskaligem Vortraining zugeschrieben wird, sodass von Grund auf neu trainierte Modelle mit großen vortrainierten Vision-Language-Action (VLA)-Modellen mithalten oder diese übertreffen können.
• Robustheit: Die entkoppelte Architektur ist besonders wertvoll in komplexen, langfristigen oder visuell mehrdeutigen Szenarien, bei denen verschränkte Policies aufgrund akkumulierter Verankerungsfehler versagen.

Die Autoren schließen, dass große vortrainierte VLAs in datenreichen Umgebungen komplementär sind, DISC jedoch einen überlegenen Ansatz für Szenarien bietet, die eine zuverlässige Verankerung, effiziente Steuerung und Anpassung aus begrenzten Roboterdaten erfordern.