CRL-VLA: Continual Vision-Language-Action Learning

Technisches Resümee: CRL-VLA

Problemstellung

Die Arbeit befasst sich mit der Herausforderung des kontinuierlichen Reinforcement Learning (CRL) für Vision-Language-Action (VLA) Modelle in offenen Roboterumgebungen. Während das RL-Post-Training nachweislich effektiv zur Ausrichtung von VLA-Modellen auf komplexe Manipulationsaufgaben beigetragen hat, erfordert die Aufrechterhaltung dieser Anpassungsfähigkeit über nicht-stationäre Aufgabenströme hinweg ein Gleichgewicht zwischen Stabilität (Beibehaltung zuvor gelernter Fähigkeiten) und Plastizität (Erwerb neuer Fähigkeiten).

Bestehende CRL-Methoden stehen vor erheblichen Einschränkungen bei der Anwendung auf großskalige, multimodale VLA-Architekturen:

• Experience Replay: Die Wiederverwendung veralteter Transitionen führt oft zu Off-Policy-Fehlern, bei denen Gradienten mit neuen Aufgaben kollidieren und das Lernen destabilisieren.
• Second-Order Regularisierung: Methoden wie die Fisher-Information sind für hochdimensionale Transformer rechentechnisch zu aufwendig.
• Leichte Constraints: Ansätze wie die KL-Regularisierung erzwingen oft nur eine Ähnlichkeit im Kurzzeit-Horizont, was das langfristige Aufgaben-Performance-Niveau nicht bewahren kann.
• Backbone-Einfrieren: Die Annahme, dass vortrainierte Repräsentationen weiterhin mit Sprachzielen ausgerichtet bleiben, ist fragil; unter Aufgabenwechseln driftet das Value-Learning ohne explizite sprachliche Konditionierung ab, was zu katastrophalem Vergessen führt.

Das Kernproblem besteht darin, den Mechanismus zu identifizieren, der das Vergessen beim kontinuierlichen VLA-Lernen antreibt, und einen Rahmen zu entwickeln, der Stabilität und Plastizität rigoros ausbalanciert, ohne den Rechen- oder Architekturaufwand bestehender Methoden zu verursachen.

Methodik: CRL-VLA

Die Autoren schlagen CRL-VLA vor, ein Framework für kontinuierliches Post-Training, das auf einer vereinheitlichten theoretischen Schranke basiert, welche den Stabilitäts-Plastizitäts-Trade-off mit der zielgerichteten Advantage-Magnitude verknüpft.

Theoretische Grundlage

Die Arbeit leitet eine vereinheitlichte Performance-Schranke her, die zeigt, dass die Leistungsdegradation bei alten Aufgaben und die Verbesserung bei neuen Aufgaben durch die Kopplung der Advantage-Magnitude ($M_g$) und der Policy-Divergenz (gemessen durch die KL-Divergenz) gesteuert werden.

• Stabilität ($M_{old}$): Die maximale Advantage der alten Policy über ihre Zustandsverteilung.
• Plastizität ($M_{new}$): Die maximal erreichbare Advantage bei neuen Aufgaben.

Die Autoren zeigen, dass $M_{old}$ und $M_{new}$ unabhängig voneinander kontrolliert werden können:

1. Stabilitätskontrolle: $M_{old}$ wird durch den Critic-Approximationsfehler ($\epsilon_V$) auf alten Aufgabendaten begrenzt.
2. Plastizitätskontrolle: $M_{new}$ ist bei Verwendung der Monte Carlo (MC) Schätzung auf neuen Aufgaben natürlich durch den Return-Bereich der Umgebung begrenzt.

Diese Erkenntnis ermöglicht eine asymmetrische Regulierung: die Unterdrückung der Advantage-Magnituden auf früheren Aufgaben zur Sicherstellung der Stabilität bei gleichzeitiger Erlaubnis eines kontrollierten Wachstums auf neuen Aufgaben zur Ermöglichung von Plastizität.

Architektur: Dual-Critic mit Goal-Conditioned Value Formulation (GCVF)

Um diese Theorie zu operationalisieren, verwendet CRL-VLA eine Dual-Critic-Architektur:

1. Gefrorener Goal-Conditioned Value (GCV) Critic ($\theta_{GCV}$): Initialisiert aus dem konvergierten Value-Netzwerk der vorherigen Aufgabe und während des Trainings der neuen Aufgabe eingefroren. Er verankert die semantische Konsistenz und liefert Referenzwerte ($V_{old}$), um den Fehler der Wert-Approximation auf alten Daten zu begrenzen.
2. Trainbarer MC-Critic ($\theta_{MC}$): Wird auf Trajektorien der neuen Aufgabe mittels MC-Returns aktualisiert. Er treibt die Adaptation voran und erlaubt es, dass die Advantage-Magnitude auf neuen Aufgaben natürlich durch den Return-Bereich der Umgebung begrenzt bleibt.

Beide Critics teilen einen einheitlichen Backbone ($\phi$), besitzen jedoch entkoppelte Heads. Das Value-Netzwerk wird durch die Konkatenierung von Language-Embeddings mit den Zustandsrepräsentationen vor dem MLP auf Sprachziele konditioniert, was die mangelnde Befolgung von Sprachzielen in Standard-VLA-Value-Heads adressiert.

Trainingsziele

Der Gesamt-Trainingsverlust integriert vier Komponenten, um den Trade-off auszubalancieren:
$$\mathcal{L}_{total} = \mathcal{L}_{PPO} + \alpha \mathcal{L}_{KL} + \beta_V \mathcal{L}^V_{GCV} + \eta \mathcal{L}^V_{MC}$$

• $\mathcal{L}_{PPO}$: Standardmäßige PPO-Objective zur Maximierung der Returns der neuen Aufgabe unter Einhaltung einer Trust-Region-Constraint ($D_{new}$).
• $\mathcal{L}_{KL}$: KL-Divergenz-Penalty auf alten Aufgabendaten, um die Policy-Divergenz ($D_{old}$) zu begrenzen.
• $\mathcal{L}^V_{GCV}$: Konsistenzverlust zwischen dem gefrorenen GCV-Critic und den Vorhersagen des aktuellen Backbones auf alten Aufgabendaten, um $\epsilon_V$ zu minimieren und so $M_{old}$ zu kontrollieren.
• $\mathcal{L}^V_{MC}$: Verlust für den trainierbaren MC-Critic auf neuen Aufgabendaten, der eine genaue Advantage-Schätzung sicherstellt, die durch den Return-Bereich begrenzt ist, um $M_{new}$ zu kontrollieren.

Zentrale Beiträge

1. Theoretische Erkenntnis: Die Arbeit identifiziert die zielgerichtete Advantage-Magnitude als die entscheidende Größe, die den Stabilitäts-Plastizitäts-Trade-off im kontinuierlichen VLA-Lernen steuert, und leitet vereinheitlichte Schranken her, die diese Magnitude mit der Policy-Divergenz verknüpfen.
2. Asymmetrisches Regulierungsschema: CRL-VLA operationalisiert diese Erkenntnis über eine Dual-Critic-Architektur, die stabile Value-Semantik (gefrorener GCV-Critic) von adaptivem Policy-Lernen (trainierbarer MC-Critic) entkoppelt und so eine unabhängige Kontrolle von Stabilität und Plastizität ermöglicht.
3. Goal-Conditioned Value Formulation (GCVF): Eine neuartige Formulierung, die Value-Netzwerke direkt auf Language-Embeddings konditioniert, was die langfristige Value-Konsistenz und das Befolgen von Sprachzielen verbessert.
4. Empirische Validierung: Umfangreiche Experimente auf dem LIBERO-Benchmark zeigen, dass CRL-VLA starke Baselines (Sequence Learning, LWF, Experience Replay, Multi-Task Learning) sowohl in den Metriken Anti-Forgetting (Backward Transfer) als auch Forward Adaptation (Forward Transfer) übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten CRL-VLA in Single-Task- und Multi-Task-Szenarien unter Verwendung des LIBERO-Benchmarks mit OpenVLA-OFT als Basismodell.

• Single-Task Learning: CRL-VLA (Q-basiert) erreichte die höchste Final Average Return (FAR) von 0,98, mit der niedrigsten Vergessens-Metrik (0,03) und einem Backward Transfer (BWT) von -0,02, womit es Baselines wie Sequence Learning (FAR 0,00) und Standard-Experience-Replay (FAR 0,60) signifikant übertraf.
• Multi-Task Learning: CRL-VLA (V-basiert) erreichte die höchste FAR (0,74) und den höchsten BWT (0,17), was eine überlegene Cross-Task-Wissensvermittlung und Widerstandsfähigkeit gegen katastrophales Vergessen im Vergleich zu MTL- und ER-Baselines demonstriert.
• Ablationsstudien:
  • Loss-Gewichtung: Moderate Gewichte für GCV- und KL-Losses erwiesen sich als optimal; zu hohe Gewichte beschränkten die Updates zu stark, während zu geringe Gewichte nicht ausreichten, um die Advantage-Magnitude zu unterdrücken.
  • Notwendigkeit von GCV: Das Entfernen der GCV-Komponente führte zu einem signifikanten Abfall der Erfolgsraten (FAR sank von 0,31 auf 0,29 in spezifischen Ablationssettings) und erhöhte das Vergessen, was die Bedeutung der sprachlich konditionierten Value-Verankerung bestätigt.
  • V vs. Q: Die Q-basierte Variante schnitt in Single-Task-Szenarien besser ab, während die V-basierte Variante in Multi-Task-Umgebungen mit diverseren State-Goal-Verteilungen eine höhere Robustheit zeigte.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass CRL-VLA einen fundierten und effektiven Weg für den Einsatz von VLA-Modellen in lebenslangen Roboterszenarien bietet. Durch die rigorose Herleitung theoretischer Schranken und deren Übersetzung in eine einfache Dual-Critic-Architektur löst die Methode das Stabilitäts-Plastizitäts-Dilemma, ohne teure Second-Order-Berechnungen oder große Replay-Buffer zu benötigen.

Die Autoren stellen fest, dass ihre Arbeit die erste ist, die den Stabilitäts-Plastizitäts-Trade-off im kontinuierlichen VLA-Lernen explizit über die Steuerung der Advantage-Magnitude modelliert. Sie betonen, dass CRL-VLA widersprüchliche Ziele effektiv harmonisiert, sodass Agenten kontinuierlich neue Fähigkeiten erwerben können, während sie gleichzeitig das Vorwissen bewahren, was die Machbarkeit von lebenslangem Lernen für Embodied Agents in offenen Umgebungen vorantreibt. Als zukünftige Arbeit wird vorgeschlagen, dieses Framework auf vielfältigere Aufgabenströme auszuweiten, einschließlich partieller Beobachtbarkeit und nicht-stationärer Sprachziele.