💻 computer science

Contrastive Conceptor Activation Steering (COAST): Unlocking Vision-Language-Action Models through Hidden States

Das Papier schlägt Contrastive Conceptor Activation Steering (COAST) vor, eine leichte, trainingsfreie Methode, die Conceptoren nutzt, um die Latenten von Vision-Language-Action (VLA)-Modellen zu identifizieren und in erfolgskritische Unterräume zu lenken, die aus Few-Shot-Beispielen abgeleitet werden, wodurch die Erfolgswahrscheinlichkeit von Aufgaben über diverse Architekturen hinweg ohne Nachtraining erheblich verbessert wird.

Ursprüngliche Autoren: Miranda Muqing Miao, Subin Kim, Brandon Yang, Lyle Ungar

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Miranda Muqing Miao, Subin Kim, Brandon Yang, Lyle Ungar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „kluge Kopf" vs. die „ungeschickten Hände"

Stellen Sie sich einen Roboter vor, der das gesamte Internet gelesen hat. Er weiß, wie eine „Tasse" aussieht, versteht das Konzept des „Öffnens einer Schublade" und kann die Physik der Bewegung von Gegenständen beschreiben. Dies ist das Vision-Language-Action (VLA)-Modell. Es besitzt ein brillantes „Gehirn" (der vortrainierte Teil), das die Welt perfekt versteht.

Wenn Sie diesen Roboter jedoch bitten, die Aufgabe tatsächlich auszuführen, scheitert er oft. Er könnte die Tasse umstoßen, den Schublade-Griff verfehlen oder in die falsche Richtung drücken. Das Papier legt nahe, dass das „Gehirn" des Roboters die richtige Antwort kennt, aber seine „Hände" (der Teil, der Gedanken in Motorbefehle umwandelt) die Nachricht durcheinanderbringen. Es ist wie ein genialer Koch, der genau weiß, wie man einen Kuchen backt, aber ständig Eier fallen lässt, weil seine Hände zittern.

Die Lösung: COAST (Der „mentale Schubs")

Die Autoren schlagen eine Methode namens COAST (Contrastive Conceptor Activation Steering) vor. Anstatt den Roboter neu zu trainieren (was langsam, teuer und riskant ist), gibt COAST dem Roboter einen winzigen, sofortigen „Schubs", während er denkt, kurz bevor er sich bewegt.

Stellen Sie sich den Denkprozess des Roboters als einen Fluss vor, der durch ein komplexes Netzwerk von Kanälen fließt. Manchmal fließt das Wasser in einen „Erfolg"-Kanal, manchmal driftet es in ein „Misserfolg"-Sumpfgebiet. COAST wirkt wie ein intelligenter Damm oder eine Reihe von einstellbaren Schleusen, die das Wasser sanft zurück in den Erfolg-Kanal drücken, ohne den Fluss zu stoppen oder die Landschaft zu verändern.

Wie es funktioniert: Der „Erfolg vs. Misserfolg"-Filter

Um diese intelligenten Schleusen zu bauen, muss der Roboter ein paar Beispiele dafür sehen, was er richtig und was er falsch gemacht hat.

Der „Conceptor" (Der Filter): Stellen Sie sich ein Sieb vor. Wenn Sie Sand (die Gedanken des Roboters) durch ein Sieb gießen, bleiben die großen Steine (die wichtigen, einzigartigen Details) zurück, und der feine Staub (das langweilige, gemeinsame Rauschen) fällt durch. Ein „Conceptor" ist ein mathematisches Sieb, das das Langweilige herausfiltert und die spezifischen Details behält, die für eine Aufgabe wichtig sind.
Der „Contrastive"-Teil (Der Unterschied): Die Autoren stellten fest, dass die „Misserfolg"-Gedanken und die „Erfolg"-Gedanken des Roboters in vielerlei Hinsicht sehr ähnlich aussehen (beide beinhalten das Bewegen eines Arms). Sie unterscheiden sich jedoch in einigen spezifischen, kritischen Richtungen.
- COAST baut einen Filter für „Erfolg" und einen Filter für „Misserfolg".
- Anschließend subtrahiert es den „Misserfolg"-Filter vom „Erfolg"-Filter.
- Das Ergebnis ist ein Super-Filter, der nur die Gedanken durchlässt, die einzigartig erfolgreich sind, und Gedanken blockiert, die zum Misserfolg führen.

Der Trick: Die Steuerung des Flusses

Wenn der Roboter kurz davor ist zu handeln, führt COAST seine aktuellen Gedanken durch diesen Super-Filter.

Wenn der Roboter über eine Bewegung nachdenkt, die wie ein Misserfolg aussieht, dämpft der Filter diesen Gedanken.
Wenn der Roboter über eine Bewegung nachdenkt, die wie ein Erfolg aussieht, verstärkt der Filter sie.

Dies geschieht in einem Bruchteil einer Sekunde, ohne das Gehirn des Roboters oder sein Training zu verändern. Es ist wie das Aufsetzen einer Brille, die Ihr Sehvermögen sofort korrigiert, damit Sie nicht über denselben Stein stolpern.

Was sie herausfanden (Die Ergebnisse)

Das Papier testete dies an drei verschiedenen Arten von Roboter-„Gehirnen" und in drei verschiedenen Umgebungen (simulierte Küchen, Tische und reale Roboter).

Riesige Verbesserungen: Die Roboter wurden bei ihrer Arbeit viel besser. In Simulationen stiegen die Erfolgsquoten um 20 %. Bei echten Robotern sprangen die Erfolgsquoten um 40 %.
Es ist nicht nur eine Richtung: Bisherige Methoden versuchten, den Roboter nur in eine Richtung zu drücken (wie „drücke härter"). COAST erkannte, dass Erfolg ein ganzes Gebiet oder eine Form im Kopf des Roboters ist, nicht nur eine einzelne Linie. Indem es die ganze Form steuert, funktioniert es viel besser.
Misserfolg ist geteilt, Erfolg ist einzigartig: Die Forscher stellten etwas Interessantes fest: Roboter versagen bei verschiedenen Aufgaben auf ähnliche Weise (z. B. neigen sie alle dazu, den Griff auf ähnliche Weise zu verfehlen). Aber sie haben sehr einzigartige Erfolgsweisen, je nach der spezifischen Aufgabe. COAST nutzt dies, indem es lernt, die „geteilten Misserfolg"-Muster zu blockieren, was dem Roboter hilft, auch bei neuen Aufgaben, die es noch nicht gesehen hat, erfolgreich zu sein.

Warum das wichtig ist

Normalerweise müssen Sie, um einen Roboter zu reparieren, der ständig scheitert, wochenlang mit tausenden neuen Beispielen neu trainieren. COAST zeigt, dass der Roboter bereits weiß, wie man erfolgreich ist; er braucht nur ein wenig Hilfe, um in dem richtigen Moment auf dieses Wissen zu fokussieren.

Es ist eine „Plug-and-Play"-Lösung. Sie müssen das Gehirn des Roboters nicht umbauen. Sie brauchen nur ein paar Beispiele für Erfolg und Misserfolg, rechnen die Mathematik aus, um den Filter zu bauen, und dann führt der Roboter die Aufgabe wie ein Profi aus.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, mit einem Bogen und Pfeil die Mitte der Scheibe zu treffen. Sie haben einen Meisterbogenschützen (das Gehirn des Roboters), der die Physik versteht, aber Ihr Arm (der Handlungsexperte des Roboters) ist zittrig.

Alter Weg: Sie verbringen Monate damit, Ihre Arm Muskeln zu trainieren, damit sie stabil werden (Fine-Tuning).
COAST-Weg: Sie setzen eine spezielle Visier auf Ihren Bogen, die Ihre Zielrichtung automatisch justiert, sobald Sie die Sehne spannen, und korrigiert Ihre zittrige Hand basierend auf den wenigen Malen, die Sie zuvor daneben lagen. Sie treffen die Mitte sofort, ohne Ihre Muskeln zu verändern.

Technischer Überblick: Contrastive Conceptor Activation Steering (COAST)

Problemstellung

Vision-Language-Action (VLA)-Modelle nutzen leistungsstarke perzeptive Priors aus dem webweiten Pre-Training von Vision-Language-Modellen (VLM), um natürliche Sprachbefehle zu interpretieren und komplexe robotische Verhaltensweisen auszuführen. Dennoch bleiben diese Modelle in der Praxis überraschend brüchig und scheitern häufig an einfachen robotischen Aufgaben, trotz ihrer starken Generalisierungsfähigkeiten. Bestehende Abhilfemaßnahmen, wie das Fine-Tuning nach dem Training oder die kontrastive Regularisierung von Repräsentationen, sind oft kostspielig und konzeptionell fehlgeleitet, da sie versuchen, Verhaltensweisen neu zu erlernen, anstatt die Generalisierungsfähigkeit zu maximieren, die bereits in den vortrainierten Gewichten des Modells kodiert ist.

Die Autoren hypothesieren, dass die primäre Engstelle im Action-Expert der VLA-Architektur liegt. Während der eingefrorene VLM-Rückgrat reiche, hochdimensionale Aufgabenverständnisse in seinen versteckten Zuständen bewahrt, versagt die finale Decodierung des Action-Experts oft darin, diese Informationen voll auszuschöpfen. Aktuelle Methoden zur Aktivierungssteuerung für VLA-Modelle konzentrieren sich typischerweise auf den VLM-Rückgrat oder verlassen sich auf einseitige additive Verschiebungen, die unzureichend sein können, wenn das relevante Signal über mehrere Dimensionen verteilt ist.

Methodik: COAST

Die Arbeit schlägt Contrastive Conceptor Activation Steering (COAST) vor, ein leichtgewichtiges, training-freies Framework, das eingefrorene VLA-Richtlinien zur Inferenzzeit steuert. COAST funktioniert durch die Anwendung eines multiplikativen Gatters auf die Aktivierungen des Residual-Streams des Action-Experts, abgeleitet aus dem Konzept der Conceptor.

Kernmechanismus

Conceptor-Konstruktion: Ein Conceptor ist ein linearer Operator, der Daten weich auf die Hauptkomponenten einer Zielverteilung projiziert. COAST konstruiert zwei separate Conceptor:
- $C_{success}$ : Erfasst den Hauptunterraum der Aktivierungen aus erfolgreichen Rollouts.
- $C_{failure}$ : Erfasst den Hauptunterraum der Aktivierungen aus gescheiterten Rollouts.
  Diese werden in geschlossener Form unter Verwendung der Kovarianzmatrix der Aktivierungen und eines Regularisierungsparameters (Apertur $\alpha$ ) berechnet, wodurch der Bedarf an Gradientenabstieg umgangen wird.
Kontrastive Komposition: Um aufgaberelevante Richtungen zu isolieren, die Erfolg von Misserfolg unterscheiden, verwendet COAST die boolesche Unterraumalgebra, um einen kontrastiven Conceptor ( $C_{steer}$ ) zu komponieren:
$C_{steer} = C_{success} \land \neg C_{failure}$
Diese Operation (UND-NICHT) behält Richtungen bei, die im Erfolgsunterraum vorhanden sind, unterdrückt jedoch Richtungen, die mit dem Misserfolgsunterraum (Rauschen) geteilt werden, sowie solche, die einzigartig für Misserfolge sind.
Steuerung zur Inferenzzeit: Während der Inferenz wird die Aktivierung $h$ des Residual-Streams an einer bestimmten Schicht $\ell$ über ein multiplikatives Gatter $M$ transformiert:
$h' = h M^\top, \quad \text{wobei } M = (1 - \beta)I + \beta C_{steer}$
Hier kontrolliert $\beta \in [0, 1]$ die Steuerungsstärke. Diese Operation projiziert den versteckten Zustand sanft in Richtung des mit Erfolg assoziierten Unter raums, ohne die interne Berechnung des Modells zu überschreiben.

Schlüsselfunktionen

Training-Frei: Erfordert keine Gewichtsaktualisierungen, Gradientenberechnungen oder Hilfsmodelle.
Plug-and-Play: Operiert direkt auf dem Residual-Stream des Action-Experts.
Unterraum-Ebene: Im Gegensatz zur einseitigen additiven Steuerung (z. B. Contrastive Activation Addition) operiert COAST auf einem mehrdimensionalen Unterraum und erfasst komplexe, ergebniskritische Geometrien.

Hauptbeiträge

Leichtgewichtiges, training-freies Richtlinien-Steering: Die Autoren stellen die erste Anwendung von Conceptor-basiertem Unterraum-Gating auf VLA-Action-Experten vor. Durch die Konstruktion eines multiplikativen Gatters in geschlossener Form aus boolescher Conceptor-Algebra über erfolgreiche und gescheiterte Rollouts verbessert COAST die durchschnittliche Erfolgsrate von Simulationsaufgaben um über 20% und die Erfolgsrate realer Roboter-Aufgaben um über 40% über diverse Benchmarks hinweg.
Mechanistische Einsicht: Die Analyse zeigt, dass die Eigenwertstruktur von VLA-Action-Experten gut für Conceptor-basierte Steuerung geeignet ist. Ergebniskritische Repräsentationen besetzen einen niedrigrangigen, aber nicht rang-einen Unterraum, was erklärt, warum mehrdimensionale Conceptor einseitigen additiven Methoden überlegen sind. Darüber hinaus stellt die Studie fest, dass, während Erfolgsrepräsentationen weitgehend aufgabenspezifisch sind, Misserfolgsmodi eine erhebliche geometrische Struktur über verschiedene Aufgaben hinweg teilen.
Plug-and-Play-Generalisierung: COAST wird über drei architektonisch unterschiedliche Richtlinienfamilien (Flow-Matching-VLAs, autoregressive VLAs und Diffusion Policy) und drei Simulationsbenchmarks mit zunehmender Komplexität (MetaWorld, LIBERO-10, RoboCasa) sowie beim Einsatz auf realen Robotern auf der DROID-Plattform validiert. Die Methode zeigt, dass die geometrische Struktur, die sie ausnutzt, nicht auf eine einzelne Architektur oder Umgebung beschränkt ist.

Experimentelle Ergebnisse

Die Arbeit evaluiert COAST gegenüber ungesteuerten Baselines, supervised Fine-Tuning (SFT), Contrastive Activation Addition (CAA) und Sparse Autoencoder (SAE)-Steuerung.

Leistungssteigerungen: Über alle Modell-Benchmark-Paare hinweg erzielt COAST statistisch signifikante Verbesserungen.
- MetaWorld ML45: Die mittlere Erfolgsrate $\pi0.5$ stieg von 0,57 auf 0,82 (+25%) mit schrittweiser kontrastiver Steuerung.
- LIBERO-10: Die mittlere Erfolgsrate $\pi0.5$ stieg von 0,43 auf 0,80 (+37%).
- RoboCasa: Signifikante Gewinne wurden über Modelle hinweg beobachtet, wobei $\pi0.5$ 0,56 und GR00T N1.5 0,75 erreichte.
- Real-World: Auf der DROID-Plattform erreichte $\pi0.5$ mit COAST eine durchschnittliche Verbesserung von 40% bei den Erfolgsraten für Aufgaben wie „Schublade öffnen" und „Mikrowelle schließen", selbst ohne Fine-Tuning an Demonstrationen.
Vergleich: COAST übertrifft CAA und SAE-Steuerung konsistent, die durch ihren einseitigen oder feature-basierten Charakter begrenzt sind. Es übertrifft auch SFT, das oft unter Überanpassung leidet, wenn es auf der geringen Anzahl von Rollouts (15) trainiert wird, die für die Conceptor-Anpassung von COAST verwendet werden.
Aufgabenübergreifende Transferfähigkeit: Aufgrund der gemeinsamen Geometrie von Misserfolgsmodi können Conceptor, die auf einer Aufgabe angepasst wurden, die Leistung bei einer anderen Aufgabe innerhalb desselben Benchmarks ohne erneute Anpassung verbessern, sofern sich ihre Misserfolgsunterräume überschneiden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass aktuelle VLAs erhebliches aufgaberelevantes Wissen in ihren latenten Repräsentationen bewahren, aber die Decodierungsengstelle des Action-Experts die vollständige Nutzung dieser Informationen verhindert. COAST bietet einen geschlossenen, geometrischen Operator, um diese latente Fähigkeit ohne Nachtraining an die Oberfläche zu bringen.

Die Autoren betonen, dass die geometrische Struktur, die Steuerung ermöglicht – spezifisch niedrigrangige Unterräume mit kontrastiv trennbaren Erfolgs- und Misserfolgsrichtungen – eine allgemeine Eigenschaft der Kodierung aufgaberelevanter Information durch neuronale Netze ist, die über Flow-Matching-, autoregressive und Diffusionsrichtlinien hinweg bestehen bleibt. Sie schließen, dass VLA-Ausführungsfehler durch die Steuerung des Modells in Richtung seiner eigenen „Erfolgs"-Verteilungen gemildert werden können, was einen skalierbaren und effizienten Weg zur Freisetzung latenter Fähigkeiten in der embodied AI bietet.

Die Arbeit hebt auch eine Sicherheitsüberlegung hervor: Da Steuerung auf internen Aktivierungen wirkt, ist eine gesteuerte Richtlinie allein anhand von Aktionsspuren schwer von einer unmodifizierten zu unterscheiden. Die Autoren empfehlen, angewandte Conceptor als Teil der Richtlinienspezifikation zu protokollieren, um Transparenz zu gewährleisten.