🤖 AI

SCALE: Self-uncertainty Conditioned Adaptive Looking and Execution for Vision-Language-Action Models

Dieses Paper stellt SCALE vor, eine trainingsfreie Single-Pass-Inferenzstrategie für Vision-Language-Action-Modelle, die Selbstunsicherheit nutzt, um sowohl die visuelle Wahrnehmung als auch die Aktionsausführung dynamisch anzupassen und dadurch die Robustheit zu erhöhen sowie bestehende Test-Time-Scaling-Methoden ohne zusätzliches Training oder Verifizierer zu übertreffen.

Ursprüngliche Autoren: Hyeonbeom Choi, Daechul Ahn, Youhan Lee, Taewook Kang, Seongwon Cho, Jonghyun Choi

Veröffentlicht 2026-06-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hyeonbeom Choi, Daechul Ahn, Youhan Lee, Taewook Kang, Seongwon Cho, Jonghyun Choi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Kochen abendlichen Essens bei. Sie geben ihm ein Rezept (die sprachliche Anweisung) und zeigen ihm die Küche (den visuellen Input). Der Roboter muss entscheiden, was er als Nächstes tut: das Messer greifen, die Zwiebel schneiden oder den Herd einschalten.

Die aktuellen Gehirne von Robotern (genannt Vision-Language-Action-Modelle) sind intelligent, aber sie haben einen Makel: Sie sind ein wenig zu starr. Sobald sie eine Entscheidung getroffen haben, halten sie daran fest, selbst wenn sie verwirrt sind. Wenn der Roboter eine rote Paprika sieht, die verdächtig wie eine Tomate aussieht, könnte er das falsche Objekt greifen und das Gericht ruinieren, während er dabei selbstbewusst behauptet: „Ich weiß genau, was ich tue.“

Das Paper stellt eine neue Methode namens SCALE (Self-uncertainty Conditioned Adaptive Looking and Execution) vor. Stellen Sie sich SCALE wie ein „Bauchgefühl“-Meter vor, das dem Roboter sagt, wann er mutig und wann er vorsichtig sein muss.

So funktioniert SCALE, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Der „selbstbewusste Narr“

Die meisten Roboter von heute arbeiten wie ein Schüler, der eine Prüfung schreibt, eine Antwort rät und dann weigert, sie zu ändern, selbst wenn er auf halbem Weg merkt, dass er sich irren könnte.

Starre Vision: Sie betrachten die Welt immer mit dem gleichen „Fokus“. Wenn sie durch ein glänzendes Objekt (einen „Distraktor“) abgelenkt werden, könnten sie die eigentliche Zutat, die sie benötigen, übersehen.
Starre Aktion: Sie wählen die eine, wahrscheinlichste Aktion aus und führen sie sofort aus. Wenn sie unsicher sind, wählen sie trotzdem eine aus und hoffen das Beste.

2. Die Lösung: Das „Selbstunsicherheits“-Meter

SCALE stellt dem Roboter eine einfache Frage, bevor er handelt: „Wie sicher bin ich mir gerade?“

Dafür benötigt der Roboter keinen menschlichen Lehrer oder einen zweiten Roboter, der seine Arbeit überprüft. Er schaut auf seine eigene interne Mathematik (die „Logits“), um seine Konfidenz zu messen.

Hohe Konfidenz (Geringe Unsicherheit): Der Robot ist sich sicher, dass das rote Ding eine Tomate ist. Er verengt seinen Fokus wie ein Laserstrahl und handelt schnell und direkt.
Niedrige Konfidenz (Hohe Unsicherheit): Der Roboter sieht zwei rote Dinge und ist sich nicht sicher, welches die Tomate ist. Anstatt zu raten, sagt er: „Warte, ich bin verwirrt.“

3. Der magische Trick: Adaptives Sehen und Handeln

Wenn der Roboter merkt, dass er verwirrt ist, löst SCALE gleichzeitig zwei Änderungen aus:

Adaptives Sehen (Den Blickwinkel erweitern): Stellen Sie sich vor, der Roboter trägt eine Brille. Wenn er selbstbewusst ist, ist die Brille auf „Zoom“ eingestellt, um sich auf die spezifische Aufgabe zu konzentrieren. Wenn er verwirrt ist, wechselt die Brille automatisch auf „Weitwinkel“. Dies zwingt den Roboter, die gesamte Szene erneut zu betrachten und nach Hinweisen zu scannen, die er zuvor vielleicht übersehen hat (wie etwa zu prüfen, ob das andere rote Objekt tatsächlich eine Paprika ist).
Adaptives Handeln (Mehr Optionen versuchen): Wenn er selbstbewusst ist, wählt der Roboter den besten Zug und führt ihn aus. Wenn er verwirrt ist, hört er auf, so starr zu sein. Anstatt nur eine einzige Bewegung zu wählen, „probt“ er mehrere verschiedene Möglichkeiten (wie zum Beispiel einen leicht anderen Winkel beim Greifen des Objekts), um zu sehen, welche sich richtig anfühlt.

4. Warum es besonders ist (Der „One-Pass“-Vorteil)

Andere Methoden, um Roboter intelligenter zu machen, erfordern meistens:

Das Training eines neuen Lehrers: Man muss eine separate KI trainieren, die die Arbeit des Roboters überprüft.
Das mehrfache Durchlaufen des Tests: Der Roboter versucht die Aufgabe 10 Mal in seinem Kopf, um die beste Option zu wählen, was langsam ist.

SCALE ist anders. Es ist wie ein Fahrer, der instinktiv weiß, wann er langsamer fahren und sich umschauen muss, ohne einen Beifahrer oder einen zweiten Versuch zu benötigen.

Kein zusätzliches Training: Es funktioniert mit dem bestehenden Gehirn des Roboters.
Kein Zweifeln: Es trifft die Entscheidung in einem einzigen Durchgang (einem „Forward Pass“).
Echtzeitfähig: Da es keine Zeit mit dem wiederholten Durchführen von Berechnungen verschwendet, ist es schnell genug für reale Roboter.

Das Ergebnis

In Tests waren Roboter, die SCALE nutzen, viel besser darin, schwierige Situationen zu bewältigen, wie zum Beispiel:

Das Aufheben von Objekten, die anderen Dingen sehr ähnlich sehen.
Das Navigieren um Hindernisse herum, ohne dagegen zu stoßen.
Das Abschließen langer, komplexer Aufgaben, bei denen ein kleiner Fehler am Anfang alles ruinieren könnte.

Kurz gesagt: SCALE lehrt Roboter, auf ihr eigenes „Bauchgefühl“ zu hören. Wenn sie sich sicher sind, handeln sie schnell und fokussiert. Wenn sie unsicher sind, werden sie langsamer, schauen sich genauer um und probieren verschiedene Ansätze aus. Das macht sie sicherer, intelligenter und zuverlässiger, ohne dass zusätzliches Training oder langsame, wiederholte Tests nötig sind.

Technisches Resümee: SCALE für Vision-Language-Action-Modelle

Problemstellung

Vision-Language-Action (VLA)-Modelle haben sich als führendes Paradigma für die allgemeine Robotersteuerung etabliert, indem sie vortrainierte Vision-Language-Modelle (VLMs) nutzen, um multimodale Beobachtungen und sprachliche Anweisungen auf Aktionen abzubilden. Diese Modelle kämpfen jedoch häufig mit der Robustheit in realen Szenarien, die durch perzeptuelle Ambiguität (z. B. visuell ähnliche Distraktoren) und Aktions-Multimodalität (mehrere plausible Aktionen) gekennzeichnet sind.

Bestehende Strategien zur Verbesserung der Robustheit zur Testzeit, bekannt als Test-Time Scaling (TTS), leiden typischerweise unter drei kritischen Einschränkungen:

Unpraktikabilität im Einsatz: Viele TTS-Methoden erfordern zusätzliches Training für externe Verifizierer oder Selbstverifizierung, verschlechtern sich bei Domänenverschiebungen und verursachen mehrere Vorwärtsläufe, was im Konflikt mit Echtzeit-Anforderungen steht.
Fixierte Wahrnehmung: Aktuelle TTS-Ansätze intervenieren nur in der Phase der Aktionsdekodierung, während die visuellen Repräsentationen unverändert bleiben. Dies ist unzureichend, wenn perzeptuelle Ambiguität den Agenten dazu zwingt, zu überdenken, wie er die Szene wahrnimmt, und nicht nur, welche Aktion er ausführen soll.
Unzureichende Unsicherheitsmetriken: Bestehende Unsicherheitsmaße erfassen oft nur die allgemeine Verteilungsunsicherheit (z. B. Entropie), berücksichtigen aber nicht die Entschlossenheit des Modells hinsichtlich seiner Top-1-Wahl, was für das Greedy-Decoding, das in den meisten VLAs verwendet wird, entscheidend ist.

Methodik: SCALE

Die Autoren schlagen SCALE (Self-uncertainty Conditioned Adaptive Looking and Execution) vor, eine einfache, trainingsfreie Inferenzstrategie, die die visuelle Wahrnehmung und die Aktion basierend auf der intrinsischen „Selbst-Unsicherheit“ des Modells gemeinsam moduliert. Inspiriert von der unsicherheitsgesteuerten Exploration in der Active-Inference-Theorie, arbeitet SCALE in einem einzigen Vorwärtslauf ohne externe Verifizierer.

1. Schätzung der Selbst-Unsicherheit

Die Kerninnovation ist eine neuartige Selbst-Unsicherheitsmetrik ( $u_t^k$ ), die sowohl die Verteilungsstreuung als auch die Top-1-Entschiedenheit erfasst. Anstatt sich auf eine einzige Referenz zu verlassen, definiert SCALE zwei Referenzverteilungen:

Niedrig-Unsicherheits-Referenz ( $q_{low}$ ): Eine One-Hot-Verteilung, die auf dem Top-1-vorhergesagten Token des Modells zentriert ist und volle Gewissheit repräsentiert.
Hoch-Unsicherheits-Referenz ( $q_{high}$ ): Eine Gleichverteilung über das Vokabular, die volle Ambiguität repräsentiert.

Der Selbst-Unsicherheitsscore wird als Differenz der Kullback-Leibler-Divergenz (KL-Divergenz) zwischen der vorhergesagten Verteilung ( $p_t^k$ ) und diesen beiden Referenzen berechnet:
$u_t^k = D_{KL}(p_t^k \parallel q_{low}) - D_{KL}(p_t^k \parallel q_{high})$
Diese Formulierung positioniert die Vorhersage effektiv auf einem Spektrum der Gewissheit. Ein positiver Wert zeigt an, dass die Verteilung näher an der Ambiguität liegt, während ein negativer Wert eine hohe Konfidenz anzeigt.

2. Adaptive Inferenzmechanismen

SCALE nutzt dieses Unsicherheitssignal, um zwei komplementäre Aspekte der VLA-Pipeline zu modulieren:

Adaptive Aktionsdekodierung (Token-Ebene): Die Sampling-Temperatur ( $\tau_t^k$ ) für Aktions-Token wird dynamisch basierend auf der Token-Ebene-Unsicherheit $u_t^k$ angepasst.
$\tau_t^k = T_0 \cdot \sigma(u_t^k)$
wobei $\sigma$ eine Sigmoid-Funktion ist. Bei hoher Unsicherheit steigt die Temperatur, um vielfältiges, exploratives Sampling zu fördern. Bei niedriger Unsicherheit sinkt die Temperatur, was eine nahezu gierige (greedy) Ausführung ermöglicht.
Adaptive Visuelle Aufmerksamkeit (Schritt-Ebene): Um perzeptuelle Ambiguität zu adressieren, moduliert SCALE die Aufmerksamkeits-Temperatur ( $\gamma_t$ ) des Vision-Encoders. Im Gegensatz zur Aktionsdekodierung, die eine instantane Unsicherheit verwendet, reagiert die visuelle Modulation auf Veränderungen der Szenenkomplexität.
- Das System berechnet eine Schritt-Ebene-Unsicherheit ( $u_t$ ) durch Mittelung der Token-Ebene-Unsicherheiten.
- Es verfolgt einen exponentiell gleitenden Durchschnitt (EMA) der jüngsten Unsicherheit ( $\bar{u}_{t-1}$ ).
- Die Abweichung ( $\Delta u_{t-1} = u_{t-1} - \bar{u}_{t-2}$ ) bestimmt die Aufmerksamkeits-Temperatur:
  $\gamma_t = \kappa \tanh(\Delta u_{t-1})$
- Wenn die Unsicherheit über den jüngsten Durchschnitt steigt ( $\Delta u > 0$ ), ist $\gamma_t > 1$ , was die Aufmerksamkeit erweitert, um die Szene zu explorieren. Wenn die Unsicherheit sinkt ( $\Delta u < 0$ ), ist $\gamma_t < 1$ , was die Aufmerksamkeit schärft, um sich auf aufgabenrelevante Merkmale zu konzentrieren.

Dies erzeugt eine Rückkopplungsschleife, in der die Unsicherheit zu einem Zeitpunkt die Aktions-Sampling beeinflusst und gleichzeitig die visuelle Aufmerksamkeit für den nächsten Zeitschritt anpasst, was eine adaptive Ausführung in der Closed-Loop-Steuerung ermöglicht.

Zentrale Beiträge

Gemeinsame Modulation von Wahrnehmung und Aktion: Im Gegensatz zu früheren TTS-Methoden, die nur die Aktionsdekodierung anpassen, moduliert SCALE die visuelle Aufmerksamkeit und das Aktions-Sampling gemeinsam basierend auf der Selbst-Unsicherheit und adressiert so die Grundursache des Scheiterns in ambivalenten Szenarien.
Trainingsfreie Effizienz im Single-Pass: Die Methode erfordert kein zusätzliches Training, keine externen Verifizierer und keine mehrfachen Vorwärtsläufe, was sie für den praktischen Einsatz in der Robotik in Echtzeit tauglich macht.
Neuartige Unsicherheitsmetrik: Die vorgeschlagene duale Referenz-Unsicherheitsmetrik erfasst sowohl die Verteilungsunsicherheit als auch die Top-1-Entschiedenheit und übertrifft bestehende Proxies wie Entropie oder Konfidenzwerte deutlich.
Empirische Validierung: Der Ansatz wird über verschiedene autoregressive VLA-Architekturen (OpenVLA, $\pi_0$ -FAST, SpatialVLA) sowohl in simulierten als auch in realen Umgebungen validiert.

Experimentelle Ergebnisse

Die Experimente wurden auf simulierten Benchmarks (LIBERO, SIMPLER-WidowX, LIBERO-PRO-Long) und realen Pick-and-Place-Aufgaben mit einem UR10e-Arm durchgeführt.

Leistungssteigerungen: SCALE übertrifft konsistent State-of-the-Art (SoTA) VLAs und bestehende TTS-Methoden. Auf dem LIBERO-Benchmark mit OpenVLA erreichte SCALE eine durchschnittliche Erfolgsrate von 81,5 %, womit es die Greedy-Baseline (75,7 %) sowie TTS-Methoden, die ein Training erfordern wie MG-Select (70,8 %), RoboMonkey und TACO, übertraf.
Robustheit: In realen Experimenten verbesserte SCALE die Erfolgsraten um +19,5 % (OpenVLA) und +13,9 % ( $\pi_0$ -FAST) unter In-Distribution-Bedingungen sowie um +16,7 % bzw. +12,5 % unter Out-of-Distribution-Bedingungen mit unbekannten Objekten.
Ablationsstudien:
- Die Kombination aus adaptiver Dekodierung und adaptiver visueller Aufmerksamkeit lieferte synergistische Gewinne (+10,6 % gegenüber der Baseline), was die Summe der individuellen Verbesserungen übersteigt.
- Die vorgeschlagene Selbst-Unsicherheitsmetrik übertraf Alternativen (Entropie, Gini-Impurity, Selbst-Gewissheit) um eine signifikante Marge (63,3 % gegenüber 57,8 % für den nächstbesten Wert).
- Die Modulation der unimodalen Aufmerksamkeit des Vision-Encoders erwies sich als effektiver als die Modulation der Cross-Modal-Attention des VLA-Backbones.
Effizienz: SCALE behält die Single-Pass-Effizienz bei, während Methoden, die mehrere Samples erfordern (z. B. Best-of-N), Latenzzunahmen von bis zu 15,9-fach für OpenVLA zeigten.

Bedeutung und Ansprüche

Das Paper behauptet, dass SCALE eine praktische und effektive Lösung zur Steigerung der VLA-Robustheit bietet, ohne den Rechenaufwand bestehender TTS-Methoden zu verursachen. Durch den Rückgriff auf Prinzipien der Active Inference demonstrieren die Autoren, dass Agenten die Unsicherheit reduzieren können, indem sie sowohl die Art und Weise, wie sie wahrnehmen (visuelle Aufmerksamkeit), als auch die Art und Weise, wie sie handeln (Aktions-Sampling), adaptiv verändern.

Die Autoren betonen, dass ihr Beitrag primär methodischer Natur ist und darauf abzielt, bestehende VLA-Architekturen durch adaptive Inferenz zu verbessern, anstatt neue Modellkapazitäten einzuführen. Sie behaupten, dass SCALE einen zuverlässigeren und sichereren Betrieb in diversen realen Umgebungen ermöglicht, indem es Robotern erlaubt, dynamisch zwischen Exploration und Exploitation zu wechseln, basierend auf ihrer eigenen prädiktiven Konfidenz. Der Code ist öffentlich zugänglich, um die weitere Forschung und Implementierung zu fördern.