🤖 AI

Hide-and-Seek in Trajectories: Discovering Failure Signals for VLA Runtime Monitoring

Dieses Paper führt **Hide-and-Seek** ein, ein grob überwachtes Framework, das fehlersignifikante Aktionen lokalisiert und zeitlich strukturierte Fehlersignale für Vision-Language-Action (VLA)-Modelle unter Verwendung lediglich von Trajektorien-Ebenen-Labels generiert, wodurch eine robuste Echtzeit-Fehlererkennung ohne die Notwendigkeit von kostspieligem Resampling oder Schritt-Ebenen-Annotationen ermöglicht wird.

Ursprüngliche Autoren: Seongheon Park, Wendi Li, Changdae Oh, Samuel Yeh, Zsolt Kira, Michael Hagenow, Sharon Li

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Seongheon Park, Wendi Li, Changdae Oh, Samuel Yeh, Zsolt Kira, Michael Hagenow, Sharon Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man Hausarbeiten erledigt, wie zum Beispiel Geschirr wegzuräumen oder eine Mahlzeit zu kochen. Sie geben dem Roboter ein Video, in dem ein Mensch die Aufgabe perfekt ausführt, und der Roboter lernt daraus. Aber manchmal versucht der Roboter die Aufgabe auszuführen und scheitert – vielleicht lässt er einen Teller fallen oder verschüttet Suppe. Das Problem ist, dass Sie nicht genau wissen, wann der Roboter angefangen hat, Fehler zu machen. Sie wissen nur, dass der gesamte Versuch in einer Katastrophe endete.

Dies ist das Problem, das die Arbeit „Hide-and-Seek in Trajectories“ zu lösen versucht.

Das Problem: Der „Einheitsmaß“-Fehler

Wenn ein Roboter derzeit bei einer Aufgabe scheitert, markieren Forscher oft den gesamten Versuch einfach als „Fehlversuch“. Es ist, als würde man einen Film beobachten, in dem der Held am Ende stolpert, und man sagt einem Schüler dann: „Jede einzelne Szene in diesem Film war ein Fehler.“

Das verwirrt das Lernsystem des Roboters. Der Anfang des Films (der Roboter geht zum Schrank) war eigentlich völlig in Ordnung! Aber weil das Ganze als „schlecht“ markiert wurde, wird der Roboter verwirrt und denkt: „Oh, zum Schrank zu gehen, ist auch gefährlich.“ Dies erzeugt viel „Rauschen“ und macht es schwierig für den Roboter, zu lernen, was tatsächlich schiefgelaufen ist.

Andere Methoden versuchen dies zu beheben, indem sie eine superintelligente KI (ein Vision-Language-Modell) bitten, das Video in Echtzeit zu beobachten und „Stopp!“ zu rufen, wenn sie einen Fehler sieht. Aber diese KIs sind langsam, wie eine Schnecke, die versucht, einen Marathon zu laufen, und sie bemerken den Fehler oft erst, wenn der Fehler bereits passiert ist und der Teller schon zerbrochen ist.

Die Lösung: „Hide-and-Seek“ (Versteckspielen)

Die Autoren schlagen ein neues Framework namens Hide-and-Seek vor. Sie behandeln die Erkennung von Fehlern wie ein Spiel, bei dem man eine Nadel im Heuhaufen finden muss.

Die Nadel: Der spezifische Moment, in dem der Roboter beginnt, Fehler zu machen (z. B. die exakte Sekunde, in der er ausrutscht).
Der Heuhaufen: Alle normalen, erfolgreichen Aktionen, die der Roboter vor dem Ausrutschen ausgeführt hat.
Der Hinweis: Der einzige Hinweis, den Sie haben, ist das Endergebnis: „Dieser gesamte Versuch ist fehlgeschlagen.“

Das System muss herausfinden, wo die Nadel versteckt ist, ohne dass ihm jemand die genaue Zeit nennt.

Wie es funktioniert: Zwei einfache Regeln

Anstatt jede Sekunde als „schlecht“ zu markieren, nutzt das System zwei clevere Tricks (mathematische Regeln), um den schlechten Moment zu finden:

Das „Best vs. Worst“-Spiel (Inter-trajectory):
Stellen Sie sich vor, Sie haben ein Video, in dem ein Roboter scheitert, und ein Video, in dem ein Roboter Erfolg hat. Das System fragt: „Was ist der verdächtigste Moment im Video des Fehlers?“ Es vergleicht diesen dann mit dem verdächtigsten Moment im Video des Erfolgs (vielleicht ein Wackeln, von dem sich der erfolgreiche Roboter wieder erholt hat).
Die Regel ist simpel: Der „schlechte“ Moment im Video des Fehlers muss schlechter aussehen als der „schlechte“ Moment im Video des Erfolgs. Dies zwingt das System, sich auf die wirklich kritischen Fehler zu konzentrieren und nicht nur auf normale Wackelbewegungen.
Das „Vorher und Nachher“-Spiel (Intra-trajectory):
In einem einzelnen Video eines Fehlversuchs sucht das System nach einem Punkt, an dem die „Schlechtheit“ plötzlich ansteigt. Es geht davon aus, dass der Roboter vor dem Fehler noch okay war und nach dem Fehler alles schlimmer wurde.
Die Regel lautet: Der durchschnittliche „Schlechtheitswert“ nach dem Anstieg muss höher sein als der Wert vor dem Anstieg. Dies hilft dem System, genau den Punkt zu bestimmen, an dem die Probleme begannen, selbst ohne dass ein Mensch auf die Uhr zeigt.

Die Ergebnisse: Schnell und Genau

Die Autoren haben dies an Robotern getestet, die Aufgaben in Simulationen und an einem echten Roboterarm in einem Labor ausführen. Sie verglichen ihr „Hide-and-Seek“-Verfahren mit anderen Top-Methoden.

Es ist intelligenter: Es fand die Fehlermomente viel genauer als die alte Methode, bei der „alles als schlecht markiert“ wurde.
Es ist schneller: Im Gegensatz zu den langsamen „superintelligenten KI“-Beobachtern ist diese Methode unglaublich schnell. Sie kann Fehler tausendfach schneller prüfen als die videobasierten Beobachter, was sie für den Einsatz in Echtzeit praktikabel macht.
Es generalisiert: Es funktioniert gut bei Aufgaben, die der Roboter noch nie zuvor gesehen hat, nicht nur bei denen, die er geübt hat.

Das Fazit

„Hide-and-Seek“ ist eine leichtgewichtige, schnelle und intelligente Art, Roboter zu lehren, ihre eigenen Fehler in Echtzeit zu erkennen. Anstatt den ganzen Tag für einen einzigen schlechten Moment verantwortlich zu machen, lehrt es den Roboter, die exakte Sekunde zu identifizieren, in der etwas schiefging, indem es nur das Endergebnis als Hinweis nutzt. Dies macht Roboter sicherer und zuverlässiger, wenn sie in der realen Welt unterwegs sind.

Technisches Resümee: Hide-and-Seek in Trajektorien

Problemstellung

Vision-Language-Action (VLA)-Modelle haben signifikantes Potenzial gezeigt, um Robotern zu ermöglichen, natürlichen Sprachinstruktionen zu folgen und über diverse Aufgaben hinweg zu generalisieren. Ihre Bereitstellung in realen Umgebungen wird jedoch durch die Anfälligkeit für Ausführungsfehler behindert, was zu katastrophalen Ergebnissen (z. B. dem Fallenlassen von Objekten) führen kann. Die Erkennung dieser Fehler während der Ausführung ist entscheidend für die Robustheit.

Aktuelle Methoden zur Fehlererkennung stehen vor zwei primären Einschränkungen:

Supervisionskosten: Das Erhalten von Schritt-Ebene-Fehlerannotationen (die Identifizierung des exakten Zeitstempels eines Fehlers) ist teuer und schwer skalierbar, insbesondere für langfristige, stochastische Trajektorien. Bestehende Ansätze, die auf Trajektorien-Ebene-Labels basieren, propagieren diese Labels oft gleichmäßig auf jeden Zeitschritt. Diese „gleichmäßige Propagation“ markiert normale Aktionen vor dem Fehler fälschlicherweise als Fehler, was erhebliches Label-Rauschen einführt und lokalisierte Fehlersignale verschleiert.
Rechenpraktikabilität: Methoden, die auf Action-Resampling oder externen Vision-Language-Model (VLM)-Richtern basieren, verursachen prohibitive Inferenz-Overheads, was eine Echtzeit-Bereitstellung verhindert. Darüber hinaus sind viele bestehende Detektoren für Spezialisten-Policies für feste Aufgaben konzipiert, was ihre Anwendbarkeit auf Generalisten-VLAs in Open-World-Settings einschränkt.

Die zentrale Herausforderung, die hier adressiert wird, ist die grob supervidierte Fehlererkennung (Coarsely Supervised Failure Detection): das Erlernen eines feingranularen Fehlersdetektors auf Schritt-Ebene unter Verwendung ausschließlich von Trajektorien-Ebene-Ergebnislabels (Erfolg/Fehler) ohne jegliche Schritt-Ebene-Annotationen.

Methodik: Hide-and-Seek

Die Autoren schlagen Hide-and-Seek vor, ein leichtgewichtiges Runtime-Fehlererkennungs-Framework, das das Problem als Aufgabe des grob supervidierten Lernens behandelt. Die Methode ist nach der Metapher benannt, dass Fehlersignale zwischen weitgehend normalen Verhaltensweisen innerhalb einer Trajektorie „versteckt“ sind und der Detektor sie unter Verwendung des Trajektorien-Ebene-Ergebnisses als Hinweis „suchen“ muss.

Kern-Framework

Das Framework lernt einen sequentiellen Detektor $f_\phi$ , der ein Trajektorien-Präfix $\tau_{\le t}$ (bestehend aus internen Action-Embeddings) auf einen Skalar-Fehlerwert $s_t \in [0, 1]$ abbildet. Anstatt das Trajektorien-Label gleichmäßig zuzuweisen, verwendet die Methode eine kontrastive Zielsetzung (contrastive objective) auf zwei komplementären Granularitäten, um fehlerindikativen Aktionen zu lokalisieren:

Inter-trajektorielle kontrastive Verlustfunktion ( $\mathcal{L}_{inter}$ ):
- Ziel: Unterscheidung der fehlerindikativsten Aktion in einer Fehler-Trajektorie von der am stärksten einem Fehler ähnelnden Aktion (härtester False Positive) in einer Erfolgs-Trajektorie.
- Mechanismus: Für ein Paar aus einer Fehler- ( $\tau_f$ ) und einer Erfolgs-Trajektorie ( $\tau_s$ ) erzwingt der Verlust, dass der maximale Fehlerwert in $\tau_f$ den maximalen Wert in $\tau_s$ um eine Margin $m_r$ überschreitet.
- Effekt: Dies führt das Modell dazu, sich auf die salientesten Fehlersignale zu konzentrieren, ohne vorauszusetzen, wo diese auftreten, wodurch der kritische Schritt adaptiv entdeckt wird.
Intra-trajektorielle kontrastive Verlustfunktion ( $\mathcal{L}_{intra}$ ):
- Ziel: Gestaltung der temporalen Dynamik innerhalb einer Fehler-Trajektorie, um die Phase vor dem Fehler (normal) von der Phase nach dem Fehler zu trennen.
- Mechanismus: Die Methode definiert einen Proxy-Fehlerbeginn $t_{onset}$ als den Punkt des stärksten Anstiegs des Scores ( $\arg\max_t (s_t - s_{t-1})$ ). Der Verlust bewirkt, dass der durchschnittliche Score nach $t_{onset}$ den durchschnittlichen Score vor $t_{onset}$ um eine Margin $m_o$ überschreitet.
- Effekt: Dies wandelt die grobe Trajektorien-Ebene-Supervision in ein temporal strukturiertes Signal um, das sicherstellt, dass die Scores während der normalen Ausführung niedrig bleiben und bei dem Fehlerbeginn scharf ansteigen.

Das Gesamtziel ist $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$ .

Laufzeit-Überwachung (Runtime Monitoring)

Während der Inferenz erzeugt der Detektor zu jedem Zeitschritt einen Score $s_t$ . Um einen Fehleralarm auszulösen, verwendet das System die Funktionale Konforme Prädiktion (CP). Ein zeitvariabler Schwellenwert $\zeta_t$ wird aus einem gehaltenen Kalibrierungsset erfolgreicher Trajektorien konstruiert. Dies garantiert, dass für jede neue erfolgreiche Ausrollung die Fehlalarmrate auf Trajektorien-Ebene durch ein vom Benutzer spezifiziertes Signifikanzniveau $\alpha$ begrenzt ist. Ein Fehler wird zum frühesten Zeitschritt deklariert, an dem $s_t \ge \zeta_t$ gilt.

Architektur

Der Detektor $f_\phi$ ist ein leichtgewichtiges Sequenzmodell (Standard: einlagiger LSTM), das Action-Embeddings verarbeitet, die aus dem Action-Token oder dem Head des VLA extrahiert wurden. Um temporale Redundanz zu minimken, verwenden die Autoren eine nicht-überlappende Sliding-Window-Aggregation mit Average-Pooling.

Zentrale Beiträge

Neuartiges Framework: Einführung von Hide-and-Seek, welches das Bindeglied zwischen grob supervidiertem Lernen und embodied Fehlererkennung bildet und die Entdeckung fehlerindikativer Aktionen allein aus Trajektorien-Ebene-Supervision ermöglicht.
Design der kontrastiven Zielsetzung: Ein dualer Verlustmechanismus (inter- und intra-trajektoriell), der Fehlersignale über und innerhalb von Trajektorien unterscheidet und so die grobe Supervision effektiv in temporal strukturierte Signale umwandelt, ohne Schritt-Ebene-Annotationen zu benötigen.
Umfassende Evaluierung: Umfangreiche Evaluierung auf Simulations-Benchmarks (LIBERO-10, VLABench) und einer realen Roboterplattform (UFactory xArm 6) unter Verwendung von drei repräsentativen VLA-Policies: OpenVLA (autoregressiv), $\pi_0$ und $\pi_0.5$ (Flow-Matching).

Experimentelle Ergebnisse

Die Methode wurde gegen 12 Baselines evaluiert, einschließlich OOD-Detektionsmethoden, Multi-Sampling-Ansätzen und Klassifikator-basierten Methoden (z. B. SAFE).

Leistung: Hide-and-Seek erreicht eine State-of-the-Art-Leistung über alle Metriken (Balanced Accuracy, Weighted Accuracy, Time-weighted Accuracy) sowohl bei gesehenen als auch bei ungesehenen Aufgaben.
- Auf LIBERO-10 mit OpenVLA übertrifft es den stärksten Klassifikator-Baseline (SAFE-MLP) um +6,8 % in bACC bei gesehenen Aufgaben und um +7,2 % bei ungesehenen Aufgaben.
- Auf VLABench mit $\pi_0.5$ übertrifft es SAFE-MLP um +8,1 % in TWA bei gesehenen Aufgaben und um +10,8 % bei ungesehenen Aufgaben.
- In Realwelt-Experimenten behält es eine stabile Leistung über gesehene und ungesehene Aufgaben bei und erzielt einen Gewinn von +11,7 % bACC gegenüber SAFE-MLP bei ungesehenen Aufgaben.
Effizienz: Im Vergleich zu einem VLM-basierten Runtime-Monitor (Qwen3-VL-8B) ist Hide-and-Seek >2.000-mal schneller (0,001 s vs. 2,343 s pro Schritt) bei gleichzeitig +13,1 % höherer Genauigkeit.
Ablationsstudien:
- Gleichmäßige Labelierung (Uniform Labeling): Die vorgeschlagene Methode schneidet signifikant besser ab als eine Baseline, die Trajektorien-Labels gleichmäßig auf alle Zeitschritte verteilt (+19,4 % bACC auf OpenVLA), was bestätigt, dass die gleichmäßige Propagation Label-Rauschen einführt.
- Architektur: Rekurrente Backbones (LSTM, GRU) schneiden besser ab als MLPs und Transformer, was auf den Nutzen der Modellierung des temporalen Kontextes hindeutet.
- Verlustkomponenten: Sowohl $\mathcal{L}_{inter}$ als auch $\mathcal{L}_{intra}$ sind notwendig; $\mathcal{L}_{inter}$ allein funktioniert gut, aber die Kombination liefert konsistente Verbesserungen.

Bedeutung und Ansprüche

Das Paper behauptet, dass Hide-and-Seek eine praktikable, leichtgewichtige Lösung für die Echtzeit-Fehlerüberwachung in der Embodied AI bietet. Seine Bedeutung liegt in:

Eliminierung von Annotationskosten: Es macht die Notwendigkeit teurer Fehlerannotationen auf Schritt-Ebene überflüssig, da es sich ausschließlich auf das natürlich verfügbare Ergebnis auf Trajektorien-Ebene stützt.
Generalisierung: Es demonstriert eine starke Generalisierung auf ungesehene Aufgaben und unterschiedliche VLA-Architekturen (autoregressiv und Flow-Matching), womit es eine Schlüsselbeschränkung früherer, auf Spezialisten fokussierter Methoden adressiert.
Realwelt-Tauglichkeit: Durch die Vermeidung eines schweren Inferenz-Overheads (im Gegensatz zu Resampling oder VLM-Richtern) und das Erreichen eines günstigen Genauigkeits-Zeitaufwand-Trade-offs via Konformer Prädiktion ermöglicht es den robusten Einsatz in realen Robotersystemen.

Die Autoren positionieren diese Arbeit als eine neuartige Verbindung zwischen schwach supervidierten Lernparadigmen und den spezifischen Herausforderungen der Sicherheit von Embodied Agents, was einen skalierbaren Pfad für die zuverlässige Bereitstellung von VLAs eröffnet.