Technische Samenvatting: Hide-and-Seek in Trajectoriën

Probleemstelling

Vision-Language-Action (VLA) modellen hebben een aanzienlijk potentieel aangetoond om robots in staat te stellen natuurlijke taalinstructies op te volgen en te generaliseren over diverse taken. De implementatie hiervan in echte omgevingen wordt echter gehinderd door de vatbaarheid voor executiefouten, wat kan leiden tot catastrofale uitkomsten (bijv. het laten vallen van objecten). Het detecteren van deze fouten tijdens de uitvoering is cruciaal voor robuustheid.

Huidige methoden voor foutdetectie kampen met twee primaire beperkingen:

1. Toezichtskosten: Het verkrijgen van foutannotaties op stapniveau (het identificeren van het exacte tijdstip van een fout) is duur en moeilijk te schalen, met name voor langdurige, stochastische trajectoriën. Bestaande benaderingen die vertrouwen op trajectniveau-labels introduceren deze labels vaak uniform over elk tijdstip. Deze "uniforme propagatie" bestempelt normale acties voorafgaand aan de fout onterecht als fouten, wat zorgt voor aanzienlijke labelruis en lokale foutsignalen maskeert.
2. Computationele Praktischeerbaarheid: Methoden die vertrouwen op actieresampling of externe Vision-Language Model (VLM) beoordelaars brengen een prohibitieve inferentie-overhead met zich mee, wat real-time implementatie verhindert. Bovendien zijn veel bestaande detectoren ontworijcht voor specialistische policies voor vaste taken, wat hun toepasbaarheid voor algemene VLAs in open-world settings beperkt.

De kernuitdaging die wordt aangepakt is coarsely supervised failure detection: het leren van een fijnmazige, per stap werkende foutdetector met behulp van enkel trajectniveau-outcome labels (succes/falen) zonder enige stapniveau-annotaties.

Methodologie: Hide-and-Seek

De auteurs stellen Hide-and-Seek voor, een lichtgewicht runtime failure detection framework dat het probleem behandelt als een coarsely supervised learning taak. De methode is vernoemd naar de metafoor dat foutsignalen "verborgen" zijn tussen grotendeels normaal gedrag binnen een traject, en de detector ze moet "zoeken" met behulp van enkel de trajectniveau-outcome als aanwijzing.

Kernframework

Het framework leert een sequentiële detector $f_\phi$ die een trajectprefix $\tau_{\le t}$ (bestaande uit interne actie-embeddings) mapt naar een scalaire foutscore $s_t \in [0, 1]$. In plaats van het trajectlabel uniform toe te wijzen, gebruikt de methode een contrastieve objectief op twee complementaire granulariteiten om fout-indicatieve acties te lokaliseren:

1. Inter-trajectory Contrastive Loss ($\mathcal{L}_{inter}$):

   • Doel: Het onderscheiden van de meest fout-indicatieve actie in een fout-traject van de meest fout-gelijkende actie (hardste valse positieve) in een succesvol traject.
   • Mechanisme: Voor een paar fout- ($\tau_f$) en succes- ($\tau_s$) trajecten dwingt de loss af dat de maximale foutscore in $\tau_f$ de maximale score in $\tau_s$ overstijgt met een marge $m_r$.
   • Effect: Dit begeleidt het model om zich te concentreren op de meest saillante foutsignalen zonder aan te nemen waar ze voorkomen, waardoor de kritieke stap adaptief wordt ontdekt.

2. Intra-trajectory Contrastive Loss ($\mathcal{L}_{intra}$):

   • Doel: De temporele dynamiek binnen een fout-traject vormgeven om de pre-fout (normale) en post-fout fasen van elkaar te scheiden.
   • Mechanisme: De methode definieert een proxy fout-onset $t_{onset}$ als het punt van de scherpste scoreverhoging ($\arg\max_t (s_t - s_{t-1})$). De loss moedigt aan dat de gemiddelde score na $t_{onset}$ de gemiddelde score vóór $t_{onset}$ overstijgt met een marge $m_o$.
   • Effect: Dit zet grove trajectniveau-supervisie om in een temporeel gestructureerd signaal, wat ervoor zorgt dat scores laag blijven tijdens normale uitvoering en scherp stijgen bij de fout-onset.

Het totale objectief is $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$.

Runtime Monitoring

Tijdens de inferentie produceert de detector een score $s_t$ op elk tijdstip. Om een foutalarm te bepalen, maakt het systeem gebruik van Functional Conformal Prediction (CP). Een tijdvariërende drempelwaarde $\zeta_t$ wordt geconstrueerd vanuit een held-out kalibratieset van succesvolle trajectoriën. Dit garandeert dat voor elk nieuw succesvol verloop, de trajectniveau valse alarm rate begrensd is door een door de gebruiker gespecificeerd significantieniveau $\alpha$. Een fout wordt verklaard op het vroegste tijdstip waar $s_t \ge \zeta_t$.

Architectuur

De detector $f_\phi$ is een lichtgewicht sequentieel model (standaard: enkele-laag LSTM) dat actie-embeddings verwerkt die zijn geëxtraheerd uit de VLA's actie-token of head. Om temporele redundantie te mitigeren, gebruiken de auteurs non-overlapping sliding window aggregatie met average pooling.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van Hide-and-Seek, dat de brug slaat tussen coarsely supervised learning paradigma's en embodied failure detection, waardoor de ontdekking van fout-indicatieve acties mogelijk wordt met enkel trajectniveau-supervisie.
2. Ontwerp van het Contrastieve Objectief: Een dual-loss mechanisme (inter- en intra-trajectory) dat foutsignalen over en binnen trajecten onderscheidt, waardoor grove supervisie effectief wordt omgezet in temporeel gestructureerde signalen zonder stapniveau-annotaties.
3. Uitgebreide Evaluatie: Uitgebreide evaluatie op simulatie benchmarks (LIBERO-10, VLABench) en een real-world robotplatform (UFactory xArm 6) met drie representatieve VLA policies: OpenVLA (autoregressief), $\pi_0$, en $\pi_0.5$ (flow-matching).

Experimentele Resultaten

De methode is geëvalueerd tegen 12 baselines, inclusief OOD detectiemethoden, multi-sampling benaderingen en classifier-gebaseerde methoden (bijv. SAFE).

• Prestaties: Hide-and-Seek bereikt state-of-the-art prestaties over alle metrieken (Balanced Accuracy, Weighted Accuracy, Time-weighted Accuracy) op zowel bekende als onbekende taken.
  • Op LIBERO-10 met OpenVLA presteert het de sterkste classifier baseline (SAFE-MLP) met +6,8% in bACC op bekende taken en met +7,2% op onbekende taken.
  • Op VLABench met $\pi_0.5$ overtreft het SAFE-MLP met +8,1% in TWA op bekende taken en met +10,8% op onbekende taken.
  • In real-world experimenten behoudt het een stabiele prestatie over bekende en onbekende taken, waarbij het een +11,7% bACC winst behaalt over SAFE-MLP op onbekende taken.
• Efficiëntie: Vergeleken met een VLM-gebaseerde runtime monitor (Qwen3-VL-8B) is Hide-and-Seek >2.000× sneller (0,001s vs. 2,343s per stap) terwijl het +13,1% hogere accuratesse bereikt.
• Ablatie Studies:
  • Uniform Labeling: De voorgestelde methode presteert significant beter dan een baseline die trajectlabels uniform aan alle tijdstippen toewijst (+19,4% bACC op OpenVLA), wat bevestigt dat uniforme propagatie labelruis introduceert.
  • Architectuur: Recurrente backbones (LSTM, GRU) presteren beter dan MLPs en Transformers, wat duidt op het voordeel van het modelleren van temporele context.
  • Loss Componenten: Zowel $\mathcal{L}_{inter}$ als $\mathcal{L}_{intra}$ zijn noodzakelijk; $\mathcal{L}_{inter}$ alleen presteert goed, maar de combinatie levert consistente verbeteringen op.

Betekenis en Claims

Het artikel claimt dat Hide-and-Seek een praktische, lichtgewicht oplossing biedt voor real-time failure monitoring in embodied AI. De betekenis ligt in:

• Elimineren van Annotatiekosten: Het elimineert de noodzaak voor dure, stapniveau fout-annotaties, door enkel te vertrouwen op de trajectniveau-outcome die natuurlijk beschikbaar is.
• Generalisatie: Het demonstreert sterke generalisatie naar onbekende taken en verschillende VLA-architecturen (autoregressief en flow-matching), waarmee het een belangrijke beperking van eerdere specialist-georiënteerde methoden aanpakt.
• Real-World Viabiliteit: Door zware inferentie-overhead te vermijden (in tegen tegenstelling tot resampling of VLM beoordelaars) en een gunstige accuratesse-tijdbalans te bereiken via conformal prediction, maakt het robuuste deployment in real-world robotische systemen mogelijk.

De auteurs positioneren dit werk als een nieuwe verbinding tussen weakly supervised learning paradigma's en de specifieke uitdagingen van embodied agent veiligheid, wat een schaalbaar pad biedt naar betrouwbare VLA deployment.