Technische Samenvatting: Uw model weet het al: Attention-gestuurde veiligheidsfilter voor Vision-Language-Action modellen

Probleemstelling

Vision-Language-Action (VLA) modellen hebben aanzienlijk succes geboekt in end-to-end robotische manipulatie, maar opereren vaak als ongeconstreerde black-box policies die ontbreken aan formele veiligheidsgaranties. Een kritieke foutmodus is de botsing met taakonrelevante objecten in dynamische omgevingen. Bestaande veiligheidsoplossingen vertrouwen doorgaans op externe Vision-Language Modellen (VLM's) om obstakels en hun locaties te identificeren. Het bevragen van een VLM is echter computationeel duur, wat real-time uitvoering binnen de control loop verhindert. Bijgevolg voeren huidige benaderingen de identificatie van obstakels vaak slechts één keer uit tijdens de episode-initialisatie. Deze "init-only" strategie faalt in dynamische settings waar objecten bewegen, mensen de werkruimte betreden, of waar de ruimtelijke relatie van de robot tot obstakels verandert, waardoor het veiligheidsfilter verouderd en ineffectief wordt.

Methodologie

De auteurs stellen KNOWS voor (Knowledge-driven, No-retraining, Online Wrapper for Safety), een training-vrij veiligheidsframework dat gebruikmaakt van de interne perceptuele signalen van een bevroren VLA-policy om real-time botsingsvermijding mogelijk te maken. De pipeline bestaat uit vier hoofdonderdelen:

1. Bevroren VLA Policy: Een vooraf getrainde VLA-policy ($\pi_\theta$) genereert kandidaat-acties op basis van visuele en linguïstische inputs. Het model zelf wordt niet gewijzigd of gefinetuned.
2. Low-Latency Obstakel Tracking: Bij de episode-initialisatie identificeert een segmentatiemodel (fine-tuned YOLOE) manipuleerbare objecten. Het systeem past een minimum-volume omhullende ellipsoïde (MVEE) toe op elk object. Tijdens de runtime vervangt het systeem niet het opnieuw aanpassen van ellipsoïden, maar volgt het de zwaartepunten van objecten via segmentatiemaskers en werkt het hun posities bij, waardoor een lichtgewicht geometische representatie van de scène behouden blijft.
3. Attention-gebaseerde Doelidentificatie: De kerninnovatie ligt in het direct extraheren van de intentie van de policy uit de interne attention-mechanismen.
   • De auteurs identificeren dat een kleine subset van attention heads binnen de bevroren VLA consistent aandacht besteedt aan het object dat de policy beoogt te manipuleren.
   • Specifiek extraheren zij attention maps van een specifieke laag en head (bijv. Layer 12, Head 3 in $\pi_{0.5}$) tijdens de standaard forward pass.
   • Zij accumuleren de attention density over een sliding window van recente stappen en projecteren de attention mass op objectmaskers.
   • Het object met de hoogste geaccumuleerde attention density wordt geïdentificeerd als het doel (target). Alle andere gevolgde objecten worden behandeld als obstakels.
   • Dit proces vindt bij elke control step plaats, waardoor de obstacle set dynamisch wordt bijgewerkt zonder externe perceptiemodellen.
4. CBF-QP Veiligheidsfilter: Een Control Barrier Function (CBF) gebaseerd op Quadratic Programming (QP) neemt de kandidaat-actie en de per-stap obstacle set. Het projecteert de actie op een veilige set, waardoor wordt gegarandeerd dat de end-effector ellipsoïde gescheiden blijft van alle obstacle ellipsoïden. Als er geen veilige actie bestaat, activeert het systeem een noodstop.

Belangrijkste Bijdragen

• Identificatie van Interne Signalen: De paper demonstreert dat een bevroren VLA-policy inherent betrouwbare, per-step target identificatie-signalen bevat binnen een kleine subset van zijn attention heads, wat de noodzaak voor externe VLM's of extra training elimineert.
• KNOWS Framework: Het voorstel van een training-vrije, online veiligheidswrapper die attention-gebaseerde target identificatie combineert met een lichtgewicht object tracker en een CBF-QP filter. Dit maakt continue veiligheidsupdates op de control rate (20 Hz) mogelijk.
• Prestaties in Dynamische Omgevingen: De uitbreiding van de SafeLIBERO benchmark om adversariële bewegende obstakels te bevatten, biedt een rigoureus testbed voor real-time veiligheidsfilters.
• Inference-Time Correlaten: De ontdekking dat dezelfde attention density die gebruikt wordt voor target identificatie ook dient als een sterke voorspeller van taaksucces (AUC 0.89 wanneer beperkt tot vroege episodes), wat suggereert dat interne attention informatie bevat die verder gaat dan directe veiligheidsfiltering.

Experimentele Resultaten

Het framework werd geëvalueerd op SAFELIBERO, een veiligheids-geaugmenteerde versie van de LIBERO benchmark, over vier suites (SPATIAL, OBJECT, GOAL, LONG) en drie veiligheidsniveaus (Static Level I/II, Dynamic Level III).

• Statische Scenario's (Levels I & II): KNOWS presteert vergelijkbaar met een "oracle" baseline die geprivilegieerde simulator-states gebruikt om targets bij de initialisatie te identificeren. Het vermindert de botsingspercentages aanzienlijk vergeleken met ongefilterde policies, terwijl het taaksuccespercentages behoudt die vergelijkbaar zijn met de "Naive" init-only baseline.
• Dynamische Scenario's (Level III): In omgevingen met bewegende obstakels faalt de init-only baseline omdat de target toewijzing verouderd raakt. KNOWS presteert substantieel beter dan deze baseline en vermindert het botsingspercentage met gemiddeld 43%.
• Real-Time Overhead: De methode opereert binnen het 20 Hz control budget (50 ms per step). De extractie van attention voegt verwaarloosbare overhead toe (0.8 ms) aangezien het de bestaande forward pass hergebruikt. De totale wrapper overhead is ongeveer 49 ms, gedomineerd door het segmentatiemodel en depth processing, niet door de veiligheidslogica zelf.
• Target Identificatie Nauwkeurigheid: De geselecteerde attention head (Layer 12, Head 3) onderscheidt betrouwbaar het doelobject van de bestemming en andere objecten, waarbij de attention density op het doel een hoge specificiteit vertoont (AUC 0.89) vergeleken met kans (AUC 0.55) voor irrelevante objecten.

Betekenis en Claims

De paper claimt dat de perceptuele gronding die nodig is voor real-time veiligheidsfiltering al latent aanwezig is binnen VLA-policies. Door gebruik te maken van de structurele routing-eigenschappen van multi-head self-attention, biedt KNOWS een minimaal invasieve veiligheidslaag die:

1. De latency bottleneck elimineert van externe VLM-queries, wat continue veiligheidsupdates in dynamische omgevingen mogelijk maakt.
2. Geen hertraining vereist of supervisie, waardoor het toepasbaar is op elke bevroren transformer-gebaseerde VLA-policy.
3. Een positieve versterkingscyclus biedt: Omdat de veiligheidsfilter afhankelijk is van de kwaliteit van de attention maps van de basis-policy, vertalen verbeteringen in de onderliggende VLA-backbone zich direct naar een robuustere veiligheidsfiltering zonder extra engineering.

De auteurs concluderen dat hoewel hun huidige implementatie zich richt op end-effector veiligheid en afhankelijk is van de kwaliteit van het onderliggende perceptiemodule, de aanpak aantoont dat "uw model het al weet" over hoe het botsingen moet vermijden, mits men weet hoe men de interne signalen moet lezen.