Technische Samenvatting: Premover – Snelle Vision-Language-Action-besturing door te handelen voordat instructies voltooid zijn

Probleemstelling

Huidige Vision-Language-Action (VLA)-beleidslijnen worden doorgaans geëvalueerd onder de aanname dat de volledige instructie van de gebruiker beschikbaar is voordat de robot begint met de berekening. In de praktijk vereisen gebruikers echter enkele seconden om een verzoek in te typen of te spreken. Gedurende dit interval van "streaming prefix" blijft het VLA-beleid inactief, wat een aanzienlijke latentie-gat creëert. Op benchmarks zoals LIBERO is dit invoerinterval goed voor ongeveer 39% van de totale interactietijd (gemiddeld ~17,7 seconden inactiviteit per episode).

Bestaand onderzoek naar efficiëntie richt zich op het verminderen van de inferentielatentie na ontvangst van de instructie (bijvoorbeeld via early-exit gates of token pruning). Deze methoden lossen de inactiviteit tijdens de gebruikersinvoer niet op. De kernuitdaging is om dit interval te benutten voor berekening zonder veiligheid of succes te compromitteren: te vroeg handelen op een onvolledige instructie riskeert dat de robot zich vastlegt op het verkeerde doelwit, terwijl wachten op de volledige instructie het latentievoordeel tenietdoet.

Methodologie: Premover

Premover is een lichtgewicht module ontworpen om te werken bovenop een bevroren VLA-ruggengraat (specifiek $\pi0.5$ in de experimenten). Het zet het inactieve invoerinterval om in nuttige voorberekening door twee gekoppelde componenten in te voeren: een Focus Map en een Action Readiness Gate.

1. Vision-Language Focus Map

De eerste uitdaging is bepalen waar men moet letten bij een gedeeltelijke instructie (bijvoorbeeld "pak de ketchup..."). Een bevroren ruggengraat, getraind via actie-imitatie, verspreidt de aandacht vaak over achtergrondregio's in plaats van de referent van een gedeeltelijke prompt te lokaliseren.

• Mechanisme: Premover koppelt twee kleine, traineerbare projectiekoppen (één voor afbeeldingspatches, één voor taal-tokens) aan een tussenlaag van de bevroren ruggengraat. Deze koppen mappingen verborgen toestanden naar een gedeelde latente ruimte.
• Berekening: Het berekent de cosinus-sequentie tussen afbeeldingspatch-embeddings en de huidige streaming taal-tokens. De maximale sequentie over de tokenreeks genereert een per-patch waarschijnlijkheidsscore, waardoor een Focus Map ontstaat.
• Supervisie: Deze kaart wordt gesuperviseerd met simulator-gerepresenteerde segmentatiemaskers van doelobjecten via een class-balanced Binary Cross-Entropy (BCE) verlies.
• Injectie: Om de bevroren ruggengraat te beïnvloeden zonder deze opnieuw te trainen, wordt de Focus Map gebruikt om afbeeldingstokens te herwegen voor de volgende inferentiestap ($t+1$). Een floor scale parameter $\alpha$ interpoleert tussen de focuskaart en een uniforme weging, waardoor de context van de scène behouden blijft (bijvoorbeeld obstakelontwijking) terwijl instructie-gerelateerde regio's worden versterkt.

2. Action Readiness Gate

De tweede uitdaging is bepalen wanneer de gedeeltelijke instructie informatief genoeg is om te handelen.

• Mechanisme: Het systeem berekent een Action Readiness Score ($r_t$) gebaseerd op de concentratie van de Focus Map. Het meet het verschil tussen de gemiddelde waarschijnlijkheid van de top-$K$ patches en de globale gemiddelde waarschijnlijkheid. Een hoge score geeft aan dat de prefix een specifiek doelwit heeft gelokaliseerd; een lage score geeft verspreide aandacht aan.
• Beslissingslogica: Een leerbare scalair drempelwaarde $\tau$ fungeert als een poort. Het beleid voert acties alleen uit wanneer $r_t \geq \tau$.
• Supervisie: De drempel wordt getraind met een binaire label die aangeeft of het doelobject in de huidige prefix is verschenen. Een temperatuur-geschaalde BCE-verliesfunctie wordt toegepast om het besluit differentieerbaar te maken.

Training

Beide componenten worden gezamenlijk getraind in één forward pass. De parameters van de ruggengraat blijven bevroren; gradiënten stromen alleen door de twee projectiekoppen en de readiness-drempel. Dit vormt minder dan 1% van het totale aantal parameters van de ruggengraat, wat efficiënte adaptatie mogelijk maakt zonder grootschalige hertraining.

Belangrijkste Bijdragen

1. Herverkadering van Inactieve Tijd: Het artikel betoogt dat het invoerinterval van de gebruiker een bruikbare bron voor berekening is in plaats van dode tijd, en stelt een regime voor waarin beleidslijnen visuele aandacht verankeren aan streaming prefixes.
2. Lichtgewicht Architectuur: Premover bereikt dit door minimale traineerbare parameters (twee projectiekoppen en een scalair) toe te voegen aan een bevroren VLA, waardoor de vooraf getrainde gewichten exact behouden blijven.
3. Twee-componenten Ontwerp: Het scheidt expliciet het probleem van waar te focussen (Focus Map) van wanneer te handelen (Readiness Gate), waardoor de afweging tussen vroege uitvoering en veiligheid wordt aangepakt.
4. Streaming Evaluatieprotocol: De auteurs introduceren een streaming evaluatieprotocol dat real-time token-aankomst simuleert, gesynchroniseerd met een standaard typtempo (52,24 WPM), en zo een realistischer latentiemeting biedt dan standaard full-prompt baselines.

Experimentele Resultaten

De methode werd geëvalueerd op de LIBERO-suite (Spatial, Object, Goal, LIBERO-10) en VLA-arena (Level-1 suites) met de $\pi0.5$ ruggengraat.

• Succespercentage: Premover komt overeen met het succespercentage van de full-prompt baseline op LIBERO (95,1% versus 95,0%) en presteert aanzienlijk beter dan "Naive Premoving" (wat onmiddellijk op elke token handelt en instort tot 66,4%). Op VLA-arena behoudt het 30,9% succes vergeleken met 33,0% voor de full-prompt, terwijl Naive Premoving daalt tot 27,0%.
• Latentievermindering:
  • Op LIBERO vermindert Premover de gemiddelde end-to-end wandkloktijd van 34,0s naar 29,4s (een reductie van 13,6%).
  • Op VLA-arena vermindert het de wandkloktijd met ongeveer 10,3%.
• Ablatiestudies:
  • De Readiness Gate alleen herstelt 21,9 procentpunten succespercentage ten opzichte van naive streaming, wat de kritieke rol aantoont in het voorkomen van voortijdige actie.
  • De Focus Map voegt nog eens 6,7 procentpunten toe en verbetert de ontmaskering van afleidende factoren.
  • De floor scale $\alpha$ is robuust over een reeks waarden, waarbij $\alpha=0.2$ is geselecteerd als optimaal om doelversterking en behoud van scènecontext in evenwicht te brengen.

Betekenis en Beweringen

Het artikel stelt dat Premover een belangrijke stap voorwaarts is naar efficiënte en responsieve VLA-toepassingen in de echte wereld. De primaire betekenis ligt in het aantonen dat:

1. Gebruikersinvoertijd een bron is: Latentie kan worden verminderd door berekening uit te voeren tijdens het typtinterval in plaats van te wachten op voltooiing.
2. Lichtgewicht modulatie voldoende is: Complexe hertraining is niet vereist om vroege verankering mogelijk te maken; een kleine module kan een bevroren beleid effectief moduleren om streaming instructies te verwerken.
3. Veiligheid door gating: Een geleerde readiness-criteria stelt het systeem in staat om vroeg te handelen zonder de catastrofale faalmodi die geassocieerd zijn met naive vroege uitvoering.

De auteurs erkennen beperkingen, en merken op dat de supervisie van de Focus Map momenteel afhankelijk is van simulator-gerepresenteerde maskers (niet direct beschikbaar op echte robots) en dat de projectiekoppen per benchmark worden getraind in plaats van zero-shot te worden overgedragen. Er wordt voorgesteld om toekomstig werk te richten op verankering op echte robots via open-vocabulary detectoren en om niet-monotone prefix-dynamiek (bijvoorbeeld gebruikersherzieningen) te hanteren.