Technische Samenvatting: SCALE voor Vision-Language-Action Modellen

Probleemstelling

Vision-Language-Action (VLA) modellen zijn een leidend paradigma geworden voor algemene robotbesturing, waarbij gebruik wordt gemaakt van vooraf getrainde Vision-Language Models (VLM's) om multimodale observaties en taalinstructies naar acties te mappen. Deze modellen hebben echter vaak moeite met robuustheid in realistische scenario's die worden gekenmerkt door perceptuele ambiguïteit (bijv. visueel gelijkaardige afleiders) en actie-multimodaliteit (meerdere plausibele acties).

Bestaande strategieën om robuustheid tijdens de testfase te verbeteren, bekend als Test-Time Scaling (TTS), kampen doorgaans met drie kritieke beperkingen:

1. Onpraktische Implementatie: Veel TTS-methoden vereisen extra training voor externe verifiers of zelfverificatie, presteren minder onder domeinverschuivingen en brengen meerdere forward passes met zich mee, wat in strijd is met real-time beperkingen.
2. Vaste Perceptie: Huidige TTS-benaderingen grijpen alleen in tijdens de actie-decodingsfase terwijl de visuele representaties vast blijven staan. Dit is onvoldoende wanneer perceptuele ambiguïteit de agent vereist om te heroverwegen hoe de scène te waarnemen, en niet alleen welke actie te ondernemen.
3. Inadequate Onzekerheidsmetrieken: Bestaande onzekerheidsmaten vangen vaak alleen algemene distributionele onzekerheid op (bijv. entropie), maar houden geen rekening met de besluitvaardigheid van het model met betrekking tot zijn top-1 keuze, wat cruciaal is voor de greedy decoding die in de meeste VLA's wordt gebruikt.

Methodologie: SCALE

De auteurs stellen SCALE voor (Self-uncertainty Conditioned Adaptive Looking and Execution), een eenvoudige, training-vrije inferentiestrategie die visuele perceptie en actie gezamenlijk moduleert op basis van de intrinsieke "zelf-onzekerheid" van het model. Geïnspireerd door onzekerheidgestuurde exploratie in de Active Inference-theorie, werkt SCALE in een enkele forward pass zonder externe verifiers.

1. Zelf-onzekerheid Schatting

De kerninnovatie is een nieuwe zelf-onzekerheidsmetriek ($u_t^k$) die zowel de distributionele spreiding als de top-1 besluitvaardigheid vangt. In plaats van te vertrouwen op een enkele referentie, definieert SCALE twee referentiedistributies:

• Lage-onzekerheid referentie ($q_{low}$): Een one-hot distributie gecentreerd op de top-1 voorspelde token van het model, wat volledige zekerheid vertegenwoordigt.
• Hoge-onzekerheid referentie ($q_{high}$): Een uniforme distributie over het vocabulaire, wat volledige ambiguïteit vertegenwoordigt.

De zelf-onzekerheidsscore wordt berekend als het verschil in de Kullback-Leibler (KL) divergentie tussen de voorspelde distributie ($p_t^k$) en deze twee referenties:
$$u_t^k = D_{KL}(p_t^k \parallel q_{low}) - D_{KL}(p_t^k \parallel q_{high})$$
Deze formulering positioneert de voorspelling effectief op een zekerheidsspectrum. Een positieve score geeft aan dat de distributie dichter bij ambiguïteit ligt, terwijl een negatieve score wijst op hoge mate van vertrouwen.

2. Adaptieve Inferentiemechanismen

SCALE gebruikt dit onzekerheidssignaal om twee complementaire aspecten van de VLA-pipeline te moduleren:

• Adaptieve Actie-decoding (Token-niveau): De sampling temperatuur ($\tau_t^k$) voor actie-tokens wordt dynamisch aangepast op basis van de token-niveau onzekerheid $u_t^k$.
  $$\tau_t^k = T_0 \cdot \sigma(u_t^k)$$
  waarbij $\sigma$ een sigmoidfunctie is. Bij hoge onzekerheid neemt de temperatuur toe om diverse, exploratieve sampling te stimuleren. Bij lage onzekerheid neemt de temperatuur af, wat zorgt voor bijna-greedy executie.

• Adaptieve Visuele Attentie (Stap-niveau): Om perceptuele ambiguïteit aan te pakken, moduleert SCALE de attentie-temperatuur ($\gamma_t$) van de vision encoder. In tegenstelling tot actie-decoding, die gebruikmaakt van instantane onzekerheid, reageert visuele modulatie op veranderingen in de complexiteit van de scène.

  • Het systeem berekent een stap-niveau onzekerheid ($u_t$) door de token-niveau onzekerheden te middelen.
  • Het houdt een Exponential Moving Average (EMA) bij van de recente onzekerheid ($\bar{u}_{t-1}$).
  • De afwijking ($\Delta u_{t-1} = u_{t-1} - \bar{u}_{t-2}$) bepaalt de attentie-temperatuur:
    $$\gamma_t = \kappa \tanh(\Delta u_{t-1})$$
  • Wanneer de onzekerheid boven het recente gemiddelde stijgt ($\Delta u > 0$), wordt $\gamma_t > 1$, waardoor de aandacht wordt verbreed om de scène te verkennen. Wanneer de onzekerheid daalt ($\Delta u < 0$), wordt $\gamma_t < 1$, waardoor de aandacht wordt verscherpt om te focussen op taakrelevante signalen.

Dit creëert een feedbackloop waarbij onzekerheid op één tijdstap de actie-sampling moduleert en tegelijkertijd de visuele aandacht voor de volgende tijdstap aanpast, wat adaptieve executie in closed-loop controle mogelijk maakt.

Belangrijkste Bijdragen

1. Gezamenlijke Modulatie van Perceptie en Actie: In tegenstelling tot eerdere TTS-methoden die alleen actie-decoding aanpassen, moduleert SCALE gezamenlijk de visuele aandacht en actie-sampling op basis van zelf-onzekerheid, waarmee de kernoorzaak van falen in ambigue scenario's wordt aangepakt.
2. Training-vrije, Single-Pass Efficiëntie: De methode vereist geen extra training, externe verifiers of meerdere forward passes, wat het praktisch maakt voor real-time robotische implementatie.
3. Nieuwe Onzekerheidsmetriek: De voorgestelde dual-reference onzekerheidsmetriek vangt zowel distributionele onzekerheid als top-1 besluitvaardigheid op, en presteert beter dan bestaande proxies zoals entropie of confidence scores.
4. Empirische Validatie: De aanpak wordt gevalideerd over diverse autoregressieve VLA-architecturen (OpenVLA, $\pi_0$-FAST, SpatialVLA) in zowel gesimuleerde als real-world omgevingen.

Experimentele Resultaten

Experimenten werden uitgevoerd op gesimuleerde benchmarks (LIBERO, SIMPLER-WidowX, LIBERO-PRO-Long) en real-world pick-and-place taken met een UR10e arm.

• Prestatiewinst: SCALE presteert consistent beter dan state-of-the-art (SoTA) VLA's en bestaande TTS-methoden. Op de LIBERO benchmark met OpenVLA behaalde SCALE een gemiddeld succespercentage van 81,5%, waarmee het de greedy baseline (75,7%) en TTS-methoden die training vereisen zoals MG-Select (70,8%), RoboMonkey en TACO overtrof.
• Robuustheid: In real-world experimenten verbeterde SCALE de succespercentages met +19,5% (OpenVLA) en +13,9% ($\pi_0$-FAST) onder in-distributie condities, en met respectievelijk +16,7% en +12,5% onder out-of-distribution condities met onbekende objecten.
• Ablatie-studies:
  • Het combineren van adaptieve decodering en adaptieve visuele aandacht leverde synergetische winsten op (+10,6% t.o.v. baseline), wat de som van de individuele verbeteringen oversteeg.
  • De voorgestelde zelf-onzekerheidsmetriek presteerde aanzienlijk beter dan alternatieven (entropie, Gini-impurete, self-certainty) met 63,3% versus 57,8% voor de op één na beste optie.
  • Het moduleren van de uni-modale attentie van de vision encoder bleek effectiever dan het moduleren van de cross-modale attentie van de VLA-backbone.
• Efficiëntie: SCALE behoudt single-pass efficiëntie, terwijl methoden die meerdere samples vereisen (bijv. Best-of-N) latentie-toenames vertoonden van wel 15,9x voor OpenVLA.

Betekenis en Claims

Het artikel beweert dat SCALE een praktische en effectieve oplossing biedt voor het verbeteren van de robuustheid van VLA's zonder de computationele overhead van bestaande TTS-methoden. Door gebruik te maken van principes uit de Active Inference, demonstreren de auteurs dat agenten onzekerheid kunnen verminderen door adaptief zowel hoe ze waarnemen (visuele attentie) als wat ze doen (actie-sampling) aan te passen.

De auteurs benadrukken dat hun bijdrage primair methodologisch is, gericht op het verbeteren van bestaande VLA-architecturen door middel van adaptieve inferentie in plaats van het introduceren van nieuwe modelcapaciteiten. Ze stellen dat SCALE een betrouwbaardere en veiligere operatie in diverse real-world omgevingen mogelijk maakt door robots toe te staan dynamisch te schakelen tussen exploratie en exploitatie op basis van hun eigen voorspellende vertrouwen. De code is publiekelijk beschikbaar om verdere research en implementatie te faciliteren.