Technische Samenvatting: Think Proprioceptively: Embodied Visual Reasoning voor VLA Manipulatie

Probleemstelling

Vision-Language-Action (VLA) modellen zijn een krachtig paradigma geworden voor generaliseerbare robotbesturing door visuele observaties en natuurlijke taalinstructies te vertalen naar uitvoerbare acties. De huidige VLA-pipelines introduceren echter proprioceptieve signalen (robotstatus, zoals gewrichtshoeken en de pose van de end-effector) meestal laat in de verwerkingsstap, koppelen deze zwak aan perceptie, of negeren ze volledig.

Deze late integratie voorkomt dat de fysieke belichaming van de robot de initiële begrip van de taak vormgeeft of invloed uitoefent op welke visuele tokens gedurende het beleid worden gelet. Gevolgen hiervan is dat het model er niet in slaagt om gebruik te maken van fysiek gegronde status om te bepalen welke scène-elementen relevant zijn voor ruimtelijk gegronde acties. Hoewel recente werken zoals $\pi^0$ en $\pi^{0.5}$ zijn begonnen met het eerder integreren van proprioceptie, blijft de functionele rol van proprioceptie moeilijk te isoleren vanwege de gekoppelde ontwerpkeuzes met betrekking tot de visie-taal-aggregatie en de conditionering van de action-head.

Methodologie: ThinkProprio

De auteurs stellen ThinkProprio voor, een architectuur die is ontworpen om "proprioceptief te denken" door proprioceptie te behandelen als een eersteklas modaliteit die actief deelneemt aan vroege visuele redenering. De kerncomponenten zijn:

1. Proprioceptieve Status Codering via Tekst-tokenisatie

In tegenstelling tot methoden die geleerde Multi-Layer Perceptrons (MLP's) gebruiken om continue statusvectoren te projecteren in de VLM-embeddingruimte (wat distributieverschillen kan introduceren), discretiseert ThinkProprio de continue proprioceptieve statuswaarden.

• Discretisatie: Continue statuswaarden worden afgekapt en uniform ingedeeld in bins.
• Tokenisatie: Deze bin-indices worden in kaart gebracht naar specifieke vocabulaire-token-ID's uit de pre-trained VLM-embeddingtabel.
• Integratie: De resulterende proprioceptieve tokens worden samengevoegd met de taalinstructie-tokens aan de input van de VLM. Dit stelt de status van de robot in staat om deel te nemen aan dezelfde embeddingruimte als taal, wat staat-bewuste visuele conditionering mogelijk maakt zonder extra projectielagen.

2. Fysiek Gegronde Token Selectie

ThinkProprio introduceert een mechanisme om de selectie van visuele tokens te sturen op basis van zowel de taakinstructie als de huidige proprioceptieve status van de robot.

• Query Generatie: Instructie-tokens ($H_l$) en proprioceptieve tokens ($H_p$) worden samengevoegd om begeleidingstokens ($H_q$) te vormen.
• Scoring: Visuele tokens letten op deze begeleidingstokens om een "fysiek gegronde query" te vormen. Een scorematrix wordt berekend door genormaliseerde queries te matchen met genormaliseerde visuele tokens.
• Selectiemechanisme: Het systeem gebruikt een stem-gebaseerde discrete selectie met een straight-through estimator (STE). Gumbel-ruis wordt toegevoegd aan de scores om differentiabele training mogelijk te maken. Tokens die stemmen ontvangen, worden behouden, terwijl anderen worden weggegooid.
• Globale Context: Om het verlies van grove scène-informatie te voorkomen, wordt een globale context-token (gemiddeld over alle visuele tokens) toegevoegd aan de geselecteerde subset.

3. Architectuur en Training

• Backbone: De compacte sequentie van geselecteerde visuele tokens, globale context, proprioceptieve tokens en taal-tokens wordt verwerkt door een pre-trained VLM-backbone.
• Action Head: De action head conditioneert op de gefuseerde features van de VLM via cross-attention.
• Doelstelling: De action head wordt getraind met flow matching (een diffusie-gebaseerde aanpak) om continue actie-chunks te voorspellen. De trainingsdoelstelling minimaliseert de fout tussen het voorspelde snelheidveld en de doel-snelheid.

Belangrijkste Bijdragen

1. Systematische Ablatie van VLA-ontwerp: Het artikel biedt de eerste systematische vergelijking van ontwerpaspecten in VLA-modellen, waarbij visie-taal-aggregatie, conditioneringsmechanismen en proprioceptieve codering/instappunten worden ontkoppeld.
2. Proprioceptieve Tekst-tokenisatie: De auteurs laten zien dat het discretiseren van proprioceptie in tekst-tokens en het invoeren ervan in de VLM-input effectiever is dan het gebruik van geleerde projectoren of late-conditioneringsmechanismen. Dit maakt gebruik van de pre-trained token-interface van de VLM.
3. Fysiek Gegronde Token Selectie: De methode toont aan dat gezamenlijke instructie- en proprioceptieve begeleiding effectief kan bijdragen aan het sturen van de berekening naar actie-kritieke bewijslast. Hierdoor kan het model slechts ~15% van de visuele tokens behouden terwijl het de prestaties van modellen met volledige token-sets evenaart of overtreft.
4. Efficiëntie: Door het aantal door de VLM en action head verwerkte visuele tokens te verminderen, verlaagt de aanpak de computationele kosten aanzienlijk.

Experimentele Resultaten

De methode werd geëvalueerd op de CALVIN (ABC→D split) en LIBERO benchmarks, evenals op real-world manipulatietaken.

• Taakprestaties:
  • CALVIN: ThinkProprio behaalde een gemiddelde voltooide ketenlengte van 4.55, waarmee het sterke baselines zoals FLOWER (4.44) en $\pi^{0.5}$ (2.38) verslaat. Het toonde met name sterke winst in langetermijn-taken (LH-5), waarbij het 82.1% succes bereikte vergeleken met 77.8% voor FLOWER.
  • LIBERO: ThinkProprio behaalde een gemiddeld succespercentage van 97.3%, concurrerend met de beste baselines (LightVLA met 97.4%) en behaalde de hoogste score op de LIBERO-Long suite (95.2%).
• Computationele Efficiëntie:
  • Latentie: ThinkProprio verminderde de end-to-end inferentie-latentie met 58% (van 52 ms naar 22 ms op CALVIN) vergeleken met de FLOWER-baseline.
  • Token Reductie: Het model verwerkt gemiddeld slechts 15 visuele tokens per tijdstap (vergeleken met de beschikbare 100), wat de sequentielengte voor de VLM en action head aanzienlijk vermindert.
  • VRAM: Het piek VRAM-gebruik werd verminderd tot 1.9 GB, een substantiële afname vergeleken met OpenVLA (14.5 GB).

Betekenis en Claims

Het artikel claimt dat ThinkProprio succesvol de beperking van huidige VLA-modellen aanpakt waarbij proprioceptie als een laat signaal wordt behandend. Door proprioceptie te tokeniseren en vroeg te fuseren met taalinstructies, kan het model zijn visuele redeneerproces vormgeven om prioriteit te geven aan belichaming-relevante bewijslast.

De auteurs stellen dat:

• Proprioceptie expliciet moet worden aangeboden en actief betrokken moet zijn tijdens het begrijpen van de taak, en niet alleen tijdens de fase van actiegeneratie.
• Tekst-tokenisatie van continue status een superieure coderingstrategie is vergeleken met geleerde projectoren, omdat het aansluit bij de pre-trained token-embeddings en toestaat dat de status deelneemt aan het redeneerproces van de VLM.
• Agressieve reductie van visuele tokens haalbaar is zonder prestatieverlies als de selectie wordt gestuurd door zowel instructie als robotstatus.
• De aanpak sterke prestaties levert bij langetermijn-taken, terwijl de inferentie-latentie en het geheugengebruik aanzienlijk worden verminderd, wat het een levensvatbare weg maakt naar efficiënte, belichaamde robotbesturing.

Het artikel concludeert dat hoewel afbeeldingen veel impliciete status-aanwijzingen bieden, de juiste integratie van proprioceptie aanvullende gegronde informatie levert die cruciaal is voor complexe manipulatie, met name in scenario's met een lange horizon die uitgebreide correctie en contactdynamica vereisen.