BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

Probleemstelling

De recente vooruitgang in Vision-Language-Action (VLA) modellen heeft geleid tot krachtige robotbesturingssystemen die visuele waarneming, taalbegrip en actiegeneratie kunnen combineren. Echter, het implementeren van deze modellen op randapparatuur (edge devices) zoals mobiele robots wordt beperkt door hun enorme grootte en rekenvereisten.

• Huidige uitdagingen: Bestaande VLA-modellen gebruiken full-precision parameters (meestal FP16 of BF16), wat leidt tot een groot geheugengebruik en hoge latentie.
• Beperkingen van bestaande oplossingen: Post-hoc kwantisatie (het comprimeren van een al getraind model) kan de prestaties aanzienlijk verminderen en vereist zorgvuldige kalibratie. Daarnaast is extreme low-bit modellering (zoals 1-bit) in de taalwereld succesvol gebleken, maar de uitbreiding naar multimodale perceptie en robotbesturing is nog onderbelicht vanwege de complexe koppeling tussen visie, taal en actie.

Methodologie: BitVLA

Het paper introduceert BitVLA, het eerste volledig native 1-bit Vision-Language-Action model voor robotmanipulatie. In dit model zijn alle parameters ternair, d.w.z. ze kunnen alleen de waarden $\{-1, 0, 1\}$ aannemen.

De architectuur en het trainingsproces omvatten drie kerncomponenten:

1. Model Architectuur:

   • BitVLA is gebaseerd op de open-source 1-bit LLM BitNet b1.58 2B4T.
   • Het gebruikt SigLIP-L als visuele encoder.
   • De connector (die visuele features naar taal-embeddings projecteert) en de actie-head blijven in full-precision (BF16) om stabiliteit te behouden, terwijl de backbone ternair is.
   • Activaties worden gekwantiseerd naar INT8 ($[-128, 127]$), terwijl de gewichten ternair zijn.

2. Trainingsparadigma (Drie fasen):

   • Fase 1: Multimodal Training: Een visueel-taalmodel wordt getraind door de 1-bit LLM te koppelen aan een full-precision visuele encoder (volgend op het LLaVA-paradigma). Eerst wordt alleen de connector getraind, daarna de LLM.
   • Fase 2: Quantize-then-Distill (Kerninnovatie): Om de geheugenvoetafdruk van de visuele encoder te verkleinen, wordt een nieuwe strategie voorgesteld. Een full-precision "leraar" (teacher) encoder leidt een "student" encoder met 1.58-bit gewichten en INT8 activaties.
     • De student wordt getraind met een combinatie van taalmodelleringsverlies en een representatie-afstemmingsverlies (MSE tussen de hidden states van leraar en student).
     • Dit zorgt ervoor dat de student de representaties van de leraar nabootst, waardoor de prestaties behouden blijven ondanks de extreme kwantisatie.
   • Fase 3: Robotics Training: Het model wordt voorgeprogrammeerd (pre-trained) op ongeveer 1 miljoen robottrajecten uit het Open X-Embodiment dataset om algemene manipulatiekennis te verwerven, gevolgd door gespecialiseerde fine-tuning op specifieke taken.

3. Inferentie-efficiëntie:

   • Omdat de gewichten ternair zijn, kunnen matrixvermenigvuldigingen grotendeels worden uitgevoerd via gehele getaloptellingen (integer additions) in plaats van dure floating-point vermenigvuldigingen. Dit verlaagt de rekenenergie aanzienlijk.

Belangrijkste Bijdragen

1. Eerste native 1-bit VLA: BitVLA is het eerste model dat volledig ternaire gewichten gebruikt voor robotmanipulatie, wat een nieuwe benchmark zet voor extreme low-bit embodied policies.
2. Quantize-then-Distill strategie: Een lichtgewicht trainingsstrategie die een full-precision visuele encoder comprimeert naar 1.58-bit gewichten zonder significante prestatieverlies, door gebruik te maken van kennisdistillatie tijdens het trainingsproces.
3. Efficiëntie-Prestatie Co-design: Het paper demonstreert dat het integreren van kwantisatie in het trainingsproces (in plaats van post-hoc) leidt tot modellen die zowel extreem efficiënt zijn als concurrerend presteren ten opzichte van veel grotere full-precision modellen.

Resultaten

BitVLA werd uitgebreid geëvalueerd in simulatie (LIBERO-benchmarks) en in de echte wereld (Franka Emika robotarm).

• Prestaties:
  • BitVLA bereikt prestaties die vergelijkbaar zijn met OpenVLA-OFT (een 7.7B parameter model), met slechts een minimale daling van 1,1% in succespercentage op de LIBERO-benchmarks.
  • Het overtreft andere kleine modellen zoals $\pi_0$ (3.5B parameters) en SmolVLA aanzienlijk, vooral op lange-horizon taken.
• Efficiëntie:
  • Geheugen: BitVLA vereist slechts 1.4 GB geheugen, wat een 11x reductie is ten opzichte van OpenVLA-OFT. Dit maakt deployen mogelijk op consumentenhardware (bijv. NVIDIA RTX 3050 Ti Laptop GPU).
  • Snelheid: BitVLA levert een 4.4x versnelling in end-to-end latentie (73 ms vs 321 ms) en een hogere doorvoer (341 Hz vs 77 Hz) vergeleken met OpenVLA-OFT+.
• Robuustheid: In out-of-distribution (OOD) tests (bijv. nieuwe objecten of visuele afleidingen) behoudt BitVLA zijn robuustheid en generalisatievermogen, vergelijkbaar met de grotere baselines.

Betekenis en Conclusie

BitVLA bewijst dat het mogelijk is om krachtige robotmanipulatie-modellen te bouwen die volledig geschikt zijn voor edge-deployments met beperkte resources. Door kwantisatie en trainingsstrategieën te co-designen, wordt de traditionele trade-off tussen efficiëntie en prestaties doorbroken.

De resultaten suggereren een praktische weg naar het trainen van "embodied policies" die niet afhankelijk zijn van zware serverinfrastructuur. Dit opent de deur voor:

• Deployen van geavanceerde robotica op goedkope, energiezuinige hardware.
• Ontwerp van specifieke hardware-accelerators die geoptimaliseerd zijn voor ternaire gewichten en INT8 activaties.
• Een nieuwe richting in robotlearning waarbij training-time efficiency en nauwkeurigheid hand in hand gaan.

Het paper concludeert dat BitVLA een kosteneffectieve en efficiënte oplossing biedt voor de toekomst van robotica op geheugenbeperkte systemen.