Mix-QVLA: Task-Evidence-Aware Mixed-Precision Quantization of Vision-Language-Action Models

Technische Samenvatting: Mix-QVLA

Probleemstelling
Vision-language-action (VLA) modellen verenigen perceptie, taalredenering en robotbesturing in één enkel beleid, wat taalgestuurde manipulatie mogelijk maakt. De aanzienlijke geheugen- en rekenvereisten hiervan belemmeren echter de implementatie op middelenbeperkte robotplatforms. Hoewel low-bit mixed-precision post-training quantisatie (PTQ) een weg biedt voor compressie, kampen bestaande VLA-quantisatiemethoden met een cruciale beperking: ze schatten de laaggevoeligheid primair in op basis van de uiteindelijke actieafwijking.

De auteurs stellen dat een kleine afwijking in het uiteindelijke bewegingscommando niet garandeert dat het gekwantiseerde model de interne "bewijsstructuur" (evidence structure) heeft behouden die de full-precision beleidsbeslissing ondersteunt. Omgekeerd onthult een grote afwijking niet waar de berekening is mislukt. Bestaande methoden falen in het onderzoeken of quantisatie de taakrelevante bewijsvoering over interne beleidsfasen (bijv. visuele gronding, taalredenering) verstoort, wat potentieel kan leiden tot onjuiste taakgronding, zelfs wanneer de resulterende beweging vloeiend lijkt.

Methodologie
Het artikel stelt Mix-QVLA voor, een taak-bewijs-bewuste mixed-precision PTQ-framework ontworpen om het interne beslissingspad van VLA-modellen te behouden. De methodologie verloopt in drie hoofdfasen:

1. Taak-bewijs Laaggevoeligheid:

   • Referentiebeslissing: Het framework verankert de quantisatie-evaluatie aan een vaste full-precision actie-token sequentie ($y^*$) gegenereerd door het full-precision model ($\theta_{FP}$).
   • Grensanalyse: Het evalueert de behoud van bewijs op vier functionele grenzen: de output van de vision-encoder, de projector-output, de taal-beleidsrepresentatie en de actie-head-representatie.
   • Bewijsmapping: Voor elke grens berekent het een gradiënt-gewogen taak-bewijsmap ($E$) door genormaliseerde grensactivaties te combineren met gradiënten van de teacher-forced log-waarschijnlijkheidsfunctie. Dit identificeert kenmerken die zowel actief als invloedrijk zijn voor de referentiebeslissing.
   • Distortiemeting: De methode vergelijkt full-precision en gekwantiseerde bewijsmappen met behulp van twee metrieken:
     • Evidence Mass: De totale sterkte van de beslissingsondersteunende bewijsvoering.
     • Attribution Distribution: De ruimtelijke allocatie van bewijs over tokens/kanalen (gemeten via Jensen–Shannon divergentie).
   • Aggregatie: Deze distorties worden geaggregeerd tot een laag-specifieke gevoeligheidsscore met behulp van een "soft-bottleneck" objectief, wat ervoor zorgt dat een sterk gedegradeerde grens de uiteindelijke score significant beïnvloedt zonder te worden verdund door andere grenzen.

2. Temporele Taak-bewijsgevoeligheid:

   • In het besef dat VLA-beleid zich over trajecten ontvouwt, behandelt Mix-QVLA gevoeligheid als tijdsafhankelijk. Het brengt kalibratiesamples in kaart naar genormaliseerde trajectprogressie ($\rho \in [0, 1]$) en berekent fase-gewijze gevoeligheidsscores.
   • De uiteindelijke temporele gevoeligheidsscore voor een laag wordt afgeleid van de maximale degradatie waargenomen over een willekeurige trajectfase, waardoor lagen worden gevangen die pas cruciaal worden tijdens specifieke uitvoeringsfasen.

3. Mixed-Precision Bit Allocatie:

   • Het framework formuleert bit-allocatie als een beperkt optimalisatieprobleem. Het minimaliseert de gecombineerde taak-bewijs en temporele gevoeligheid degradatie onderhevig aan modelgrootte- en BitOps-budgetten.
   • Een binaire toewijzingsvariabele bepaalt de bitbreedte voor elke laag, opgelost via een branch-and-bound solver. De resulterende allocatie staat vast na kalibratie en wordt toegepast tijdens inferentie.

Belangrijkste Bijdragen

• Mix-QVLA Framework: Een nieuw PTQ-framework dat laaggevoeligheid schat op basis van het behoud van taakrelevante bewijsvoering over functionele grenzen en trajecttijdstappen, in plaats van uitsluitend te vertrouwen op de uiteindelijke actieafwijking.
• Grensniveau Taak-bewijs Analyse: Een diagnostische aanpak die meet hoe quantisatie het interne VLA-beslissingspad verstoort, waarbij laag-specifieke gevoeligheidsschattingen worden geleverd die onderscheid maken tussen verlies van bewijs-massa en herverdeling van attributie.
• Tijd-bewuste Gevoeligheidsanalyse: Een mechanisme dat fase-afhankelijke laagimportantie vastlegt, waarbij onderscheid wordt gemaakt tussen lagen die consistent fragiel zijn en lagen die alleen gevoelig zijn tijdens specifieke uitvoeringsfasen.
• Empirische Validatie: Uitgebreide evaluatie op OpenVLA-stijl beleid die een verbeterde gevoeligheidsschatting en een betere nauwkeurigheid–efficiëntie balans laat zien vergeleken met actie-alleen quantisatiecriteria.

Experimentele Resultaten
De auteurs hebben Mix-QVLA geëvalueerd op de LIBERO benchmark met gebruik van OpenVLA en OpenVLA-OFT beleid.

• Prestaties: Op OpenVLA-OFT verminderde Mix-QVLA het geheugengebruik van 15,4 GB (BF16) naar 4,1 GB onder W4A4 quantisatie, terwijl een gemiddeld succespercentage van 96,3% werd behouden (vergeleken met 97,1% voor het full-precision model).
• Vergelijking: Mix-QVLA presteerde consequent beter dan of gelijk aan state-of-the-art methoden (inclusief SmoothQuant, OmniQuant, QVLA en DyQ-VLA) in gemiddeld succespercentage, terwijl het lagere geheugenvoetafdrukken en hogere inferentie-snelheden (tot 1,52×) realiseerde.
• Ablatie: Experimenten bevestigden dat het combineren van taak-bewijsgevoeligheid met temporele gevoeligheid de beste resultaten oplevert (76,3% gemiddeld succes op OpenVLA), terwijl het vertrouwen op slechts één van beide signalen leidt tot lagere prestaties.

Betekenis en Claims
Het artikel claimt dat Mix-QVLA een fundamentele kloof in VLA-quantisatie aanpakt: de disconnect tussen de uiteindelijke actie-nauwkeurigheid en de integriteit van het interne besluitvormingsproces. Door expliciet het "bewijs" te meten en te behouden dat een full-precision beslissing ondersteunt, maakt Mix-QVLA een robuustere low-bit implementatie mogelijk. De auteurs stellen dat hun methode de nauwkeurigheid–efficiëntie balans verbetert voor low-bit VLA-implementatie, wat significante geheugenreductie en versnelling mogelijk maakt zonder de taaksuccesratio's in gevaar te brengen.

Beperkingen
De auteurs merken bescheiden op dat de huidige evaluatie beperkt is tot OpenVLA-stijl beleid en LIBERO simulatie-taken, wat verdere validatie op echte robotimplementaties en andere architecturen vereist. Daarnaast vereist de taak-bewijs score aanvullende offline kalibratie-passes, en de huidige implementatie gebruikt een vaste bit-allocatie in plaats van dynamische tijdstap-gewijze wisseling. Ten slotte dienen de bewijsmappen als diagnostische signalen en niet als causale garanties van taaksucces.