ActDistill: General Action-Guided Self-Derived Distillation for Efficient Vision-Language-Action Models

Probleemstelling

Recente Vision-Language-Action (VLA) modellen tonen indrukwekkende flexibiliteit en generalisatievermogen voor robotica, maar hun praktische toepassing wordt beperkt door aanzienlijke rekenkundige overhead en inferentielatentie. Bestaande efficiëntiestrategieën (zoals token-pruning, vroege exit en lichtgewicht architecturen) richten zich voornamelijk op correlaties tussen visie en taal. Ze negeren echter een fundamenteel kenmerk van VLA-systemen: de progressieve transformatie van rijke visueel-taalrepresentaties naar compacte, uitvoerbare actiesignalen.

De huidige methoden behouden vaak niet de lagen die cruciaal zijn voor deze "Visie-Taal-naar-Actie" (VL-to-Action) transformatie. Dit leidt tot twee kritieke problemen:

1. Verlies van kritieke informatie: Essentiële perceptuele en semantische aanwijzingen voor het grondvesten van acties worden per ongeluk verwijderd.
2. Discontinuïteit tussen actie en semantiek: Het verstoren van de tussenliggende transformaties verzwakt de consistentie tussen waarneming en controle, wat de stabiliteit van het beleid (policy) ondermijnt.

Methodologie: ActDistill

ActDistill is een algemeen raamwerk voor actie-gestuurde zelf-afgeleide distillatie. Het doel is om de actievoorspellingscapaciteit van een groot VLA-model (de leraar) over te dragen naar een lichtgewicht student, waarbij de compressie expliciet wordt afgestemd op het transformatieproces naar acties.

De kerncomponenten zijn:

1. Gestructureerde Kapsulering (Graph-Structured Encapsulation):

   • De leraar gebruikt een grafiek-gebaseerde structuur om de hiërarchische afhankelijkheden in actievoorspelling te modelleren.
   • In plaats van dichte globale correlaties (zoals in standaard Transformers), worden de tussenliggende representaties omgezet in relationele grafieken. Knopen vertegenwoordigen token-kenmerken en randen coderen contextuele afhankelijkheden.
   • Een k-nearest neighbor grafiek wordt gebruikt om alleen de meest relevante interacties te behouden, waardoor redundante achtergrondinformatie wordt verwijderd.
   • De leraar genereert hierdoor gestructureerde "semantische capsules" die de bijdrage van elke laag aan de uiteindelijke actie kwantificeren.

2. Actie-Gestuurde Zelf-Afgeleide Distillatie (Action-Guided Self-Derived Distillation):

   • De student reconstructeert het besluitvormingsproces van de leraar onder leiding van deze actie-prioriteiten.
   • In plaats van de leraar direct te comprimeren, leert de student een compacte berekeningstabel die de essentiële controle-cues overneemt.

3. Dynamische Routering (Dynamic Routing):

   • De student is uitgerust met een dynamische router die adaptief berekeningspaden selecteert op basis van de actieve eisen van de taak.
   • De router voorspelt per laag een "gating score" (activeringswaarde) gebaseerd op visuele en taalembeddings.
   • Tijdens inferentie worden lagen met een lage score (onder een drempelwaarde $\tau$) overgeslagen, terwijl kritieke lagen voor actievoorspelling worden uitgevoerd.
   • Dit zorgt voor een evenwicht tussen nauwkeurigheid en efficiëntie zonder dat de volledige doorvoer nodig is.

4. Trainingsdoelstellingen:

   • Semantische verliesfunctie: Zorgt voor uitlijning tussen de representaties van de student en de leraar (zowel op instance-niveau als relationeel niveau).
   • Actie-verliesfunctie: Een triple-MSE loss die de student dwingt om nauwkeurige acties te voorspellen die overeenkomen met de grondwaarheid én de voorspellingen van de leraar.
   • Load-balancing: Een regularisatieterm om te voorkomen dat de router te veel of te weinig lagen activeert.

Belangrijkste Bijdragen

• Nieuw Paradigma: ActDistill is het eerste framework dat modelcompressie expliciet uitlijnt met het VL-to-Action transformatieproces, in plaats van te vertrouwen op algemene visie-taal redundantie.
• Technische Innovatie: Introductie van een grafiek-gestructureerde kapsulering om hiërarchische transformaties te behouden, gecombineerd met een actie-gestuurde dynamische routering.
• Generaliteit: Het raamwerk werkt zowel voor autoregressieve modellen (zoals OpenVLA) als voor diffusion-based modellen (zoals CogACT).

Resultaten

Experimenten zijn uitgevoerd op twee belangrijke benchmarks: LIBERO (met OpenVLA als backbone) en SIMPLER (met CogACT als backbone).

• Prestatie vs. Efficiëntie:
  • ActDistill bereikt een vergelijkbare of superieure taaksuccesrate ten opzichte van de volledige VLA-modellen. Op de LIBERO-benchmark is de gemiddelde succesrate 73,95% (slechts 1% lager dan de originele OpenVLA), maar met een 1,59x snelheidswinst.
  • Op de SIMPLER-benchmark wordt een gemiddelde succesrate van 74,08% behaald (nagenoeg gelijk aan de baseline) met een 1,67x snelheidswinst.
• Rekenkundige Besparing:
  • De methode reduceert de FLOPs (Floating Point Operations) met meer dan 50% (tot ongeveer 42-49% van de originele kosten).
  • De inferentielatentie daalt aanzienlijk (bijvoorbeeld van ~48ms naar ~30ms op LIBERO).
• Real-World Validatie:
  • Experimenten op een fysieke ARX5-robotarm tonen aan dat ActDistill een succesrate van 62,5% behaalt (gelijk aan de grote baseline) maar de uitvoeringstijd van 10,2s reduceert naar 6,3s.
• Ablatie Studies:
  • Het vervangen van de grafiekmodule door een MLP leidt tot een drastische prestatiedaling, wat aantoont dat expliciete relationele modellering cruciaal is voor manipulatie.
  • Zowel semantische als actie-verliesfuncties zijn noodzakelijk; het verwijderen van een van beide vermindert de prestaties aanzienlijk.

Betekenis en Conclusie

ActDistill biedt een oplossing voor het fundamentele probleem van de hoge rekenkosten van VLA-modellen in de robotica. Door te focussen op de specifieke transformatie van waarneming naar actie, en door dynamische routering te gebruiken die wordt geleid door actie-prioriteiten, slaagt het erin om de prestaties te behouden terwijl de rekenlast wordt gehalveerd.

Dit werk stelt een nieuw standaardparadigma voor voor efficiënte ingebouwde intelligentie (embodied intelligence), waarbij modellen niet alleen sneller worden gemaakt door tokens te verwijderen, maar door de berekening slim te sturen op basis van wat er daadwerkelijk nodig is voor fysieke controle. Dit maakt de inzet van geavanceerde VLA-modellen op resource-beperkte hardware en in real-time scenario's veel haalbaarder.