KineVLA: Towards Kinematics-Aware Vision-Language-Action Models with Bi-Level Action Decomposition

Probleemstelling

Huidige Vision-Language-Action (VLA) modellen, zoals OpenVLA en $\pi^0$, presteren sterk in het bereiken van overkoepelende taakdoelen (bijv. "zet de fles op de lade"). Ze gaan echter vaak uit van de aanname dat taakdoelen equivalent zijn onder verschillende instructies, wat betekent dat ze verschillende bewegingstrajecten als uitwisselbaar beschouwen zolang het einddoel wordt bereikt.

In de praktijk van mens-robotinteractie is dit een beperking. Menselijke instructies bevatten vaak fijnmazige kinematische specificaties (richting, traject, oriëntatie, relatieve verplaatsing) die essentieel zijn voor de uitvoering, maar die door bestaande modellen worden genegeerd.

• Voorbeeld: De instructie "zet de wijnfles op de lade" versus "zet de wijnfles op de lade met het etiket naar voren/achteren/links/rechts". Hoewel het taakdoel (fles op lade) identiek is, vereisen deze instructies fundamenteel verschillende en niet-uitwisselbare bewegingstrajecten en eind-effector oriëntaties.
• Huidige tekortkomingen: Bestaande modellen zijn gevoelig voor semantische doelen maar ongevoelig voor deze fijne kinematische nuances. Ze optimaliseren voor wat er moet gebeuren, niet voor hoe het precies moet gebeuren (positie, afstand, oriëntatie).

Methodologie: KineVLA

Om dit probleem aan te pakken, stellen de auteurs KineVLA voor, een framework dat kinematische variabiliteit expliciet ontkoppelt van taakdoel-invariantie. De kerncomponenten zijn:

1. Bi-Level Action Representation (Twee-niveau Actierepresentatie)

In plaats van een enkele laag van actietokens te gebruiken, decomposeert KineVLA robotacties in twee complementaire latente ruimten via een Bi-Level Residual Vector Quantized VAE (RVQ-VAE):

• Goal-Level (Coarse-grained): Een codebook dat de semantische taakdoelen en lage-frequentie structuren vastlegt (bijv. "grijpen", "plaatsen").
• Kinematics-Level (Fine-grained): Een codebook dat precieze bewegingsparameters encodeert, zoals richting, afstand, snelheid en contacttransiënten.
• Training: Het model wordt in twee fasen getraind. Eerst wordt het goal-level op grote, diverse datasets getraind. Vervolgens wordt het kinematics-level (met een nieuwe codebook) getraind op kinematisch-rijke data, waarbij het goal-level bevroren blijft. Dit zorgt ervoor dat het model subtiele variaties in beweging effectief kan modelleren zonder de taakidentiteit te verliezen.

2. Bi-Level Reasoning Tokens (Chain-of-Thought)

Om de taal-instructies correct te koppelen aan de hiërarchische actierepresentatie, introduceert het model bi-level reasoning tokens. Dit werkt als een Chain-of-Thought (CoT) mechanisme:

• Het model genereert eerst tekstuele redeneringen op twee niveaus:
  1. Coarse reasoning: Het algemene taakdoel in natuurlijke taal.
  2. Fine reasoning: Specifieke kinematische parameters en ankerpunten (bijv. "grijp de hals", "draai naar links").
• Deze redeneringen dienen als expliciete, toezicht-gebaseerde tussenvariabelen die de taal en de actie aligneren.

3. Mutual Information Regularization

Om te voorkomen dat de gegenereerde tekstuele redenering en de daadwerkelijke actie-uitvoering semantisch losraken, maximaliseert het model de conditionele wederzijdse informatie $I(\text{Reasoning}; \text{Action} | C)$. Dit wordt bereikt met een InfoNCE-verliesfunctie die ervoor zorgt dat de embeddings van de redenering en de bijbehorende actie dicht bij elkaar liggen in de vectorruimte.

4. Data en Datasets

Om dit nieuwe taaktype te ondersteunen, hebben de auteurs drie nieuwe datasets samengesteld (totaal 378K frames) die kinematische variaties systematisch vastleggen:

• LIBERO-Goal-Relabeled: Bestaande simulatiedata met herschreven, kinematisch-rijke instructies.
• Kine-LIBERO: Een nieuwe simulatiedataset met 266K frames voor tafelmanipulatie.
• Kine-Realman-75: Een dataset verzameld op een echte Realman-75 robotarm met fijne kinematische instructies.
  Alle instructies bevatten annotaties op zowel taakdoel- als kinematisch-niveau.

Belangrijkste Resultaten

Experimenten zijn uitgevoerd op de LIBERO-benchmarks en de Realman-75 robot.

• Prestaties op Kinematische Benchmarks: KineVLA presteert significant beter dan sterke baselines (OpenVLA, $\pi^{0.5}$, VQ-VLA) op kinematische succespercentages. Waar baselines vaak falen bij het volgen van fijne instructies (bijv. specifieke oriëntatie), behaalt KineVLA een hoge nauwkeurigheid.
• Doel-Succes vs. Kinematisch Succes: Alle modellen behalen vergelijkbare scores op het algemene taakdoel (bijv. "fles op lade"), maar KineVLA overtreft de anderen drastisch wanneer de manier van uitvoeren (kinematica) belangrijk is.
• Ablatie Studies:
  • Het toevoegen van de Bi-Level Representatie verbeterde de prestaties aanzienlijk.
  • Het toevoegen van Bi-Level Reasoning (CoT) verhoogde de prestaties verder, wat aantoont dat expliciete redenering cruciaal is voor het vastleggen van kinematische beperkingen.
  • Mutual Information Regularization zorgde voor de beste resultaten, wat bevestigt dat het aligneren van redenering en actie de consistentie verbetert.
• Inferentie Snelheid: KineVLA introduceert geen significante vertraging ten opzichte van bestaande methoden (ongeveer 96ms), wat het geschikt maakt voor real-time toepassingen.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Nieuwe Taakdefinitie: Het introduceren van een "kinematisch-rijke" manipulatietask die semantische doelen koppelt aan diverse uitvoeringstrajecten, wat essentieel is voor gepersonaliseerde robotica.
2. KineVLA Framework: Een nieuw VLA-model met een bi-level vector-gequantiseerde actierepresentatie die taakdoelen ontkoppelt van kinematische variaties, wat leidt tot interpreteerbare en gevoelige controle.
3. Datasets: De creatie van drie uitgebreide datasets (simulatie en realiteit) met gedetailleerde ruimtelijke, object- en bewegingsbeperking annotaties.

Significantie:
Dit werk markeert een verschuiving van modellen die alleen wat een robot moet doen begrijpen, naar modellen die ook begrijpen hoe het precies moet worden gedaan. Door kinematische instructies als een "eerste klas burger" te behandelen, maakt KineVLA robots beter in staat om complexe, menselijke instructies uit te voeren waarbij precisie, oriëntatie en traject cruciaal zijn voor de succesvolle interactie. Dit is een belangrijke stap naar robuustere en meer aanpasbare robots in real-world omgevingen.