Technische Samenvatting: SemiVLA – Semi-Supervised Vision-Language-Action Adaptation

1. Probleemdefinitie

Het artikel behandelt de uitdaging van het aanpassen van Vision-Language-Action (VLA) modellen aan nieuwe robots, omgevingen en taakdistributies wanneer actie-gelabelde demonstraties schaars zijn. Hoewel grootschalige VLA-modellen (bijv. OpenVLA, $\pi_0$, GR00T) over sterke algemene priors beschikken, vereist het finetunen ervan doorgaans dichte, laag-niveau robotactie-labels, die kostbaar zijn om te verzamelen via teleoperatie.

De auteurs definiëren een semi-gesuperviseerde adaptatie-setting waarbij:

• Een kleine set trajecten ($D_l$) volledige supervisie bevat: visuele observaties ($o$), taalinstructies ($q$) en grondwaarheid-acties ($a$).
• Een grote set trajecten ($D_u$) alleen visuele observaties en taalinstructies bevat, zonder actie-labels.

De kernproblematiek ligt in de aard van de ontbrekende supervisie. In tegenstelling tot standaard semi-supervised learning (SSL) in beeldclassificatie waar pseudo-labels discrete klassen zijn, zijn VLA pseudo-labels belichaamde actiesignalen. Deze moeten:

1. Visueel gegrond zijn in de observatie.
2. Semantisch consistent zijn met de taalinstructie.
3. Fysiek haalbaar zijn binnen de actieruimte van de robot.
4. Temporeel stabiel zijn over het traject.

Het direct toepassen van conventionele SSL (bijv. op basis van betrouwbaarheid/confidence-gebaseerde pseudo-labeling) faalt omdat een VLA-model een hoge betrouwbaarheid kan toekennen aan een actie die fysiek onmogelijk of visueel niet gegrond is, wat leidt tot cumulatieve fouten in closed-loop executie.

2. Methodologie: SemiVLA

De auteurs stellen SemiVLA voor, een zelf-gedestilleerd teacher-student framework dat is ontworpen om te leren van betrouwbare pseudo-acties op ongelabelde trajecten. De methode bestaat uit drie primaire componenten:

A. Trainingspipeline

1. Supervised Warm-up: De student policy ($\pi_\theta$) wordt eerst gefinetuned op de beperkte gelabelde set ($D_l$) om een stabiele adaptatierichting voor de doel-actieruimte vast te stellen.
2. Teacher Initialisatie: De teacher policy ($\pi_\xi$) wordt geïnitialiseerd vanuit de gewarmde-op student.
3. Self-Distilled Pseudo-Action Learning:
   • De teacher genereert pseudo-acties ($\hat{a}_t$) voor ongelabelde trajecten ($D_u$) met behulp van een "zwakke" view van de observatie.
   • De student wordt getraind om deze pseudo-acties te matchen op een "sterke" view (met perturbaties zoals crop, jitter, ruis) alleen als de pseudo-actie als betrouwbaar wordt beschouwd.
   • De student leert via een combinatie van supervised loss (op $D_l$), self-distillation loss (op betrouwbare $D_u$), en alignment/consistentie-objectieven.

B. VLA-Specifieke Reliability Controller

Om onbetrouwbare pseudo-acties te filteren, introduceert SemiVLA een reliability controller die een score $r_t$ berekent als het product van drie complementaire signalen:

1. Vision-Language Alignment ($r^{vl}_t$): Meet de cosine similarity tussen de taalinstructie-embedding en de relevante visuele tokens in de observatie. Dit zorgt ervoor dat de actie gegrond is in de juiste objecten/regio's.
2. Action Feasibility ($r^{act}_t$): Evalueert de fysieke plausibiliteit. Voor continue acties worden grote magnitudes en plotselinge sprongen (temporele variatie) bestraft. Voor actie-tokens wordt gecontroleerd op distributie-entropie en consistentie.
3. Temporal Transition Consistency ($r^{temp}_t$): Gebruikt een lichtgewicht transitie-voorspeller om te verifiëren of de pseudo-actie de visuele transitie van $o_t$ naar $o_{t+1}$ kan verklaren. Een hoge score geeft aan dat de actie dynamisch consistent is met het geobserveerde traject.

Alleen pseudo-acties met een betrouwbaarheidsscore boven een drempelwaarde worden gebruikt voor training.

C. Bottleneck-Projected Alignment Update

In plaats van de teacher te updaten via een standaard Exponential Moving Average (EMA), wat ruisgevoelige student-updates kan voortplanten, gebruikt SemiVLA een Bottleneck-Projected Alignment Update.

• Decompositie: De trainbare parameters worden gesplitst in een Semantic Alignment Group (visuele projectors, vision-language PEFT) en een Action Precision Group (action head, late policy PEFT).
• Filtering:
  • De semantische groep wordt alleen bijgewerkt als de visuele-taal subspace stabiel is (lage sensitiviteit voor perturbaties).
  • De actie-groep wordt alleen bijgewerkt als de pseudo-acties haalbaar en temporeel consistent zijn.
• Projectie: De parameter-verplaatsing van de student ($\Delta$) wordt geprojecteerd door een bottleneck gate voordat de teacher wordt bijgewerkt. Dit voorkomt dat "nuisance-sensitive" visuele updates of instabiele actie-correcties de teacher besmetten, waardoor de teacher een betrouwbare generator van pseudo-acties blijft.

D. Inferentie

Tijdens de inferentie wordt alleen de student policy gebruikt. De teacher, reliability controller en update-mechanismen worden weggegooid, wat betekent dat SemiVLA geen extra inferentiekosten toevoegt.

3. Belangrijkste Bijdragen

1. Probleemformulering: Het artikel formuleert expliciet semi-supervised VLA adaptatie onder beperkte supervisiesignalen, waarbij het onderscheid maakt met standaard supervised fine-tuning en conventionele SSL door de unieke beperkingen van belichaamde actiesignalen te benadrukken.
2. SemiVLA Framework: Een zelf-gedestilleerd teacher-student architectuur die ongelabelde visuele-taal trajecten benut om adaptatie te verbeteren zonder dat er dichte actie-labels nodig zijn.
3. Reliability Controller: Een nieuw mechanisme dat pseudo-acties evalueert op basis van vision-language alignment, actie-haalbaarheid en temporele consistentie, waarmee verder wordt gegaan dan eenvoudige confidence-drempels.
4. Bottleneck-Projected Update: Een strategie voor het updaten van de teacher die student-feedback filtert door stabiele subspaces, waardoor ruiscontaminatie wordt voorkomen en de kwaliteit van de self-distillatie loop wordt verbeterd.
5. Empirische Validatie: Uitgebreide experimenten die aantonen dat SemiVLA superieur is aan supervised fine-tuning en bestaande SSL-baselines over meerdere benchmarks.

4. Experimentele Resultaten

De auteurs evalueerden SemiVLA met OpenVLA als backbone op de LIBERO en CALVIN benchmarks, waarbij slechts 10% van de trajecten actie-labels bevat.

• Prestaties op LIBERO:

  • SemiVLA + Selective LoRA bereikte een gemiddeld succespercentage van 89,0%.
  • Dit presteerde beter dan de beste supervised baseline (OpenVLA + LoRA, 81,0%) met 8,0 procentpunt.
  • Het presteerde ook significant beter dan zero-shot OpenVLA (69,8%) met 19,2 punten.
  • De winst was bijzonder uitgesproken op LIBERO-Long (long-horizon taken), waar SemiVLA + Selective LoRA 82,3% bereikte versus 70,3% voor supervised LoRA.

• Cross-Benchmark Generalisatie (CALVIN):

  • SemiVLA + Selective LoRA behaalde gemiddeld 2,58 voltooide taken, vergeleken met 1,86 voor supervised Selective LoRA en 1,32 voor zero-shot.
  • Dit geeft aan dat de methode de transfer naar verschillende long-horizon manipulatie-benchmarks verbetert, niet alleen de trainingsdistributie.

• Few-Shot Adaptatie:

  • In 1-shot en 5-shot settings presteerde SemiVLA consequent beter dan zijn supervised tegenhangers, wat zijn vermogen aantoont om het extreme tekort aan actie-labels te compenseren met behulp van ongelabelde data.

• Efficiëntie:

  • SemiVLA behaalt deze winsten met parameter-efficiënte methoden (bijv. Selective LoRA met slechts 31,6M trainbare parameters).
    • Het vereist geen full-parameter tuning (7,0B parameters) om state-of-the-art resultaten te behalen in het regime met beperkte labels.

• Ablatie Studies:

  • Het verwijderen van de reliability controller of de bottleneck update verminderde de prestaties aanzienlijk, wat bevestigt dat zowel de kwaliteit van de pseudo-acties als de methode van de teacher-evolutie cruciaal zijn.
  • De volledige reliability controller (VL + Actie + Temporeel) was strenger (accepteerde ~36,8% van de pseudo-acties) maar leverde hogere succespercentages op dan confidence-only methoden, wat bewijst dat kwaliteit boven kwantiteit essentieel is voor VLA.

5. Betekenis en Claims

Het artikel claimt dat SemiVLA een algemeen semi-supervised adaptatiemechanisme biedt dat effectief actie-ongelabelde visuele-taal trajecten omzet in betrouwbare supervisie.

• Data-efficiëntie: Het demonstreert dat hoogwaardige robotpolicies kunnen worden aangepast met aanzienlijk minder actie-gelabelde demonstraties door gebruik te maken van de overvloed aan ongelabelde visuele-taal data.
• Voorbij Confidence: Het werk betoogt dat standaard SSL confidence-metrieken onvoldoende zijn voor belichaamde controle; in plaats daarvan moet betrouwbaarheid worden beoordeeld via fysieke haalbaarheid, visuele gronding en temporele dynamiek.
• Robuustheid: De methode verbetert de generalisatie naar onbekende taken en omgevingsperturbaties (verlichting, distractoren), wat suggereert dat de reliability controller het model helpt stabiele visuele-taal-actie correspondenties te leren in plaats van specifieke demonstraties te memoriseren.
• Praktische Bruikbaarheid: Door geen extra inferentiekosten toe te voegen en te werken met parameter-efficiënte fine-tuning, wordt de aanpak gepresenteerd als een praktische oplossing voor het implementeren van VLA-modellen in real-world settings waar het verzamelen van actie-labels een bottleneck is.