TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

Technische Samenvatting: TEMPO

Probleemstelling
Vision-Language-Action (VLA) modellen worden doorgaans aangepast aan downstream robotische manipulatietaken via Supervised Fine-Tuning (SFT) of online Reinforcement Learning (RL). SFT wordt echter beperkt door distributie-mismatch, omdat het optimaliseert voor demonstratiedata in plaats van voor closed-loop succes onder de door het beleid geïnduceerde staat-distributie, wat leidt tot foutenstapeling in langetermijn-taken (long-horizon tasks). Bestaande online RL-benaderingen proberen dit aan te pakken, maar passen over het algemeen een enkele, uniforme update-strategie toe op alle trainbare componenten van het VLA-model. Deze verenigde benadering negeert de verschillende functionele rollen van verschillende modules: de semantische representatielaag (die hoogwaardig begrip codeert) en de actiegeneratiemodule (die mapt naar uitvoerbare controles). Uniforme updates riskeren de vooraf getrainde semantische representaties te destabiliseren, terwijl ze er niet in slagen de actie-policy snel genoeg aan te passen om online controle-feedback te incorporeren.

Methodologie: TEMPO
De auteurs stellen TEMPO voor, een semantisch-actie ontkoppeld, twee-tijdsschaal RL post-training framework dat ontworpen is om deze conflicten op te lossen. De methode is gebouwd op een modulaire VLA-architectuur (geïnstantieerd met FLOWER) bestaande uit een bevroren vooraf getrainde vision-language backbone, een semantische projectielaag en een actie-expert.

Belangrijke technische componenten zijn:

1. Ontkoppelde Optimalisatie-loops: TEMPO vestigt twee afzonderlijke module-niveau TD3 (Twin Delayed DDPG) leer-loops.

   • Semantische Loop: Optimaliseert de semantische projectielaag ($\pi^s_\theta$) met behulp van multimodale semantische representaties ($h_t$) als staten en latente acties ($z_t$) als acties. De vooraf getrainde vision-language backbone blijft bevroren om algemene semantische kennis te behouden.
   • Actie Loop: Optimaliseert de actie-expert ($\pi^a_\phi$) met behulp van latente acties ($z_t$) als staten en uitvoerbare actie-chunks ($a_t$) als acties.
   • Beide loops delen dezelfde ijle (sparse) taakbeloning (1 voor succes, 0 anders), maar onderhouden aparte replay buffers, critics en target netwerken. Cruciaal is dat gradiënten niet tussen de twee update-paden worden gepropageerd.

2. Frequentie-ontkoppelde Strategie: De kerninnovatie is de asynchrone update-frequentie tussen de twee modules.

   • De actie-expert wordt frequent bijgewerkt om snel controle- en uitvoering-feedback te incorporeren vanuit online interacties.
   • De semantische projectielaag wordt minder frequent bijgewerkt om "latente actie-drift" te voorkomen, waardoor de semantische representatie stabiel blijft terwijl de actie-policy zich aanpast.
   • De ratio van de update-frequenties ($\rho = f_a / f_s$) is een instelbare hyperparameter. De auteurs stellen vast dat $\rho > 1$ (het vaker updaten van de actie-expert dan de semantische laag) superieure prestaties oplevert vergeleken met synchrone updates ($\rho = 1$).

Belangrijkste Bijdragen

• Framework Design: Introductie van TEMPO, een framework dat de optimalisatie van semantische en actie-componenten in VLA-modellen ontkoppelt via toegewijde RL-loops, waarbij de bevroren backbone behouden blijft terwijl specifieke downstream lagen worden aangepast.
• Update-frequentie Strategie: Een nieuwe module-specifieke update-frequentie strategie die de balans bewaart tussen semantische stabiliteit en beleidsverbetering. Door de semantische projectielaag minder frequent bij te werken, mitigeert de methode drift in de latente actieruimte, terwijl frequente updates aan de actie-expert efficiënt leren van online feedback.
• Empirische Validatie: Uitgebreide evaluatie die aantoont dat het ontkoppelen van deze componenten en hun update-snelheden leidt tot verbeterde long-horizon prestaties vergeleken met verenigde RL-baselines en state-of-the-art VLA-modellen.

Experimentele Resultaten
De auteurs evalueerden TEMPO op de CALVIN benchmark (simulatie) en twee real-world manipulatietaken.

• CALVIN Benchmark (Simulatie): In de ABC→D setting bereikte TEMPO een succespercentage van 81,7% voor het voltooien van een 5-taak keten (SR5) en een gemiddelde ketenlengte (Avg. Len.) van 4,59. Dit presteerde beter dan de sterkste baseline (DeFI) en de single-loop RL baseline (FLOWER-RL). Opvallend genoeg werd het prestatieverschil tussen TEMPO en de baselines groter naarmate de instructieketen langer werd, wat suggereert dat de methode bijzonder effectief is voor long-horizon taken.
• Ablatie Studies:
  • Noodzakelijkheid van Componenten: Het verwijderen van ofwel de semantische projectie-update of de actie-expert update resulteerde in lagere prestaties dan het volledige TEMPO-model, wat aangeeft dat beide modules complementaire voordelen bieden.
  • Frequentie Ratio: De 5:1 en 10:1 update-frequentie ratio's (actie:semantiek) presteerden significant beter dan de 1:1 ratio. De 1:1 setting presteerde slechter dan de single-loop baseline, wat bevestigt dat de frequentie-ontkoppeling essentieel is voor de winst, en niet alleen de dual-loop structuur.
  • Omvang van de Taakset: Prestaties verbeterden niet monotoon met de grootte van de post-training taakset; een single-task setting presteerde beter dan een 34-task setting, wat suggereert dat de samenstelling van taken belangrijker is dan de loutere hoeveelheid.
• Real-World Experimenten: Bij fysieke taken met betrekking tot het verschuiven van blokken en het ophalen van een auto (vereist het manipuleren van een lade), behaalde TEMPO hogere evaluatie-beloningen en een stabielere prestatie dan FLOWER-RL. Kwalitatieve analyse toonde aan dat TEMPO succesvol impliciete semantische vereisten leerde (bijv. een lade volledig openen voordat een object wordt gemanipuleerd), terwijl de baseline faalde door latente actieruimte-drift.

Betekenis en Claims
Het artikel claimt dat TEMPO een kritieke beperking in huidige VLA post-training aanpakt: het conflict tussen het behouden van stabiele hoogwaardige semantische representaties en het snel aanpassen van laagwaardige controle-policies. Door deze componenten en hun update-frequenties te ontkoppelen, stelt TEMPO VLA-modellen in staat om te leren van online interactie zonder de fundamentele semantische kennis in de backbone te destabiliseren. De auteurs positioneren dit als een stap naar robuustere, long-horizon robotische manipulatie, waarbij zij aantonen dat hoe modules worden bijgewerkt even belangrijk is als wat er wordt bijgewerkt. Het werk suggereert dat toekomstige verbeteringen het leren van dense, taal-geconditioneerde beloningsfuncties kunnen omvatten om de credit assignment in long-horizon taken verder te verbeteren.