Information-Theoretic Constraints for Continual Vision-Language-Action Alignment

Probleemstelling: Catastrophic Forgetting in VLA-modellen

Vision-Language-Action (VLA) modellen hebben zich bewezen als krachtige systemen voor robotica, omdat ze visuele waarneming, taalopdrachten en acties in één neurale architectuur kunnen integreren. Echter, wanneer deze modellen worden ingezet in open-ended omgevingen waar ze continu nieuwe vaardigheden moeten leren, lijden ze onder catastrophisch vergeten (catastrophic forgetting).

De auteurs identificeren dat dit probleem niet alleen het verlies van kennis betreft, maar specifiek de degradatie van de cross-modale informatiestructuur. Tijdens het sequentiële aanpassen aan nieuwe taken, diffunderen de afhankelijkheden tussen visuele observaties, taalinstrukties en acties.

• Observatie: Na het leren van een nieuwe taak verspreiden de aandachtspatronen (attention maps) zich van de relevante objecten naar irrelevante achtergronden. De conditionele afhankelijkheden tussen visie en taal worden vervormd, waardoor het model zijn vermogen verliest om instructie-gerelateerde informatie correct te lokaliseren.
• Beperking van bestaande methoden: Bestaande aanpakpen zoals Experience Replay (ER), parameterregularisatie (bijv. EWC) en architecturale expansie behandelen VLA-leren vaak als losse taakfitting. Ze slagen er niet in om de fijne, historische structuur van de multimodale relaties te behouden.

Methodologie: Info-VLA

Om dit op te lossen, stellen de auteurs Info-VLA voor, een informatiebehoudend raamwerk voor continu leren. Het doel is om de stabiliteit van de cross-modale structuur te behouden terwijl plasticiteit voor nieuwe taken wordt toegestaan. Dit wordt bereikt via twee complementaire beperkingen:

1. Replay Anchor Contrastive Learning (RAC)

Dit component richt zich op het behouden van stabiele representatie-ankers om representatieve interferentie tussen oude en nieuwe taken te onderdrukken.

• Mechanisme: Een "frozen" teacher-model (het model na training op de vorige taak) wordt gebruikt om stabiele ankers te genereren voor historische data.
• Contrastief Leren: Het huidige "student"-model wordt getraind om de visuele representaties van replay-samples (oude data) te aligneren met de ankers van de teacher. Tegelijkertijd worden deze positieve paren gescheiden van negatieve samples (nieuwe taken of andere batches).
• Doel: Dit voorkomt dat nieuwe vaardigheden de structurele organisatie van historische representaties overschrijven en creëert een stabiel latent ruimte voor verdere optimalisatie.

2. Cross-Modal Mutual Information Maximization (CMI)

Dit component richt zich op het expliciet behouden van de statistische afhankelijkheidsstructuur tussen visuele en taalrepresentaties.

• Mechanisme: In plaats van punt-voor-punt imitatie van activaties, maximaliseert CMI de wederzijdse informatie (Mutual Information) tussen de latent representaties van de teacher ($Z_{old}$) en de student ($Z_{new}$).
• Implementatie: De gezamenlijke verdeling wordt geschat via een MLP, terwijl de marginale verdelingen onafhankelijk worden geschat. Een extra regularisatieterm ($\mathcal{L}_{MC}$) zorgt voor consistentie in de globale verdelingen om degeneratie te voorkomen.
• Doel: Dit zorgt ervoor dat de statistische afhankelijkheden (bijv. welke visuele patronen bij welke taalconcepten horen) consistent blijven over taaktransities heen, zelfs zonder directe toegang tot de oorspronkelijke data.

Totale Doelfunctie:
De totale trainingsdoelstelling combineert de standaard Flow-Matching loss ($\mathcal{L}_{CL}$) met de twee nieuwe termen:
$$\mathcal{L} = \mathcal{L}_{CL} + \lambda_1 \mathcal{L}_{RAC} + \lambda_2 \mathcal{L}_{CMI}$$
Tijdens het trainen worden alleen de parameters van de actiekop (action head) bijgewerkt, terwijl de visueel-taal encoder gefixeerd blijft om de backbone-stabiliteit te waarborgen.

Belangrijkste Bijdragen

1. Identificatie van de oorzaak: De auteurs identificeren de structurele vervorming van multimodale afhankelijkheden als een fundamentele oorzaak van catastrophisch vergeten in VLA-modellen, in plaats van alleen het verlies van parameters.
2. Info-VLA Raamwerk: Een unificerend framework dat cross-modale structurele stabiliteit behoudt via replay-geankerd contrastief leren en mutual information-gebaseerde distillatie.
3. State-of-the-Art Prestaties: Uitgebreide evaluaties tonen aan dat Info-VLA een nieuw state-of-the-art bereikt in zowel taakbehoud als aanpassingsefficiëntie.

Resultaten

De methode is geëvalueerd op de LIBERO-benchmarks (LIBERO-Long en LIBERO-Goal), die specifiek zijn ontworpen voor continu leren in robotica.

• Prestatieverbetering: Info-VLA overtreft bestaande baselines (zoals Sequential, EWC, en Experience Replay) significant.
  • Op de LIBERO-Long benchmark verbeterde Info-VLA de prestaties op oude taken met ongeveer 6-9% ten opzichte van de beste ER-baseline.
  • Op de LIBERO-Goal benchmark was de verbetering 5-10%.
• Stabiliteit vs. Plasticiteit: De methode toont een superieur compromis: het behoudt hoge successraten op oude taken (stabiliteit) terwijl het effectief nieuwe taken leert (plasticiteit).
• Visuele Validatie: Visualisaties van de cross-attention patronen tonen aan dat Info-VLA de originele, scherp gefocuste aandachtspatronen veel beter behoudt dan ER, waarbij ER vaak leidt tot verspreide en verwaterde patronen.
• Ablatie-studies: Zowel het RAC-component als het CMI-component dragen bij aan de prestaties, maar hun combinatie levert de beste resultaten op, wat de complementariteit van de twee methoden bevestigt.

Betekenis en Impact

Deze paper is van groot belang voor de ontwikkeling van robuuste robotica-systemen die in dynamische, onvoorspelbare omgevingen kunnen opereren.

• Theoretische Inzicht: Het verschuift de focus van puur parameter-beheer naar het behoud van de informatiestructuur tussen modaliteiten.
• Praktische Toepassing: Door het probleem van catastrophisch vergeten aan te pakken, maakt Info-VLA het mogelijk dat robots levenslang leren zonder dat ze hun eerdere vaardigheden verliezen of hun vermogen om complexe taal- en visuele instructies te koppelen.
• Toekomst: De auteurs werken aan het testen van deze methoden op echte robotplatforms, wat een belangrijke stap is naar de implementatie van echt autonoom lerend robots in de echte wereld.