TeNet: Text-to-Network for Compact Policy Synthesis

Technische Samenvatting: TeNet (Text-to-Network)

Probleemstelling
Huidige benaderingen voor taal-geconditioneerde robotbesturing staan voor een dichotomie. Aan de ene kant zijn er grootschalige end-to-end Vision-Language-Action (VLA) systemen (bijv. RT-2, OpenVLA, OCTO) die gebruikmaken van de expressiviteit van Large Language Models (LLM's), maar deze zijn computationeel duur, wat ze moeilijk inzetbaar maakt in hoogfrequente regel-loops of op middelen-beperkte robots. Aan de andere kant zijn compacte sequentiemodellen zoals Decision Transformers (DT) efficiënt en geschikt voor real-time besturing, maar ze missen natuurlijke taal-conditionering; ze vertrouwen doorgaans op traject-prompts of taakspecifieke demonstraties om taken te onderscheiden, waarbij vaak zelfs tijdens inferentie demonstraties nodig zijn. Dit creëert een kloof tussen expressieve, taal-gestuurde systemen en efficiënte, lichtgewicht controllers. Het artikel vraagt zich af of natuurlijke taal kan dienen als een direct conditioneringssignaal voor de instantiatie van een policy zonder dat de LLM binnen de controle-loop moet draaien.

Methodologie: TeNet Framework
De auteurs stellen TeNet (Text-to-Network) voor, een framework dat compacte, taakspecifieke robot-policies direct synthetiseert uit natuurlijke taalbeschrijvingen met behulp van een hypernetwork.

1. Architectuur:

   • Text Encoder: Een vooraf getrainde LLM (bijv. Llama-3 8B) codeert natuurlijke taal-taakbeschrijvingen naar tekst-embeddings.
   • Hypernetwork: Een lichtgewicht neuraal netwerk neemt de tekst-embeddings (geprojecteerd in een conditioneringsruimte) als input en genereert de parameters ($\theta_\pi$) voor een taakspecifieke policy network.
   • Policy Executie: De resulterende policy opereert uitsluitend op laag-dimensionale state-inputs op hoge controlefrequenties. Cruciaal is dat de LLM alleen wordt gebruikt tijdens de instantiatie; de executie-loop vertrouwt volledig op de gegenereerde compacte policy.

2. Trainingsvarianten:

   • Direct TeNet: Het hypernetwork is uitsluitend geconditioneerd op tekst-embeddings. De policy wordt getraind via behavior cloning (imitation learning) op expert-trajecten.
   • Grounded TeNet: Om de generalisatie te verbeteren, introduceert deze variant een taal-grounding mechanisme tijdens de training. Een traject-encoder verwerkt expert-trajecten, en de resulterende embeddings worden uitgelijnd met de tekst-embeddings. De auteurs verkennen twee uitlijningstrategieën:
     • Directe Uitlijning (MSE): Het minimaliseren van de kwadratische afstand tussen gekoppelde tekst- en traject-embeddings.
     • Contrastieve Uitlijning: Het gebruik van een InfoNCE-loss om overeenkomende tekst-traject-paren naar elkaar toe te trekken en niet-overeenkomende paren van elkaar weg te duwen. Dit omvat zowel tekst-traject als tekst-tekst contrastieve termen om embedding-collapse te voorkomen bij structureel gelijkaardige beschrijvingen.
   • Inference: Tijdens de testfase zijn er geen demonstraties of traject-prompts vereist. Een nieuwe taakbeschrijving wordt gecodeerd en gevoed aan het hypernetwork om de policy te instantiëren.

Belangrijkste Bijdragen

1. Text-to-Network Policy Generatie: De introductie van een framework dat een hypernetwork conditioneert op door LLM's afgeleide tekst-embeddings om uitvoerbare, compacte robot-policies te synthetiseren die geschikt zijn voor real-time implementatie.
2. Grounding van Taal in Gedrag: Het aantonen dat het uitlijnen van taalrepresentaties met expert-trajecten tijdens de training de linguïstische representaties verrijkt met gedragssemantiek, wat leidt tot sterkere generalisatie in multi-task en meta-learning settings.
3. Empirische Inzichten: Het bieden van een uitgebreide studie op MuJoCo en Meta-World benchmarks die de trade-offs tussen taal-geactiveerde hypernetworks en bestaande baselines belicht, waarbij de rol van taal in policy-instantiatie wordt geïsoleerd zonder perceptie te adresseren.

Experimentele Resultaten
De auteurs evalueerden TeNet op MuJoCo locomotie-taken (HalfCheetah-Dir, HalfCheetah-Vel, Ant-Dir) en Meta-World manipulatie-taken (ML1 Pick-Place, MT10, MT50).

• Prestaties vs. Baselines:
  • Multi-Task Settings: TeNet (specifiek de contrastieve grounded variant) presteert significant beter dan Prompt-DT op complexe multi-task benchmarks (MT10, MT50), met succespercentages nabij 0.99 vergeleken met de 0.61–0.73 van Prompt-DT.
  • Meta-Learning Settings: Grounded TeNet varianten presteren consistent beter dan Direct TeNet en Prompt-DT op meta-learning taken (HalfCheetah-Vel, Ant-Dir), wat aangeeft dat grounding essentieel is voor extrapolatie naar ongeziene taken.
  • Direct vs. Grounded: Hoewel Direct TeNet standaard Decision Transformers overtreft, blijft het achter bij Prompt-DT in sommige meta-learning scenario's, wat suggereert dat traject-prompts beter generaliseren naar ongeziene taken zonder grounding. Echter, Grounded TeNet overbrugt deze kloof.
• Efficiëntie en Schaalbaarheid:
  • Modelgrootte: TeNet policies zijn orde van grootte kleiner (~40K parameters) vergeleken met Prompt-DT varianten (1M–39M parameters).
  • Controlefrequentie: TeNet handhaaft controlefrequenties boven de 9 kHz, terwijl Prompt-DT baselines beperkt zijn tot het sub-kHz regime (190–600 Hz).
  • Robuustheid: TeNet vertoont robuustheid tegen geparafraseerde taakbeschrijvingen, waarbij grotere LLM's (LLaMA) een grotere stabiliteit vertonen onder linguïstische variatie dan kleinere encoders (BERT).
• Schaalbaarheid: Prestaties verbeteren aanzienlijk naarmate het aantal trainings-taken toeneemt (van 50 naar 1600 taken), wat suggereert dat TeNet profiteert van dataschaal vergelijkbaar met foundation models.

Betekenis en Claims
Het artikel claimt dat TeNet een praktische route biedt om compacte, taal-gestuurde controllers te bouwen voor robots met beperkte middelen en real-time vereisten. Door taal alleen te gebruiken tijdens de instantiatiefase via een hypernetwork, erft TeNet de algemene kennis en de robuustheid tegen parafrasering van vooraf getrainde LLM's, terwijl de efficiëntie van lichtgewicht architecturen behouden blijft.

De auteurs positioneren dit werk als een "eerste benadering" om grote robotische foundation models te gebruiken voor beperkte robots. Ze erkennen beperkingen en merken op dat het huidige werk de rol van taal isoleert in laag-dimensionale, state-gebaseerde domeinen (MuJoCo/Meta-World) en nog geen perceptie of ruisende real-world demonstraties adresseert. Toekomstig werk is noodzakelijk om dit paradigma uit te breiden naar visie-gegronde settings en reinforcement fine-tuning. De resultaten suggereren dat taal-geactiveerde hypernetworks effectief de kloof kunnen dichten tussen lichtgewicht sequentiemodellen en grootschalige taal-geconditioneerde systemen in offline, state-based imitation settings.