Technische Samenvatting: DIRECT – Wanneer en waar moet je test-time compute toewijzen in embodied planners?

Probleemstelling

Vision-Language Models (VLM's) worden steeds vaker ingezet als hoog-niveau planners voor embodied agents, waarbij ze abstracte instructies deconstrueren naar uitvoerbare sub-skills. Een gangbare strategie om de capaciteit te vergroten is het schalen van test-time compute—het besteden van meer middelen tijdens de inferentie via technieken zoals Chain-of-Thought (CoT) redeneren, grotere modelgroottes of uitgebreide geheugenhistorieën. De auteurs observeren echter dat het naïef schalen van compute over alle taken heen zorgt voor aanzienlijke frictie met real-world deployment. De latentie van frontier VLM's kan oplopen tot tientallen seconden, en uniforme schaling levert vaak afnemende of ongelijkmatige rendementen op; een "Thinking" model is bijvoorbeeld 3,8× trager dan een niet-denkend tegenhanger terwijl het identieke succespercentages behaalt op triviale taken.

Het kernprobleem is dat test-time compute geen uniforme hendel is. Verschillende assen van schaling (redeneerdiepte, modelgrootte, geheugen) bieden kwalitatief verschillende capaciteiten die alleen nuttig zijn voor specifieke taaleisen. Het uniform toewijzen van dure compute is verspillend, terwijl onderallocatie leidt tot falen bij complexe taken. Het artikel stelt dat het bepalen van wanneer en waar men test-time compute moet uitgeven, centraal staat bij het brengen van frontier-prestaties naar real-world robotische systemen.

Methodologie: Het DIRECT-framework

De auteurs stellen DIRECT voor (Dynamic Inference Router for Embodied Compute Tradeoffs), een routing-framework ontworig om test-time compute per taak dynamisch toe te wijzen op basis van multimodale scènecontext.

Kernarchitectuur

DIRECT werkt als een lichtgewicht router die een taakinput $x = (I, \ell)$—bestaande uit een initiële scène-observatie $I$ (RGB-afbeelding of multi-view stack) en een natuurlijke taalinstructie $\ell$—mapt naar een specifieke planner $m_k$ uit een vaste pool van kandidaten $\mathcal{M} = \{m_1, \dots, m_K\}$.

• Input Encoding: De router codeert de instructie met een bevroren BGE-M3 tekstencoder en de scène met een bevroren SigLIP-familie visuele encoder. Deze embeddings worden geconcateneerd om een taak-feature vector $\phi(x)$ te vormen.
• Router Modellen: Het framework evalueert diverse efficiënte architecturen, waaronder lineaire modellen, Multi-Layer Perceptrons (MLP's), k-Nearest Neighbors (KNN) en One-vs-Rest (OVR) classificators.
• Beslissingsdoelstelling: De router selecteert de planner die een nutfunctie $U(q, c)$ maximaliseert, waarbij een balans wordt gezocht tussen kwaliteit ($q$, taaksucces) en kosten ($c$, latentie of FLOPs). Het framework ondersteunt diverse utility-instantiaties, waaronder regressie-gebaseerde koppen die kwaliteitsscores en kosten scores voorspellen om de optimale tradeoff te bepalen.

Dataverzameling en Training

• Simulatie: Voor benchmarks zoals VLABench en RoboMME meten de auteurs kwaliteit (succespercentage) en kosten (latentie of FLOPs) voor elk planner-taak paar om kwaliteit ($Q$) en kosten ($C$) matrices te construeren.
• Hardware (Fysieke Robots): Omdat uitputtende fysieke rollouts onpraktisch zijn, gebruiken de auteurs een synthetische datapipeline. Ze samplen scènes, genereren kandidaat-instructies en gebruiken een grote VLM om skill-decompositie voor te stellen. Een LLM-judge scoort vervolgens de "stuurbaarheid" van deze plannen tegenover referentie-skills. Hierdoor kan de router getraind worden op fysieke-stijl taken zonder dat er voor elke trainingsstap robot-hardware nodig is. De getrainde router wordt vervolgens zero-shot ingezet op fysieke hardware (Franka arm in een DROID setup).

Onderzochte Schalingsassen

Het framework wordt geëvalueerd over drie dominante schalingsassen:

1. Chain-of-Thought (CoT) Diepte: Routeren tussen "Thinking" (doordachte redenering) en "Instruct" (niet-denkende) modellen.
2. Modelgrootte: Routeren tussen VLM-varianten met verschillende parameteraantallen (bijv. 2B tot 235B).
3. Geheugenhistorie: Routeren tussen planners met verschillende geheugenarchitecturen (bijv. lichtgewicht frame sampling versus retrieval-gebaseerd geheugen zoals MemER).

Belangrijkste Resultaten

Experimenten werden uitgevoerd op VLABench, RoboMME en fysieke Franka DROID hardware, waarbij meer dan 270.000 gesimuleerde routing-beslissingen en 245 hardware-trajecten betrokken waren.

1. Chain-of-Thought Routing

• Bevinding: CoT-redenering verbetert de gemiddelde prestaties, maar is onnodig voor 44% van de taken, waarbij niet-denkende modellen de prestaties evenaren of overtreffen met orders van grootte lagere latentie.
• Resultaat: DIRECT bereikt de hoogste routing-efficiëntie ($\eta$) over homogene en heterogene modelparen. Op VLABench herstelt het bijna de kwaliteit van de duurdere modellen terwijl de latentie met ~30% wordt verminderd (bijv. $\eta \approx 75\%$). Op fysieke hardware evenaart DIRECT het succespercentage van een "Thinking" planner met aanzienlijk lagere latentie (bijv. 6,85s vs. 19,58s voor een multi-step boodschappen taak).

2. Modelgrootte Routing

• Bevinding: Het schalen van modelgrootte levert geen monotone verbeteringscurve op; grotere modellen vergroten primair de breedte van de skills die een planner kan aansturen, in plaats van uniform alle taken te verbeteren. Kleinere modellen volstaan vaak voor basis-skills.
• Resultaat: DIRECT zet erratische schalingscurves om in monotone verbeteringen. Door te routeren naar het kleinste geschikte model voor een gegeven skill-set, herstelt het de prestaties van het grootste model (bijv. 235B) terwijl de gemiddelde latentie aanzienlijk wordt verminderd. Op fysieke hardware evenaart het de successen van een 27B planner met een bijna goedkope latentie (0,21s vs. 0,36s) door selectief op te schalen naar het grotere model voor complexe taken zoals vouwen of sluiten.

3. Geheugen Routing

• Bevinding: Geheugen-georiënteerde compute is alleen voordelig voor taken die een verre historie vereisen (bijv. onwaarneembare doelen). Voor gemakkelijke taken die korte recall vereisen, presteren lichtgewicht geheugen-schema's beter dan zware retrieval-gebaseerde modellen tegen een fractie van de kosten.
• Resultaat: DIRECT identificeert taken die lange-horizon geheugen vereisen en routeert deze naar geheugen-geaugmenteerde planners, terwijl het geheugen-vrije planners gebruikt voor observeerbare taken. Op RoboMME en fysieke hardware bereikt DIRECT succespercentages die dicht bij de oracle (beste mogelijke planner) liggen, terwijl het aanzienlijk minder frames verwerkt dan een statische geheugen-geaugmenteerde planner.

Betekenis en Claims

Het artikel claimt dat naïef schalen van test-time compute verspillend is en dat de voordelen van schaling taak-contingent zijn in plaats van uniform. De primaire betekenis van DIRECT ligt in het vermogen om:

1. Frontier-prestaties te herstellen tegen lagere kosten: Door de taakeisen dynamisch te matchen met de juiste planner, bereikt DIRECT succespercentages die vergelijkbaar zijn met de sterkste, duurste modellen in de pool, maar tegen een fractie van de kosten (tot 65% lagere gemiddelde latentie in fysieke experimenten).
2. De niet-uniformiteit van compute aan te tonen: Het werk levert empirisch bewijs dat verschillende schalingsassen (redenering, grootte, geheugen) kwalitatief verschillende capaciteitswinsten opleveren, wat per-taak allocatie noodzakelijk maakt in plaats van statische modelselectie.
3. Real-world viability mogelijk te maken: Door de latentie en token-gebruik te verminderen zonder de succespercentages op te offeren, adresseert DIRECT de groeiende frictie tussen de frontier VLM-capaciteiten en de real-time beperkingen van embodied agents.

De auteurs concluderen dat het behandelen van de hoog-niveau planner als een dynamische variabele, in plaats van een vaste capaciteit, een praktische weg is om frontier-niveau embodied planning in robotische systemen te bereiken. Het framework vertrouwt op lichtgewicht, embedding-gebaseerde features om de taakcomplexiteit af te leiden, wat suggereert dat effectieve routing kan worden bereikt zonder complexe, zware inferentie-mechanismen.