Technisches Resümee: DIRECT – Wann und wo sollte man Test-Time-Compute in Embodied Plannern zuweisen?

Problemstellung

Vision-Language-Modelle (VLMs) werden zunehmend als High-Level-Planer für verkörperte Agenten (Embodied Agents) eingesetzt, um abstrakte Anweisungen in ausführbare Sub-Skills zu zerlegen. Eine gängige Strategie zur Steigerung der Leistungsfähigkeit ist die Skalierung von Test-Time-Compute – also die Aufwendung von mehr Ressourcen während der Inferenz mittels Techniken wie Chain-of-Thought (CoT)-Reasoning, größerer Modellgrößen oder erweiterter Gedächtnishistorien. Die Autoren beobachten jedoch, dass eine naive Skalierung des Rechenaufwands über alle Aufgaben hinweg zu erheblichen Reibungsverlusten bei der Implementierung in der realen Welt führt. Die Latenzen von Frontier-VLMs können Jahrzehnte (im Sinne von Sekundenbruchteilen/Sekunden) erreichen, und eine uniforme Skalierung liefert oft abnehmende oder ungleichmäßige Erträge; so kann beispielsweise ein „Thinking“-Modell 3,8-mal langsamer sein als ein Nicht-Thinking-Pendant, während es bei trivialen Aufgaben identische Erfolgsraten erzielt.

Das Kernproblem besteht darin, dass Test-Time-Compute kein uniformer Hebel ist. Unterschiedliche Skalierungsachsen (Reasoning-Tiefe, Modellgröße, Gedächtnis) verleihen qualitativ unterschiedliche Fähigkeiten, die nur für spezifische Aufgabenanforderungen vorteilhaft sind. Die Zuweisung von teurem Compute auf uniforme Weise ist verschwenderisch, während eine Unterversorgung bei komplexen Aufgaben zu Fehlschlägen führt. Das Paper argumentiert, dass die Frage, wann und wo man Test-Time-Compute investiert, zentral dafür ist, Frontier-Performance auf reale Robotersysteme zu übertragen.

Methodik: Das DIRECT-Framework

Die Autoren schlagen DIRECT (Dynamic Inference Router for Embodied Compute Tradeoffs) vor, ein Routing-Framework, das darauf ausgelegt ist, den Test-Time-Compute pro Aufgabe basierend auf dem multimodalen Szenenkontext dynamisch zuzuweisen.

Kernarchitektur

DIRECT operiert als leichtgewichtiges Router-System, das eine Aufgaben-Eingabe $x = (I, \ell)$ – bestehend aus einer initialen Szenenbeobachtung $I$ (RGB-Bild oder Multi-View-Stack) und einer natürlichen Sprachinstruktion $\ell$ – auf einen spezifischen Planner $m_k$ aus einem festen Pool von Kandidaten $\mathcal{M} = \{m_1, \dots, m_K\}$ abbildet.

• Input Encoding: Der Router kodiert die Instruktion mittels eines gefrorenen BGE-M3 Text-Encoders und die Szene mittels eines gefrorenen SigLIP-Familie Vision-Encoders. Diese Embeddings werden zu einem Aufgaben-Feature-Vektor $\phi(x)$ konkateniert.
• Router-Modelle: Das Framework evaluiert verschiedene parametereffiziente Architekturen, einschließlich linearer Modelle, Multi-Layer-Perceptrons (MLPs), k-Nearest Neighbors (KNN) und One-vs-Rest (OVR) Klassifikatoren.
• Entscheidungsziel: Der Router wählt den Planner aus, der eine Nutzenfunktion $U(q, c)$ maximiert, welche Qualität ($q$, Aufgabenerfolg) und Kosten ($c$, Latenz oder FLOPs) abwägt. Das Framework unterstützt verschiedene Instanziierungen der Nutzenfunktion, einschließlich Regressions-Heads, die Qualitäts- und Kosten-Scores vorhersagen, um den optimalen Tradeoff zu bestimmen.

Datenerhebung und Training

• Simulation: Für Benchmarks wie VLABench und RoboMME messen die Autoren die Qualität (Erfolgsrate) und die Kosten (Latenz oder FLOPs) für jedes Planner-Aufgabe-Paar, um Qualitäts- ($Q$) und Kosten-Matrizen ($C$) zu erstellen.
• Hardware (Physische Roboter): Da eine erschöpfende physische Durchführung unpraktikabel ist, nutzen die Autoren eine synthetische Datenpipeline. Sie sampeln Szenen, generieren Kandidaten-Instruktionen und verwenden ein großes VLM, um Skill-Dekompositionen vorzuschlagen. Ein LLM-Judge bewertet dann die „Steuerbarkeit“ dieser Pläne gegenüber Referenz-Skills. Dies ermöglicht es, den Router auf physisch orientierten Aufgaben zu trainieren, ohne für jeden Trainingsschritt Roboter-Hardware zu benötigen. Der trainierte Router wird dann Zero-Shot auf physischer Hardware (Franka-Arm in einem DROID-Setup) eingesetzt.

Untersuchte Skalierungsachsen

Das Framework wird über drei dominante Skalierungsachsen evaluiert:

1. Chain-of-Thought (CoT) Tiefe: Routing zwischen „Thinking“ (deliberative Reasoning) und „Instruct“ (Nicht-Thinking) Modellen.
2. Modellgröße: Routing zwischen VLM-Varianten unterschiedlicher Parameteranzahl (z. B. 2B bis 235B).
3. Memory History: Routing zwischen Plannern mit unterschiedlichen Gedächtnisarchitekturen (z. B. leichtgewichtiges Frame-Sampling vs. retrieval-basiertes Gedächtnis wie MemER).

Kernergebnisse

Experimente wurden auf VLABench, RoboMME und physischer Franka DROID Hardware durchgeführt, wobei über 270.000 simulierte Routing-Entscheidungen und 245 Hardware-Trajektorien untersucht wurden.

1. Chain-of-Thought Routing

• Befund: CoT-Reasoning verbessert die durchschnittliche Performance, ist aber für 44 % der Aufgaben unnötig, bei denen Nicht-Thinking-Modelle die Leistung erreichen oder übertreffen und dabei um Größenordnungen geringere Latenzen aufweisen.
• Ergebnis: DIRECT erreicht die höchste Routing-Effizienz ($\eta$) über homogene und heterogene Modellpaare hinweg. Auf VLABench stellt es eine nahezu die des teureren Modells erreichte Qualität wieder her und senkt gleichzeitig die Latenz um ca. 30 % (z. B. $\eta \approx 75 \%$). Auf physischer Hardware erreicht DIRECT die Erfolgsrate eines „Thinking“-Planners bei signifikant geringerer Latenz (z. B. 6,85 s vs. 19,58 s für eine mehrstufige Grocery-Aufgabe).

2. Modellgrößen-Routing

• Befund: Die Skalierung der Modellgröße führt nicht zu einer monoton steigenden Verbesserung; größere Modelle erweitern primär die Breite der Skills, die ein Planner beherrschen kann, anstatt die Leistung für alle Aufgaben uniform zu verbessern. Kleinere Modelle sind für grundlegende Skills oft ausreichend.
• Ergebnis: DIRECT wandelt erratische Skalierungskurven in monotone Verbesserungen um. Durch das Routing zum kleinsten fähigen Modell für ein gegebenes Skill-Set stellt es die Performance des größten Modells (z. B. 235B) wieder her und reduziert gleichzeitig die durchschnittliche Latenz signifikant. Auf physischer Hardware erreicht es den Erfolg eines 27B-Planners bei nahezu der Latenz eines günstigen Modells (0,21 s vs. 0,36 s), indem es gezielt für komplexe Skills wie Falten oder Schließen auf das größere Modell hochskaliert.

3. Memory-Routing

• Befund: Gedächtnis-orientierter Compute ist nur für Aufgaben vorteilhaft, die eine entfernte Historie erfordern (z. B. nicht beobachtbare Ziele). Bei einfachen Aufgaben, die eine kurze Erinnerung erfordern, sind leichtgewichtige Gedächtnisschemata einem schweren Retrieval-basierten Modell zu einem Bruchteil der Kosten überlegen.
• Ergebnis: DIRECT identifiziert Aufgaben, die ein Langzeitgedächtnis erfordern, und routet sie zu gedächtnis-augmentierten Plannern, während es für beobachtbare Aufgaben gedächtnisfreie Planner nutzt. Auf RoboMME und physischer Hardware erreicht DIRECT Erfolgsraten nahe am Oracle (dem bestmöglichen Planner), während deutlich weniger Frames als ein statisch gedächtnis-augmentierter Planner verarbeitet werden.

Signifikanz und Ansprüche

Das Paper behauptet, dass naive Skalierung von Test-Time-Compute verschwenderisch ist und dass die Vorteile der Skalierung aufgabenabhängig und nicht uniform sind. Die primäre Signifikanz von DIRECT liegt in seiner Fähigkeit:

1. Frontier-Performance zu geringeren Kosten wiederherzustellen: Durch die dynamische Abstimmung der Aufgabenanforderungen auf den geeigneten Planner erreicht DIRECT Erfolgsraten, die mit den stärksten, teuersten Modellen im Pool vergleichbar sind, jedoch zu einem Bruchteil der Kosten (bis zu 65 % geringere durchschnittliche Latenz in physischen Experimenten).
2. Die Nicht-Uniformität von Compute zu demonstrieren: Die Arbeit liefert empirische Belege dafür, dass verschiedene Skalierungsachsen (Reasoning, Größe, Gedächtnis) qualitativ unterschiedliche Leistungssteigerungen bewirken, was eine pro-Aufgabe-basierte Allokation statt einer statischen Modellauswahl erforderlich macht.
3. Reale Einsatzfähigkeit zu ermöglichen: Durch die Reduzierung von Latenz und Token-Verbrauch ohne Einbußen bei der Erfolgsrate adressiert DIRECT die wachsende Reibung zwischen den Frontier-VLM-Fähigkeiten und den Echtzeit-Anforderungen verkörperter Agenten.

Die Autoren kommen zu dem Schluss, dass die Behandlung des High-Level-Planners als dynamische Variable statt als feste Kapazität ein praktischer Weg ist, um Frontier-Level Embodied Planning in Robotersystemen zu erreichen. Das Framework stützt sich auf leichtgewichtige, embedding-basierte Features, um die Schwierigkeit einer Aufgabe abzuschätzen, was darauf hindeutet, dass effektives Routing ohne komplexe, schwere Inferenzmechanismen erreicht werden kann.