Résumé technique : DIRECT – Quand et où allouer le calcul au moment de l'inférence pour les planificateurs incarnés ?

Énoncé du problème

Les modèles de vision-langage (VLM) sont de plus en plus déployés comme planificateurs de haut niveau pour les agents incarnés, décomposant des instructions abstraites en sous-compétences exécutables. Une stratégie prédominante pour accroître les capacités consiste à augmenter l'échelle du calcul au moment de l'inférence (test-time compute) — en dépensant plus de ressources lors de l'inférence via des techniques telles que le raisonnement par chaîne de pensée (Chain-of-Thought ou CoT), des tailles de modèles plus importantes ou des historiques de mémoire étendus. Cependant, les auteurs observent qu'augmenter naïvement le calcul de manière uniforme sur toutes les tâches crée une friction significative avec le déploiement en conditions réelles. Les latences des VLM de pointe peuvent atteindre des dizaines de secondes, et une mise à l'échelle uniforme produit souvent des rendements décroissants ou irréguliers ; par exemple, un modèle « réfléchissant » peut être 3,8 fois plus lent qu'un homologue ne réfléchissant pas tout en atteignant des taux de réussite identiques sur des tâches triviales.

Le problème central est que le calcul au moment de l'inférence n'est pas un levier uniforme. Différents axes de mise à l'échelle (profondeur de raisonnement, taille du modèle, mémoire) confèrent des capacités qualitativement distinctes qui ne sont bénéfiques que pour des demandes de tâches spécifiques. Allouer un calcul coûteux de manière uniforme est un gaspillage, tandis qu'une sous-allocation conduit à l'échec sur les tâches complexes. L'article soutient que déterminer quand et où dépenser le calcul au moment de l'inférence est essentiel pour apporter les performances de pointe aux systèmes robotiques réels.

Méthodologie : Le cadre DIRECT

Les auteurs proposent DIRECT (Dynamic Inference Router for Embodied Compute Tradeoffs), un cadre de routage conçu pour allouer dynamiquement le calcul au moment de l'inférence par tâche, en fonction du contexte multimodal de la scène.

Architecture centrale

DIRECT fonctionne comme un routeur léger qui associe une entrée de tâche $x = (I, \ell)$ — consistant en une observation initiale de la scène $I$ (image RGB ou empilement multi-vues) et une instruction en langage naturel $\ell$ — à un planificateur spécifique $m_k$ issu d'un ensemble fixe de candidats $\mathcal{M} = \{m_1, \dots, m_K\}$.

• Encodage de l'entrée : Le routeur encode l'instruction à l'aide d'un encodeur de texte BGE-M3 gelé et la scène à l'aide d'un encodeur de vision de la famille SigLIP gelé. Ces plongements (embeddings) sont concaténés pour former un vecteur de caractéristiques de tâche $\phi(x)$.
• Modèles de routage : Le cadre évalue diverses architectures économes en paramètres, incluant des modèles linéaires, des perceptrons multicouches (MLP), des k-plus proches voisins (KNN) et des classifieurs un contre tous (One-vs-Rest ou OVR).
• Objectif de décision : Le routeur sélectionne le planificateur qui maximise une fonction d'utilité $U(q, c)$, équilibrant la qualité ($q$, succès de la tâche) et le coût ($c$, latence ou FLOPs). Le cadre prend en charge diverses instanciations d'utilité, notamment des têtes basées sur la régression qui prédisent des scores de qualité et de coût pour déterminer le compromis optimal.

Collecte et entraînement des données

• Simulation : Pour des benchmarks comme VLABench et RoboMME, les auteurs mesurent la qualité (taux de succès) et le coût (latence ou FLOPs) pour chaque paire planificateur-tâche afin de construire des matrices de qualité ($Q$) et de coût ($C$).
• Matériel (Robots physiques) : Puisque les déploiements physiques exhaustifs sont peu pratiques, les auteurs emploient un pipeline de données synthétiques. Ils échantillonnent des scènes, génèrent des instructions candidates et utilisent un VLM de grande taille pour proposer des décompositions de compétences. Un juge basé sur un LLM évalue ensuite la « pilotabilité » (steerability) de ces plans par rapport aux compétences de référence. Cela permet d'entraîner le routeur sur des tâches de type physique sans nécessiter de matériel robotique pour chaque étape d'entraînement. Le routeur entraîné est ensuite déployé en zéro-shot sur du matériel physique (bras Franka dans une configuration DROID).

Axes de mise à l'échelle investigués

Le cadre est évalué à travers trois axes de mise à l'échelle dominants :

1. Profondeur de la Chaîne de Pensée (CoT) : Routage entre des modèles « Réfléchissants » (raisonnement délibéré) et « Instruct » (non-réfléchissants).
2. Taille du modèle : Routage entre des variantes de VLM de différents nombres de paramètres (par exemple, de 2B à 235B).
3. Historique de mémoire : Routage entre des planificateurs avec différentes architectures de mémoire (par exemple, échantillonnage léger de trames versus mémoire basée sur la recherche comme MemER).

Résultats clés

Les expériences ont été menées sur VLABench, RoboMME et du matériel physique Franka DROID, impliquant plus de 270 000 décisions de routage simulées et 245 trajectoires matérielles.

1. Routage de la Chaîne de Pensée (CoT)

• Constat : Le raisonnement CoT améliore la performance moyenne mais est inutile pour 44 % des tâches, où les modèles non-réfléchissants égalent ou dépassent les performances avec une latence bien moindre.
• Résultat : DIRECT atteint l'efficacité de routage ($\eta$) la plus élevée à travers des paires de modèles homogènes et hétérogènes. Sur VLABench, il récupère une qualité proche de celle du modèle le plus coûteux tout en réduisant la latence d'environ 30 % (ex: $\eta \approx 75 \%$). Sur le matériel physique, DIRECT égale le taux de réussite d'un planificateur « Réfléchissant » avec une latence nettement inférieure (ex: 6,85s contre 19,58s pour une tâche de courses multi-étapes).

2. Routage de la Taille du Modèle

• Constat : L'augmentation de la taille du modèle ne produit pas une courbe d'amélioration monotone ; les modèles plus grands étendent principalement la largeur des compétences qu'un planificateur peut commander plutôt que d'améliorer uniformément toutes les tâches. Les modèles plus petits suffisent souvent pour les compétences de base.
• Résultat : DIRECT transforme les courbes de mise à l'échelle erratiques en améliorations monotones. En routant vers le plus petit modèle capable pour un ensemble de compétences donné, il récupère la performance du plus grand modèle (ex: 235B) tout en réduisant considérablement la latence moyenne. Sur le matériel physique, il égale le succès d'un planificateur de 27B avec une latence proche de celle d'un modèle peu coûteux (0,21s contre 0,36s) en escaladant sélectivement vers le modèle plus large uniquement pour des compétences complexes comme le pliage ou la fermeture.

3. Routage de la Mémoire

• Constat : Le calcul orienté mémoire est bénéfique uniquement pour les tâches nécessitant un historique lointain (ex: objectifs inobservables). Pour les tâches faciles nécessitant un rappel court, les schémas de mémoire légers surpassent les modèles lourds basés sur la recherche à une fraction du coût.
• Résultat : DIRECT identifie les tâches nécessitant une mémoire à long horizon et les route vers des planificateurs augmentés par la mémoire, tout en utilisant des planificateurs sans mémoire pour les tâches observables. Sur RoboMME et le matériel physique, DIRECT atteint des taux de réussite proches de l'oracle (le meilleur planificateur possible) tout en traitant nettement moins de trames qu'un planificateur statique augmenté par la mémoire.

Signification et affirmations

L'article affirme que l'augmentation naïve du calcul au moment de l'inférence est un gaspillage et que les bénéfices de la mise à l'échelle sont contingents à la tâche plutôt qu'uniformes. La principale signification de DIRECT réside dans sa capacité à :

1. Récupérer la performance de pointe à un coût moindre : En faisant correspondre dynamiquement les demandes de la tâche au planificateur approprié, DIRECT atteint des taux de réussite comparables aux modèles les plus puissants et les plus coûteux de l'ensemble, mais à une fraction du coût (jusqu'à 65 % de latence moyenne en moins dans les expériences physiques).
2. Démontrer la non-uniformité du calcul : Ce travail fournit des preuves empiriques que les différents axes de mise à l'échelle (raisonnement, taille, mémoire) produisent des gains de capacité qualitativement distincts, nécessitant une allocation par tâche plutôt qu'une sélection de modèle statique.
3. Permettre la viabilité en conditions réelles : En réduisant la latence et l'utilisation de tokens sans sacrifier les taux de réussite, DIRECT répond à la friction croissante entre les capacités des VLM de pointe et les contraintes de temps réel des agents incarnés.

Les auteurs concluent que traiter le planificateur de haut niveau comme une variable dynamique, plutôt que comme une capacité fixe, est une voie pratique pour atteindre une planification incarnée de niveau pointe dans les systèmes robotiques. Le cadre repose sur des caractéristiques légères basées sur les plongements (embeddings) pour inférer la difficulté de la tâche, suggérant qu'un routage efficace peut être réalisé sans mécanismes d'inférence complexes et lourds.