Resumen Técnico: DIRECT – ¿Cuándo y dónde se debe asignar el cómputo en tiempo de ejecución en los planificadores corporizados?

Declaración del Problema

Los Modelos de Visión-Lenguaje (VLM) se están desplegando cada vez más como planificadores de alto nivel para agentes corporizados, descomponiendo instrucciones abstractas en sub-habilidades ejecutables. Una estrategia prevalente para mejorar la capacidad es escalar el cómputo en tiempo de ejecución (test-time compute)—gastando más recursos durante la inferencia mediante técnicas como el razonamiento de Cadena de Pensamiento (CoT), modelos de mayor tamaño o historias de memoria extendidas. Sin embargo, los autores observan que escalar el cómputo de forma ingenua en todas las tareas crea una fricción significativa con el despliegue en el mundo real. Las latencias de los VLM de frontera pueden alcanzar decenas de segundos, y el escalado uniforme suele generar retornos decrecientes o desiguales; por ejemplo, un modelo de "Pensamiento" puede ser 3.8× más lento que su contraparte de "no pensamiento" mientras logra tasas de éxito idénticas en tareas triviales.

El problema central es que el cómputo en tiempo de ejecución no es una palanca uniforme. Diferentes ejes de escalado (profundidad de razonamiento, tamaño del modelo, memoria) confieren capacidades cualitativamente distintas que solo son beneficiosas para demandas de tareas específicas. Asignar cómputo costoso de manera uniforme es un desperdicio, mientras que la sub-asignación conduce al fracaso en tareas complejas. El artículo argumenta que determinar cuándo y dónde gastar el cómputo en tiempo de ejecución es fundamental para llevar el rendimiento de frontera a los sistemas robóticos del mundo real.

Metodología: El Marco DIRECT

Los autores proponen DIRECT (Dynamic Inference Router for Embodied Compute Tradeoffs), un marco de enrutamiento diseñado para asignar dinámicamente el cómputo en tiempo de ejecución por tarea basándose en el contexto multimodal de la escena.

Arquitectura Central

DIRECT opera como un enrutador ligero que mapea una entrada de tarea $x = (I, \ell)$—que consiste en una observación inicial de la escena $I$ (imagen RGB o pila de vistas múltiples) y una instrucción de lenguaje natural $\ell$—a un planificador específico $m_k$ de un conjunto fijo de candidatos $\mathcal{M} = \{m_1, \dots, m_K\}$.

• Codificación de Entrada: El enrutador codifica la instrucción usando un codificador de texto BGE-M3 congelado y la escena usando un codificador de visión de la familia SigLIP congelado. Estos embeddings se concatenan para formar un vector de características de la tarea $\phi(x)$.
• Modelos de Enrutamiento: El marco evalúa varias arquitecturas de eficiencia de parámetros, incluyendo modelos lineales, Perceptrones Multicapa (MLP), k-Vecinos más Cercanos (KNN) y clasificadores de Uno contra Todos (OVR).
• Objetivo de Decisión: El enrutador selecciona el planificador que maximiza una función de utilidad $U(q, c)$, equilibrando calidad ($q$, éxito de la tarea) y costo ($c$, latencia o FLOPs). El marco soporta varias instancias de utilidad, incluyendo cabezales basados en regresión que predicen puntuaciones de calidad y costo para determinar el compromiso óptimo.

Recolección de Datos y Entrenamiento

• Simulación: Para benchmarks como VLABench y RoboMME, los autores miden la calidad (tasa de éxito) y el costo (latencia o FLOPs) para cada par planificador-tarea para construir matrices de calidad ($Q$) y costo ($C$).
• Hardware (Robots Físicos): Dado que las ejecuciones físicas exhaustivas son impracticables, los autores emplean un pipeline de datos sintéticos. Muestrean escenas, generan instrucciones candidatas y utilizan un VLM de gran tamaño para proponer descomposiciones de habilidades. Un juez basado en LLM luego califica la "gobernabilidad" (steerability) de estos planes frente a las habilidades de referencia. Esto permite que el enrutador sea entrenado en tareas de estilo físico sin requerir hardware robótico para cada paso de entrenamiento. El enrutador entrenado se despliega entonces zero-shot en hardware físico (brazo Franka en una configuración DROID).

Ejes de Escalado Investigados

El marco se evalúa a través de tres ejes de escalado dominantes:

1. Profundidad de Cadena de Pensamiento (CoT): Enrutamiento entre modelos de "Pensamiento" (razonamiento deliberado) e "Instrucción" (no pensamiento).
2. Tamaño del Modelo: Enrutamiento entre variantes de VLM con diferentes conteos de parámetros (por ejemplo, de 2B a 235B).
3. Historia de Memoria: Enrutamiento entre planificadores con diferentes arquitecturas de memoria (por ejemplo, muestreo de frames ligero frente a memoria basada en recuperación como MemER).

Resultados Clave

Los experimentos se realizaron en VLABench, RoboMME y hardware físico Franka DROID, involucrando más de 270,000 decisiones de enrutamiento simuladas y 245 trayectorias de hardware.

1. Enrutamiento de Cadena de Pensamiento (CoT)

• Hallazgo: El razonamiento CoT mejora el rendimiento promedio pero es innecesario para el 44% de las tareas, donde los modelos de no-pensamiento igualan o superan el rendimiento con órdenes de magnitud menos de latencia.
• Resultado: DIRECT logra la mayor eficiencia de enrutamiento ($\eta$) a través de pares de modelos homogéneos y heterogéneos. En VLABench, recupera una calidad cercana a la del modelo más costoso mientras reduce la latencia en aproximadamente un 30% (ej., $\eta \approx 75\%$). En hardware físico, DIRECT iguala la tasa de éxito de un planificador de "Pensamiento" con una latencia significativamente menor (ej., 6.85s frente a 19.58s para una tarea de compra de varios pasos).

2. Enrutamiento de Tamaño de Modelo

• Hallazgo: Escalar el tamaño del modelo no produce una curva de mejora monótona; los modelos más grandes expanden principalmente la amplitud de habilidades que un planificador puede comandar, en lugar de mejorar uniformemente todas las tareas. Los modelos más pequeños suelen ser suficientes para habilidades básicas.
• Resultado: DIRECT convierte las curvas de escalado erráticas en mejoras monótonas. Al enrutar hacia el modelo más pequeño capaz para un conjunto de habilidades dado, recupera el rendimiento del modelo más grande (ej., 235B) mientras reduce significativamente la latencia promedio. En hardware físico, iguala el éxito de un planificador de 27B con una latencia cercana a la del modelo barato (0.21s frente a 0.36s) al escalar selectivamente al modelo más grande solo para habilidades complejas como doblar o cerrar.

3. Enrutamiento de Memoria

• Hallazgo: El cómputo orientado a la memoria es beneficioso solo para tareas que requieren un historial distante (ej., objetivos no observables). Para tareas fáciles que requieren un recuerdo corto, los esquemas de memoria ligeros superan a los modelos pesados basados en recuperación a una fracción del costo.
• Resultado: DIRECT identifica tareas que requieren memoria de largo horizonte y las enruta a planificadores aumentados con memoria, mientras utiliza planificadores sin memoria para tareas observables. En RoboMME y hardware físico, DIRECT logra tasas de éxito cercanas al oráculo (el mejor planificador posible) mientras procesa significativamente menos frames que un planificador de memoria estática aumentada.

Significancia y Reivindicaciones

El artículo afirma que escalar el cómputo en tiempo de ejecución de forma ingenua es un desperdicio y que los beneficios del escalado son dependientes de la tarea en lugar de uniformes. La principal significancia de DIRECT radica en su capacidad para:

1. Recuperar el Rendimiento de Frontera a un Menor Costo: Al emparejar dinámicamente las demandas de la tarea con el planificador apropiado, DIRECT logra tasas de éxito comparables a los modelos más fuertes y costosos del conjunto, pero a una fracción del costo (hasta un 65% menos de latencia promedio en experimentos físicos).
2. Demostrar la No Uniformidad del Cómputo: El trabajo proporciona evidencia empírica de que diferentes ejes de escalado (razonamiento, tamaño, memoria) producen ganancias de capacidad cualitativamente distintas, lo que requiere una asignación por tarea en lugar de una selección de modelo estática.
3. Permitir la Viabilidad en el Mundo Real: Al reducir la latencia y el uso de tokens sin sacrificar las tasas de éxito, DIRECT aborda la creciente fricción entre las capacidades de los VLM de frontera y las restricciones de tiempo real de los agentes corporizados.

Los autores concluyen que tratar al planificador de alto nivel como una variable dinámica, en lugar de una capacidad fija, es un camino práctico para lograr una planificación corporizada de nivel de frontera en sistemas robóticos. El marco se apoya en características ligeras basadas en embeddings para inferir la dificultad de la tarea, lo que sugiere que un enrutamiento efectivo puede lograrse sin mecanismos de inferencia complejos y pesados.