Resumo Técnico: DIRECT – Quando e Onde Deve Alocar Computação em Tempo de Teste em Planejadores Incorporados?

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) são cada vez mais implantados como planejadores de alto nível para agentes incorporados, decompondo instruções abstratas em sub-habilidades executáveis. Uma estratégia prevalente para aumentar a capacidade é escalar a computação em tempo de teste — gastando mais recursos durante a inferência por meio de técnicas como o raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT), modelos maiores ou históricos de memória estendidos. No entanto, os autores observam que escalar a computação de forma ingênua em todas as tarefas cria uma fricção significativa com a implantação no mundo real. As latências dos VLMs de fronteira podem atingir dezenas de segundos, e o escalonamento uniforme frequentemente produz retornos decrescentes ou desiguais; por exemplo, um modelo de "Pensamento" pode ser 3,8× mais lento que um contraparte não pensante enquanto alcança taxas de sucesso idênticas em tarefas triviais.

O problema central é que a computação em tempo de teste não é uma alavanca uniforme. Diferentes eixos de escalonamento (profundidade de raciocínio, tamanho do modelo, memória) conferem capacidades qualitativamente distintas que são benéficas apenas para demandas de tarefas específicas. Alocar computação cara de forma uniforme é um desperdício, enquanto a subalocação leva à falha em tarefas complexas. O artigo argumenta que determinar quando e onde gastar a computação em tempo de teste é central para trazer o desempenho de fronteira para sistemas robóticos do mundo real.

Metodologia: O Framework DIRECT

Os autores propõem o DIRECT (Dynamic Inference Router for Embodied Compute Tradeoffs), um framework de roteamento projetado para alocar dinamicamente a computação em tempo de teste por tarefa baseada no contexto de cena multimodal.

Arquitetura Central

O DIRECT opera como um roteador leve que mapeia uma entrada de tarefa $x = (I, \ell)$ — consistindo de uma observação inicial da cena $I$ (imagem RGB ou pilha de múltiplas visões) e uma instrução de linguagem natural $\ell$ — para um planejador específico $m_k$ de um conjunto fixo de candidatos $\mathcal{M} = \{m_1, \dots, m_K\}$.

• Codificação de Entrada: O roteador codifica a instrução usando um codificador de texto BGE-M3 congelado e a cena usando um codificador de visão da família SigLIP congelado. Esses embeddings são concatenados para formar um vetor de características da tarefa $\phi(x)$.
• Modelos de Roteamento: O framework avalia várias arquiteturas de parâmetros eficientes, incluindo modelos lineares, Perceptrons de Camadas Múltiplas (MLPs), k-Vizinhos Mais Próximos (KNN) e classificadores Um-contra-Todos (OVR).
• Objetivo de Decisão: O roteador seleciona o planejador que maximiza uma função de utilidade $U(q, c)$, equilibrando qualidade ($q$, sucesso da tarefa) e custo ($c$, latência ou FLOPs). O framework suporta várias instanciações de utilidade, incluindo cabeças baseadas em regressão que preveem pontuações de qualidade e custo para determinar o tradeoff ideal.

Coleta e Treinamento de Dados

• Simulação: Para benchmarks como VLABench e RoboMME, os autores medem a qualidade (taxa de sucesso) e o custo (latência ou FLOPs) para cada par planejador-tarefa para construir matrizes de qualidade ($Q$) e custo ($C$).
• Hardware (Robôs Físicos): Como execuções físicas exaustivas são impraticáveis, os autores empregam um pipeline de dados sintéticos. Eles amostram cenas, geram instruções candidatas e usam um VLM de grande escala para propor decomposções de habilidades. Um juiz LLM então pontua a "direcionabilidade" desses planos em relação às habilidades de referência. Isso permite que o roteador seja treinado em tarefas de estilo físico sem exigir hardware robótico para cada etapa de treinamento. O roteador treinado é então implantado zero-shot em hardware físico (braço Franka em uma configuração DROID).

Eixos de Escalonamento Investigados

O framework é avaliado através de três eixos dominantes de escalonamento:

1. Profundidade de Cadeia de Pensamento (CoT): Roteamento entre modelos de "Pensamento" (raciocínio deliberado) e "Instrução" (não pensante).
2. Tamanho do Modelo: Roteamento entre variantes de VLM com diferentes contagens de parâmetros (ex: 2B a 235B).
3. Histórico de Memória: Roteamento entre planejadores com diferentes arquiteturas de memória (ex: amostragem de frames leve vs. memória baseada em recuperação como MemER).

Principais Resultados

Experimentos foram conduzidos no VLABench, RoboMME e hardware físico Franka DROID, envolvendo mais de 270.000 decisões de roteamento simuladas e 245 trajetórias de hardware.

1. Roteamento de Cadeia de Pensamento (CoT)

• Descoberta: O raciocínio CoT melhora o desempenho médio, mas é desnecessário para 44% das tarefas, onde modelos não pensantes igualam ou excedem o desempenho com ordens de magnitude a menos de latência.
• Resultado: O DIRECT alcança a maior eficiência de roteamento ($\eta$) entre pares de modelos homogêneos e heterogêneos. No VLABench, ele recupera a qualidade do modelo caro enquanto reduz a latência em ~30% (ex: $\eta \approx 75\%$). Em hardware físico, o DIRECT iguala a taxa de sucesso de um planejador de "Pensamento" com latência significativamente menor (ex: 6,85s vs. 19,58s para uma tarefa de compras de múltiplos passos).

2. Roteamento de Tamanho de Modelo

• Descoberta: Escalar o tamanho do modelo não gera uma curva de melhoria monotônica; modelos maiores expandem principalmente a amplitude de habilidades que um planejador pode comandar, em vez de melhorar uniformemente todas as tarefas. Modelos menores costentes costumam ser suficientes para habilidades básicas.
• Resultado: O DIRECT converte curvas de escalonamento erráticas em melhorias monotônicas. Ao rotear para o menor modelo capaz para um determinado conjunto de habilidades, ele recupera o desempenho do maior modelo (ex: 235B) enquanto reduz significativamente a latência média. Em hardware físico, ele iguala o sucesso de um planejador de 27B com uma latência próxima à do modelo barato (0,21s vs. 0,36s) ao escalar seletivamente para o modelo maior apenas para habilidades complexas como dobrar ou fechar.

3. Roteamento de Memória

• Descoberta: A computação orientada à memória é benéfica apenas para tarefas que exigem histórico distante (ex: objetivos não observáveis). Para tarefas fáceis que exigem recall curto, esquemas de memória leves superam modelos baseados em recuperação pesada a uma fração do custo.
• Resultado: O DIRECT identifica tarefas que exigem memória de longo horizonte e as roteia para planejadores aumentados com memória, enquanto utiliza planejadores sem memória para tarefas observáveis. No RoboMME e hardware físico, o DIRECT atinge taxas de sucesso próximas ao oracle (o melhor planejador possível) enquanto processa significativamente menos frames do que um planejador estático aumentado com memória.

Significância e Alegações

O artigo afirma que escalar a computação em tempo de teste de forma ingênua é um desperdício e que os benefícios do escalonamento são dependentes da tarefa e não uniformes. A principal significância do DIRECT reside em sua capacidade de:

1. Recuperar o Desempenho de Fronteira com Menor Custo: Ao combinar dinamicamente as demandas da tarefa com o planejador apropriado, o DIRECT alcança taxas de sucesso comparáveis aos modelos mais fortes e caros do conjunto, mas a uma fração do custo (até 65% de menor latência média em experimentos físicos).
2. Demonstrar a Não-Uniformidade da Computação: O trabalho fornece evidência empírica de que diferentes eixos de escalonamento (raciocínio, tamanho, memória) produzem ganhos de capacidade qualitativamente distintos, necessitando de alocação por tarefa em vez de seleção de modelo estática.
3. Permitir a Viabilidade no Mundo Real: Ao reduzir a latência e o uso de tokens sem sacrificar as taxas de sucesso, o DIRECT aborda a crescente fricção entre as capacidades de fronteira dos VLMs e as restrições de tempo real dos agentes incorporados.

Os autores concluem que tratar o planejador de alto nível como uma variável dinâmica, em vez de uma capacidade fixa, é um caminho prático para alcançar o planejamento incorporado de nível de fronteira em sistemas robóticos. O framework depende de características leves baseadas em embeddings para inferir a dificuldade da tarefa, sugerindo que o roteamento eficaz pode ser alcançado sem mecanismos de inferência complexos e pesados.