Resumo Técnico: Escalonamento em Tempo de Teste para Modelos de Ação de Mundo via Verificação Geométrica Zero-Shot

Declaração do Problema

Os Modelos de Ação de Mundo (WAMs) representam um paradigma promissor para o controle visuomotor ao prever conjuntamente observações visuais futuras e pacotes de ações (action chunks) a partir de entradas multivisão e instruções de linguagem. Diferente das políticas de apenas ação, os WAMs expõem um "rolagem imaginada" (imagined rollout) antes da execução, oferecendo uma oportunidade única para o escalonamento em tempo de teste (test-time scaling): o robô pode inspecionar se o futuro previsto é internamente consistente antes de se comprometer com uma ação.

Embora o escalonamento em tempo de teste (gastar computação extra para amostrar e selecionar candidatos) tenha se mostrado eficaz em modelos de linguagem, sua aplicação à robótica enfrenta desafios específicos. Os métodos de seleção robótica existentes frequentemente dependem de:

1. Orçamentos de amostragem fixos em cada ponto de decisão, independentemente da necessidade, levando ao uso ineficiente de computação.
2. Sinais treinados (ex: modelos de recompensa aprendidos, objetivos de verificadores ou cabeças de confiança internas do modelo) que exigem interfaces específicas ou ajuste fino (fine-tuning).
3. Sinais específicos do modelo que não generalizam entre diferentes backbones de WAM.

A questão central abordada é: Quando um robô deve gastar computação extra para amostrar futuros adicionais e como ele deve selecionar entre eles sem depender de rótulos específicos da tarefa ou verificadores treinados?

Metodologia: Gated GeoBoN

Os autores propõem o Gated GeoBoN, um framework de escalonamento em tempo de teste seletivo de dois estágios e livre de treinamento. O método aproveita sinais naturalmente expostos pela inferência do WAM — especificamente, os quadros futuros previstos e as ações geradas — sem exigir observações futuras de verdade fundamental (ground-truth) ou rótulos de sucesso da tarefa.

1. Estágio 1: Portão de Consistência Ação–Futuro (Amostragem Seletiva)

O primeiro estágio atua como um filtro leve para decidir se a amostragem adicional é necessária.

• Mecanismo: O sistema compara a ação gerada contra o movimento visível no futuro previsto.
• Implementação:
  • Ele calcula o fluxo óptico denso ($F$) entre a observação atual e o quadro futuro previsto.
  • Ele projeta o movimento do efetuador final (derivado do pacote de ação via cinemática direta) na visão da câmera ($\Delta u$).
  • Ele calcula o acordo de cosseno ($c$) entre o fluxo visual previsto e o movimento da ação projetada dentro de uma região de cápsula ao redor do efetuador.
• Lógica de Decisão: Se o escore de acordo $c$ cair abaixo de um limiar $\tau_{gate}$, a rolagem inicial é marcada como internamente inconsistente. O sistema então aciona a amostragem de $N_{max}-1$ rolagens adicionais. Se o portão passar, a rolagem inicial é executada imediatamente, economizando computação.

2. Estágio 2: Avaliador Geométrico Cross-View (GeoBoN)

Se o portão for acionado, ou em um cenário de orçamento fixo, o sistema emprega um seletor Best-of-N (BoN) para classificar os candidatos.

• Mecanismo: Este estágio avalia a consistência geométrica cross-view dos futuros previstos.
• Implementação:
  • Um modelo de fundação de geometria congelado (VGGT-Ω) é usado para estimar a geometria da câmera e a profundidade.
  • Para cada rolagem candidata, os quadros futuros previstos da visão primária e da visão do pulso (wrist view) são processados.
  • O sistema projeta o mapa de pontos 3D da visão do pulso para o quadro da câmera primária e compara a profundidade projetada ($d_{proj}$) com a profundidade prevista diretamente pelo modelo de geometria para a visão primária ($d_{vggt}$).
• Seleção: O candidato com a menor inconsistência é selecionado para execução. A métrica de classificação é a inconsistência de reprojeção de profundidade cross-view (razão logarítmica de profundidades).

Principais Contribuições

1. Identificação da Consistência Geométrica como um Seletor: O artigo identifica a consistência geométrica cross-view como um sinal robusto e livre de treinamento para classificar as rolagens de WAM. Ele propõe o GeoBoN, um seletor Best-of-N de orçamento fixo que opera sem rótulos de tarefa ou futuros de verdade fundamental.
2. Framework Gated GeoBoN: Os autores introduzem um framework de dois estágios que combina um portão de consistência ação–futuro com o GeoBoN. Isso permite que o sistema invoque amostragem cara e avaliação geométrica apenas quando a rolagem inicial parece não confiável, recuperando a maior parte dos ganhos de desempenho de um escalonamento "sempre ativo" (always-on) com uma fração do custo.
3. Validação Abrangente: O framework é validado através de cinco configurações de benchmark–backbone (RoboCasa, LIBERO Long, RoboTwin 2.0 com Cosmos Policy, X-WAM, LingBotVA e Motus) usando avaliações de malha fechada (closed-loop) e diagnósticos offline.

Resultados Experimentais

A avaliação demonstra que o método proposto melhora as taxas de sucesso da tarefa enquanto gerencia os custos computacionais:

• GeoBoN de Orçamento Fixo: Em todas as configurações, o uso de um orçamento fixo de $N=8$ candidatos melhorou o sucesso da tarefa em relação à inferência de rolagem única.

  • RoboCasa: Melhorou a média do grupo de sucesso de 66,3% para 68,4% (Cosmos Policy) e de 80,8% para 82,5% (X-WAM).
  • LIBERO Long: Melhorou o sucesso da Cosmos Policy de 97,5% para 99,3%.
  • RoboTwin 2.0: Melhorou o sucesso do Motus de 87,8% para 89,9%.
  • Nota: O desempenho às vezes satura ou degrada ligeiramente em orçamentos muito grandes ($N=16$), atribuído à seleção de outliers espúrios de baixo escore.

• Eficiência do Gated GeoBoN: Ao habilitar o portão, o sistema aciona a amostragem adicional em apenas 14,2% a 34,5% dos pontos de decisão.

  • Ele recupera uma média de 74,8% do ganho de sucesso do modo "sempre ativo".
  • Por exemplo, no RoboCasa com Cosmos Policy, alcançou 67,9% de sucesso (vs. 68,4% para sempre ativo) com apenas 24,7% da latência.

• Diagnósticos do Seletor: Análises offline confirmaram que a reprojeção cross-view é um seletor mais consistente do que alternativas baseadas em confiança ou consenso. Superou um cabeçalho de valor aprendido específico do modelo (Cosmos Policy) em todos os orçamentos testados.

• Análise de Falhas: O artigo identifica um modo de falha específico: seleção de falso baixo escore. À medida que o pool de candidatos ($N$) aumenta, a probabilidade de selecionar um candidato com um erro de reprojeção espuriosamente baixo (apesar de ser visualmente idêntico aos outros) aumenta. Este "efeito de múltiplas comparações" explica por que o desempenho pode degradar em $N$ alto.

Significância e Alegações

O artigo afirma que os WAMs se beneficiam não meramente de amostrar mais futuros, mas de usar os futuros expostos para decidir quando mais computação é necessária.

• Generalização Livre de Treinamento: Diferente de métodos anteriores que exigem verificadores aprendidos ou interfaces de modelo específicas, o Gated GeoBoN funciona com qualquer WAM multivisão ao utilizar modelos de fundação de geometria congelados.
• Escalonamento Eficiente: O mecanismo de portão demonstra que o escalonamento "sempre ativo" é frequentemente desnecessário; uma verificação de consistência leve pode filtrar efetivamente rolagens confiáveis, reservando computação pesada para cenários incertos.
• Consistência Geométrica como um Proxy: O estudo estabelece que a consistência geométrica cross-view é um proxy forte e livre de rótulos de tarefa para a qualidade da rolagem, superando sinais de confiança internos do modelo e cabeçalhos de valor aprendidos em vários benchmarks.

Os autores concluem que esta abordagem oferece um caminho prático para melhorar as políticas de controle robótico, utilizando a estrutura inerente das rolagens de WAM para a tomada de decisão em tempo de inferência sem treinamento adicional.