Resumo Técnico: V-VLAPS – Planejamento Guiado por Valor para Modelos Visão-Linguagem-Ação

1. Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA), como o Octo, fornecem priores de ação robustos para manipulação robótica ao prever sequências de ação a partir de observações multimodais e instruções em linguagem. No entanto, esses modelos dependem de clonagem de comportamento, tornando-os frágeis ao enfrentar estados fora da distribuição (OOD) ou tarefas de longo horizonte. Embora métodos recentes como o VLAPS (Neary et al., 2025) aumentem os VLAs com Busca em Árvore Monte Carlo (MCTS) para melhorar a robustez, eles sofrem de uma limitação crítica: a busca depende exclusivamente do prior de política do VLA e de heurísticas de exploração baseadas em contagem de visitas (PUCT).

Quando o prior do VLA favorece ações subótimas, o planejador carece de uma estimativa fundamentada do retorno futuro esperado para corrigir esse viés. A busca torna-se uma exploração exaustiva baseada em contagem, em vez de uma otimização guiada por valor. Trabalhos anteriores (Gu et al., 2025) demonstraram que os recursos latentes do VLA codificam sinais binários de sucesso/fracasso, mas estes foram utilizados apenas para monitoramento post-hoc. O problema central abordado é se essas representações internas podem ser aproveitadas para aprender uma função de valor contínua que guie ativamente o processo de busca durante o planejamento.

2. Metodologia: V-VLAPS

Os autores introduzem o V-VLAPS (Planejamento e Busca Visão-Linguagem-Ação Guiado por Valor), uma extensão do VLAPS que integra uma cabeça de valor aprendida à regra de pontuação do MCTS. A metodologia consiste em três etapas:

2.1. Coleta de Dados e Definição de Alvos

Os dados de treinamento são construídos executando um VLA pré-treinado e congelado (Octo) em tarefas de manipulação em mesa do LIBERO, sem qualquer planejamento.

• Execuções: O VLA gera blocos de ação com base em observações e instruções. Os episódios terminam no sucesso da tarefa ou no tempo limite.
• Estrutura de Recompensa: Uma recompensa terminal esparsa é utilizada ($R=1$ para sucesso, $R=0$ para falha/tempo limite).
• Alvos de Valor: Para cada passo de decisão $t$, um alvo de valor Monte Carlo $G_t$ é computado propagando a recompensa terminal para trás com um fator de desconto $\gamma=0.99$. Se o episódio for bem-sucedido, $G_t = \gamma^{T-t}$; caso contrário, $G_t = 0$.
• Rebalanceamento: Como a distribuição de alvos é fortemente enviesada para zero (episódios falhos e passos iniciais em episódios bem-sucedidos), os dados são rebalanceados subamostrando o bin de valor zero para corresponder ao tamanho combinado dos bins não nulos.

2.2. Treinamento da Cabeça de Valor

Uma cabeça de valor leve é treinada para prever esses retornos Monte Carlo a partir do estado latente do VLA.

• Arquitetura: Um MLP de três camadas com uma única camada oculta de 3072 unidades ReLU. Ele recebe o vetor de leitura do Octo de 768 dimensões como entrada e produz uma estimativa de valor escalar.
• Objetivo de Treinamento: O modelo minimiza o Erro Quadrático Médio (MSE) entre o valor previsto e o alvo Monte Carlo. Os parâmetros subjacentes do VLA Octo permanecem congelados; apenas a cabeça de valor é treinada.
• Generalização: A cabeça de valor é treinada em 4 dos 10 estados iniciais por tarefa, testando sua capacidade de generalizar para os 6 estados iniciais restantes não vistos durante a avaliação.

2.3. Integração no MCTS

O valor aprendido é integrado ao procedimento de busca do VLAPS modificando a pontuação de seleção de nós.

• Regra de Pontuação: A pontuação padrão do VLAPS combina o prior do VLA e a exploração baseada em contagem de visitas. O V-VLAPS adiciona um termo de valor aprendido $Q_\theta$:
  $$\text{SCORE}(v, a_i) = \lambda_V Q_\theta(v, a_i) + U_{\text{VLAPS}}(v, a_i)$$
  onde $Q_\theta(v, a_i)$ é a estimativa de valor do estado sucessor resultante do bloco de ação $a_i$, e $\lambda_V$ é um coeficiente fixo (definido como 1).
• Mecanismo: Durante a expansão do MCTS, o simulador executa o bloco de ação até um estado sucessor, computa a leitura do Octo e consulta a cabeça de valor. Esse valor viésa a seleção em direção a ramos com retornos previstos mais altos.

3. Contribuições Principais

1. Guia Ativo por Valor: O artigo estende o conceito de sondagem de recursos do VLA (anteriormente usada para detecção passiva de falhas) para o guia ativo de busca. Demonstra que as representações do VLA podem suportar estimativa contínua de valor, não apenas previsão binária de sucesso.
2. Aumento Leve: O método introduz uma pequena cabeça de valor treinável (aproximadamente 2,4 milhões de parâmetros) que adiciona sobrecarga mínima ao processo de planejamento, enquanto altera significativamente o comportamento de busca.
3. Validação Empírica: A abordagem é avaliada em cinco suites do LIBERO, demonstrando que o planejamento guiado por valor melhora o desempenho especificamente quando o orçamento de busca permite que o MCTS alcance estados mais profundos onde a diferenciação de valor é possível.

4. Resultados Experimentais

O método foi avaliado em cinco suites do LIBERO (Object, Spatial, Goal, 10, 90) contra duas bases de comparação: o VLA Octo reativo e o VLAPS (sem a cabeça de valor). Dois orçamentos de busca foram testados: 600s (padrão) e 1800s (estendido).

• Orçamento Padrão (600s): O V-VLAPS e o VLAPS performaram quase idênticos, com média de 87,4% de sucesso em todas as suites.
  • Análise: A análise de falhas revelou que a maioria das falhas foram "tempos limite no nível raiz". Em tarefas difíceis, a busca esgotou seu orçamento de tempo no primeiro passo de decisão. Nesta etapa, os ramos candidatos estão longe da conclusão, resultando em estimativas de valor próximas de zero com separação fraca. Consequentemente, a cabeça de valor não pôde discriminar efetivamente entre os ramos.
• Orçamento Estendido (1800s): Com mais tempo para explorar mais profundamente na árvore, o V-VLAPS superou o VLAPS.
  • Agregado: O V-VLAPS alcançou 91,6% vs. 88,4% do VLAPS.
  • Ganhos Específicos: A melhoria concentrou-se em LIBERO-Object (+6 pontos percentuais, 93% vs 87%) e LIBERO-10 (+4 pontos percentuais, 85% vs 81%).
  • Estudo de Caso: Na Tarefa 7 do LIBERO-Object, o V-VLAPS alcançou 85% de sucesso (17/20) comparado aos 65% do VLAPS (13/20) em 1800s.
• Efeitos de Teto: Suites como LIBERO-Spatial e LIBERO-Goal já estavam próximas de desempenho de teto (≥90%) no orçamento de 600s, mostrando ganhos mínimos com a cabeça de valor ou tempo estendido.

5. Significado e Alegações

O artigo alega que as representações do VLA não são meramente úteis para controle reativo ou monitoramento post-hoc, mas podem servir como base para planejamento guiado por valor.

• Dependência de Regime: Os autores enfatizam que a utilidade da cabeça de valor é dependente do regime. É mais eficaz quando o orçamento de busca é suficiente para ir além dos estados próximos à raiz, onde os sinais de valor são fracos e indistinguíveis.
• Complementaridade: A cabeça de valor não substitui o prior do VLA, mas o complementa. Ela fornece um mecanismo para corrigir vieses no prior de política quando a busca atinge estados onde a estrutura de recompensa subjacente (em vez de apenas o prior de imitação) se torna o fator decisivo.
• Escopo Modesto: Os autores são modestos em suas alegações, notando que as melhorias são específicas para tarefas com "margem restante" para classificação guiada por valor. Eles reconhecem limitações, incluindo o uso de um único backbone de VLA (Octo), a natureza off-policy dos dados de treinamento (treinado em execuções sem guia) e o pequeno tamanho dos conjuntos de dados de treinamento em relação aos parâmetros do modelo.

Em conclusão, o V-VLAPS demonstra que aumentar o MCTS guiado por VLA com uma função de valor aprendida pode melhorar o sucesso em tarefas de longo horizonte, desde que o algoritmo de busca tenha orçamento computacional suficiente para aproveitar o sinal de valor para a classificação de ramos.