Diagnosing Semantic Handoff Failures in Agent-Orchestrated Vision-Language-Action Skill Composition

Resumo Técnico: Diagnóstico de Falhas de Handoff Semântico em Composição de Habilidades VLA Orquestradas por Agentes

Declaração do Problema
Tarefas domésticas de longo horizonte exigem que robôs componham múltiplas habilidades condicionadas à linguagem. Embora as habilidades individuais possam ser treinadas para satisfazer seus pós-condições específicas, a fronteira entre duas habilidades sequenciais é frequentemente subespecificada. Isso leva ao problema do handoff semântico: uma habilidade pode completar com sucesso seu objetivo local (ex: navegar até um objeto), mas deixa o robô, os objetos ou as visões de câmera em um estado que impede a execução da habilidade subsequente (ex: o objeto está visível, mas fora do alcance de preensão). Isso cria um deslocamento de distribuição onde o estado terminal de uma política é fora da distribuição (out-of-distribution) para a próxima, causando falhas em execuções de longo horizonte, mesmo quando as habilidades individuais são competentes isoladamente.

Metodologia
Os autores propõem um harness de execução de visão-linguagem-ação (VLA) orquestrado por agente para estudar e diagnosticar essas falhas dentro do ambiente BEHAVIOR-1K. A arquitetura do sistema separa a camada do agente (decomposição de tarefas, rastreamento de estado, verificação e recuperação) da camada de embodiment (inferência VLA e controle de baixo nível).

1. Biblioteca de Habilidades e Contratos: O sistema utiliza uma biblioteca de políticas VLA baseadas em $\pi_0.5$ treinadas em demonstrações limpas do BEHAVIOR-1K. As habilidades são representadas como contratos semânticos: $s_t = (nome, args, prompt, B_s, K_s, \phi_t)$, onde $B_s$ é um orçamento de passos, $K_s$ é um intervalo de verificação e $\phi_t$ é a pós-condição esperada.
2. Loop Plan-Act-Verify-Replan (Planejar-Agir-Verificar-Replanejar): O agente executa habilidades em um loop delimitado. Após cada $K_s$ passos, um verificador VLM multi-visão (usando visões da câmera da cabeça e do pulso) verifica se a pós-condição $\phi_t$ é atendida.
   • Se verificada, o agente avança para a próxima habilidade.
   • Se a verificação falhar ou for incerta, o agente aciona a recuperação (replanejamento ou tentativa de repetição) dentro do mesmo orçamento de episódio.
   • O sistema impõe pós-condições "conscientes do handoff"; por exemplo, uma habilidade de move_to exige que o alvo não esteja apenas visível, mas a uma distância de "alcance do braço" para garantir a prontidão para uma subsequente pick_up_from.
3. Protocolo de Avaliação Diagnóstica: Os autores comparam dois protocolos usando os mesmos checkpoints de habilidade:
   • Benchmark Isolado: As habilidades são executadas a partir de snapshots limpos e curados de fronteiras de habilidade (restaurados de demonstrações).
   • Rollout Composto: As habilidades são executadas de ponta a ponta, onde cada habilidade começa a partir do estado terminal real da anterior.
4. Análise de Traço: O harness registra traços reproduzíveis de tentativas de habilidade, decisões do verificador e replanejamentos. As tentativas falhas são automaticamente atribuídas a causas específicas: Grounding de Alvo (objeto não encontrado/visível), Execução de Controle (falha de preensão/atuação) ou Prontidão para a Próxima Habilidade (estado não preparado para o próximo passo).

Principais Resultados

• Lacuna de Competência: As habilidades individuais demonstram altas taxas de sucesso (77–100%) quando avaliadas isoladamente a partir de snapshots limpos (ex: open_door em 100%, pick_up_from em 96,5%). No entanto, quando compostas em rollouts de ponta a ponta, o sucesso da tarefa cai significamente (próximo a zero para muitas tarefas), com pontuações de progresso variando em média apenas 19,5% através das sequências de habilidades de referência.
• Atribuição de Falha: Os traços diagnósticos revelam que as falhas raramente se devem à falta de capacidade bruta da habilidade. Em vez disso, elas derivam de falhas de transferência:
  • Prontidão para a Próxima Habilidade: A navegação frequentemente para antes de uma pose de preensão, ou o movimento de abrir a porta move o próximo alvo para fora da visão.
  • Grounding de Alvo: Objetos tornam-se inobserváveis ou ambíguos após ações anteriores.
  • Execução de Controle: Manipulações ricas em contato falham com mais frequência em estados encadeados do que em isolamento.
• Achados de Ablação: O estreitamento do verificador de navegação para exigir estritamente um handoff de "alcance do braço" (em vez de apenas visibilidade) revelou falhas de prontidão adicionais e desencadeou mais tentativas de re-navegação, confirmando que o principal gargalo é a incapacidade do VLA de alcançar um estado pronto para a próxima habilidade a partir de uma condição inicial encadeada.

Significância e Alegações
O artigo posiciona a camada do agente não meramente como um controlador, mas como um instrumento de diagnóstico para robótica de longo horizonte. Sua principal contribuição é transformar taxas de sucesso de tarefa próximas de zero em evidências acionáveis e baseadas em traços. Os autores alegam que:

1. A competência de snapshot não garante robustez composicional. A lacuna entre o sucesso da habilidade isolada e a falha de estado encadeado é um deslocamento de distribuição específico que o escalonamento padrão de dados de demonstração limpa não pode resolver totalmente.
2. Bibliotecas VLA requerem novos alvos de aprendizado. Para permitir a execução confiável de longo horizonte, as políticas VLA devem aprender a robustez ao "caótico" estado encadeado e otimizar explicitamente para a prontidão da próxima habilidade, não apenas para pós-condições locais.
3. A verificação é crítica. O estudo demonstra que a verificação VLM multi-visão, combinada com pós-condições conscientes do handoff, é essencial para detectar falhas de handoff semântico que os predicados simbólicos padrão ou benchmarks de habilidade única perdem.

Os autores concluem que seu framework fornece um roteiro para melhorar as bibliotecas de habilidades VLA ao identificar capacidades específicas de prontidão e grounding que os modelos atuais carecem, em vez de simplesmente reivindicar taxas de conclusão de tarefa de estado da arte.