Resumo Técnico: RePO-VLA

Declaração do Problema

Os modelos Visão-Linguagem-Ação (VLA) avançaram no controle de robôs de propósito geral, mas permanecem frágeis em tarefas de manipulação de longo horizonte e ricas em contato. As abordagens atuais dependem fortemente do ajuste fino supervisionado (SFT) sobre demonstrações bem-sucedidas, criando um "ponto cego de subutilização de falhas". Quando ocorre desvio na execução — devido a desvios na pose de preensão, deslizamento de objetos ou erros de temporização — os VLAs padrão carecem de supervisão para se recuperar. Além disso, métodos existentes frequentemente descartam completamente as trajetórias de execução falhas, ignorando que suas fases iniciais podem conter comportamentos de aproximação válidos. Por outro lado, imitar ingenuamente trajetórias completas de recuperação (que incluem tanto o histórico de falha quanto ações corretivas) leva a confusão causal, onde a política aprende a associar o erro precedente à ação de recuperação, em vez de aprender a reagir ao estado adverso atual.

Metodologia: RePO-VLA

RePO-VLA (Otimização de Política Orientada à Recuperação para Modelo Visão-Linguagem-Ação) é um framework projetado para aprender a partir de trajetórias bem-sucedidas, falhas e recuperadas sob um sinal de progresso unificado. Ele opera em duas fases distintas:

1. Inicialização Consciente da Recuperação (RAI)

A primeira fase aborda o problema de "confusão causal" onde uma política pode aprender que um histórico específico de falha é um gatilho necessário para a recuperação.

• Corte de Trajetória com Reset de Histórico (TSHR): Trajetórias de recuperação brutas são cortadas para remover o prefixo de falha. O buffer de histórico de observação é redefinido no início do segmento corretivo. Isso força a política a aprender a recuperação como uma habilidade condicionada ao estado, baseada no estado adverso atual (por exemplo, uma garra vazia ou objeto desalinhado) e não como uma reprodução do erro específico que a causou.
• Treinamento: A política é ajustada finamente em uma mistura de demonstrações de especialistas e desses segmentos de recuperação redefinidos ($D_{expert} \cup D_{reset}^{rec}$), equilibrando a imitação nominal com o aprendizado de recuperação.

2. Refinamento Condicionado por Valor (VCR)

A segunda fase restaura o histórico completo de rolagem (incluindo prefixos de falha) e introduz um sinal denso de valor semântico para distinguir entre comportamentos úteis, de desvio e corretivos.

• Função de Valor Semântico Consciente de Progresso (PAS-VF): Uma rede adaptadora leve alinha características espaço-temporais de vídeo com instruções de linguagem em uma variedade semântica compartilhada. Ela aprende a estimar o progresso da tarefa medindo a similaridade cosseno entre o prefixo da trajetória atual e um cluster de trajetórias de referência bem-sucedidas.
• Rotulagem Densa:
  • Sucesso/Recuperação: Quadros que mantêm ou restauram o progresso são rotulados $v_t = 1.0$.
  • Segmentos de Erro: Prefixos que levam a estados adversos são rotulados $v_t = 0.0$ para evitar a média com ações corretivas.
  • Falhas Puras: Priors cinemáticos iniciais são preservados por meio de um mecanismo de decaimento de confiabilidade ($v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$), enquanto colapsos terminais são subponderados.
• Treinamento Condicionado por Valor: A política é aumentada com um token de valor ($e_{val}$) derivado dos rótulos densos. Durante o treinamento, a política aprende a mapear a mesma observação adversa e histórico para diferentes modos de ação dependendo do valor desejado.
• Implantação: Na inferência, a política usa o buffer padrão de histórico de rolagem (sem redefinição), mas fixa o token de valor em $v = 1.0$. Isso viésa a distribuição de ações para a "variedade de sucesso" aprendida, permitindo recuperação autônoma sem detectores de falha online ou regras heurísticas de nova tentativa.

Principais Contribuições

1. Framework RePO-VLA: Uma arquitetura de duas fases (RAI + VCR) que reutiliza estruturalmente execuções falhas. Elimina a confusão causal via redefinição de histórico e habilita ações diferenciadas por valor via rótulos densos de progresso.
2. FRBench: Um novo benchmark para avaliação de recuperação, apresentando injeção padronizada de erros (E1–E4: fechamento prematuro, deslizamento de preensão, deslocamento de posição, incompatibilidade de orientação) e um protocolo baseado em fases que isola a proficiência nominal da capacidade corretiva tanto em simulação (RoboTwin) quanto em tarefas bimanuais do mundo real.
3. Validação Empírica: Demonstrou que a supervisão explícita de recuperação e a orientação densa por valor melhoram significativamente a robustez. O artigo mostra uma tendência positiva de escala, onde o aumento da densidade de dados de recuperação melhora ainda mais o desempenho.

Resultados Experimentais

• Simulação (FRBench-Sim): Em 46 tarefas bimanuais, o RePO-VLA superou significativamente as linhas de base (incluindo $\pi_0$, $\pi_0.5$ e RDT) sob falhas injetadas. Em configurações aleatórias com perturbações adversariais, o RePO-VLA alcançou uma taxa de sucesso média de 43,0%, comparado a 15,4% para a linha de base $\pi_0.5$.
• Avaliação no Mundo Real: Testado em braços Dobot X-Trainer para tarefas como derramar água, cozinhar e dobrar toalhas.
  • Sob perturbações adversariais, a linha de base $\pi_0.5$ alcançou 20,0% de sucesso, enquanto o RePO-VLA (Fase I apenas) atingiu 37,5%.
  • Escala de Dados: O aumento da densidade de dados de recuperação de 1x para 4x melhorou ainda mais o desempenho. A variante Completa (4x) alcançou 75% de sucesso sob condições adversariais, superando a linha de base da Fase I e demonstrando que uma cobertura mais densa de vizinhanças de falha-recuperação é crítica.
• Estudos de Ablação: Confirmaram que a redefinição de histórico (TSHR) é essencial para prevenir confusão causal e que a condicionamento por valor ($v=1.0$) fornece um sinal de controle estável superior a novas tentativas heurísticas.

Significado e Alegações

O artigo alega que o RePO-VLA aborda a fragilidade dos modelos VLA atuais mudando fundamentalmente como os dados de falha são utilizados. Em vez de descartar falhas ou tratar episódios de recuperação como uniformemente positivos, o framework os decompõe em papéis semânticos distintos:

• Prefixos úteis de falhas são retidos como priors cinemáticos.
• Colapsos terminais são subponderados com segurança.
• Ações corretivas são aprendidas como habilidades condicionadas ao estado, desacopladas do histórico de falha específico que as precedeu.

Os autores postulam que essa abordagem permite que uma única política lide tanto com a execução nominal quanto com a recuperação autônoma, sem alternar módulos ou depender de detectores de falha externos. Os resultados sugerem que, para manipulação confiável de longo horizonte, especialmente em ambientes ricos em contato, a capacidade de se recuperar de desvios é tão crítica quanto a capacidade de executar o plano nominal, e essa capacidade pode ser aprendida diretamente a partir de dados de interação de qualidade mista.