ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation

Título: ProgressVLA: Política de Difusão Guiada por Progresso para Manipulação Robótica Visão-Linguagem

1. O Problema

Os modelos atuais de Visão-Linguagem-Ação (VLA) para manipulação robótica, embora avançados, carecem de uma consciência explícita do progresso da tarefa.

• Limitações Atuais: A maioria das abordagens depende de heurísticas manuais para determinar a terminação da tarefa ou de sinais implícitos e ruidosos de satisfação do objetivo.
• Desafio em Tarefas de Longo Horizonte: Em tarefas que envolvem múltiplos sub-objetivos sequenciais (ex: abrir uma gaveta, pegar um objeto, colocá-lo em um prato), a falta de uma noção densa de progresso leva a políticas que geram trajetórias visualmente plausíveis, mas irrelevantes para o objetivo final.
• Falta de Terminação Robusta: Sem um sinal de progresso confiável, os robôs frequentemente falham em detectar quando uma tarefa foi concluída, resultando em execuções excessivas ou falhas prematuras.

2. Metodologia: ProgressVLA

O artigo propõe o ProgressVLA, um framework que integra um estimador de progresso aprendido diretamente no processo de geração de ações de um modelo de difusão. A abordagem consiste em três componentes principais:

A. Estimador de Progresso (Progress Estimator)

• É um avaliador visão-linguagem que recebe como entrada a instrução textual ($l$), a imagem inicial ($o_0$) e a imagem atual ($o_t$).
• Saída: Um escore escalar normalizado de progresso $\hat{p} \in [0, 1]$, onde 0 é o início e 1 é a conclusão.
• Treinamento: Pré-treinado em grandes conjuntos de dados não supervisionados (Open X-Embodiment) e ajustado (fine-tuned) em dados específicos (LIBERO/CALVIN). Utiliza o tempo normalizado da trajetória como proxy para o progresso durante o treinamento.

B. Modelo de Mundo Latente (World Model)

• Utiliza uma arquitetura de Dinâmica Inversa para mapear transições visuais em um espaço de ação latente compacto ($a_z$).
• Utiliza uma Dinâmica Forward para prever estados visuais futuros a partir de ações latentes atuais.
• Função: Permite "imaginar" o futuro. Dada uma ação candidata, o modelo prevê como será a imagem futura, permitindo que o estimador de progresso avalie o resultado antes da execução real.

C. Política de Difusão Guiada por Progresso (Progress-Guided Diffusion Policy)

• A política gera ações em duas etapas: primeiro um bloco de ações latentes (estratégia de alto nível) e depois a decodificação para ações de baixo nível.
• Guia de Classificador (Classifier Guidance): Durante o processo de denoising (geração) do modelo de difusão, o sistema:
  1. Projeta a ação latente atual no futuro usando o Modelo de Mundo.
  2. Calcula o progresso previsto desse futuro usando o Estimador de Progresso.
  3. Backpropaga o gradiente do progresso através do modelo de mundo para ajustar a ação latente.
• Isso direciona a amostragem estocástica para trajetórias que maximizam o progresso em direção ao objetivo, em vez de apenas seguir a distribuição de dados de treinamento.

D. Ajuste Fino com RL (Reinforcement Learning)

• O framework inclui um estágio de ajuste fino online onde o robô coleta trajetórias reais.
• Utiliza uma perda de monotonicidade para corrigir o estimador de progresso (garantindo que o progresso não diminua em episódios bem-sucedidos) e otimiza a política para maximizar o escore de progresso previsto, mantendo-se próximo da política original via regularização KL.

3. Contribuições Principais

1. Estimativa Robusta de Progresso: Um estimador pré-treinado em larga escala que generaliza para cenários do mundo real e simulação, alcançando baixos resíduos de previsão (0.07 em escala 0-1 no CALVIN).
2. Guia de Progresso Diferenciável: A introdução de um pipeline onde o gradiente de progresso é usado para guiar a geração de ações em tempo real (durante o denoising), transformando a avaliação em um mecanismo de controle ativo.
3. Validação Empírica Abrangente: Demonstração de ganhos significativos em benchmarks padrão (CALVIN, LIBERO) e em robôs reais (ARX AC-One), superando métodos state-of-the-art em taxas de sucesso e eficiência de execução.

4. Resultados Experimentais

• Benchmarks de Simulação (CALVIN e LIBERO):

  • No CALVIN (tarefas de longo horizonte), o ProgressVLA com guia completo alcançou uma taxa de sucesso de 95.2% para 1 tarefa consecutiva e 52.0% para 5 tarefas consecutivas, superando o OpenVLA e outros baselines.
  • No LIBERO-LONG (focado em tarefas longas), o método atingiu 66.2% de sucesso, comparado a 53.7% do OpenVLA, demonstrando superioridade em tarefas complexas.
  • A guia de progresso reduziu o número médio de passos necessários para completar tarefas, indicando execução mais eficiente.

• Avaliação no Mundo Real:

  • Testado em um robô de dois braços (ARX) com tarefas como "abrir gaveta", "empilhar tigelas" e "pegar frutas".
  • O ProgressVLA com guia de progresso (CG) alcançou 76% de sucesso médio, contra 23% do baseline Octo.
  • Redução drástica no número de passos e na distância percorrida pelo efetuador final (ex: de 187.9 passos para 53.3 passos na média), indicando menos movimentos redundantes e oscilações.

• Generalização:

  • O estimador pré-treinado + ajustado manteve alta robustez sob mudanças de iluminação e com objetos não vistos durante o treinamento, superando significativamente modelos treinados "do zero" (from scratch).

5. Significado e Impacto

O ProgressVLA representa um avanço crucial na robótica de manipulação ao resolver o problema da "cegueira de progresso" em modelos generativos.

• Mudança de Paradigma: Em vez de tratar a avaliação de progresso como um passo posterior (post-hoc) ou usar heurísticas frágeis, o método integra a avaliação diretamente no núcleo da geração de políticas.
• Eficiência e Confiabilidade: Ao guiar a amostragem estocástica para estados de maior progresso, o método reduz a necessidade de reamostragem extensiva e fornece critérios de terminação confiáveis, essenciais para a autonomia robótica em tarefas complexas e de longo prazo.
• Escalabilidade: A capacidade de pré-treinar o estimador em grandes conjuntos de dados e transferir para o mundo real sugere um caminho viável para sistemas robóticos mais gerais e adaptáveis.

Em resumo, o trabalho demonstra que a incorporação explícita de um sinal de progresso diferenciável em políticas de difusão é uma estratégia poderosa para melhorar a direção, a eficiência e o sucesso de robôs em tarefas de manipulação complexas.