Resumo Técnico: TapSampling

Declaração do Problema

A pesquisa existente em controle corporificado focou-se amplamente em escalar dados de treinamento e tamanho de modelo para melhorar políticas de manipulação robótica. Embora modelos generativos não determinísticos (por exemplo, modelos de difusão e Modelos de Linguagem Grandes autoregressivos) tenham demonstrado capacidades notáveis, seu desempenho é fundamentalmente limitado pelo paradigma de inferência de tiro único. Devido à natureza estocástica desses modelos, condições idênticas de ambiente podem produzir resultados bem-sucedidos em algumas instâncias e falhas em outras. As estratégias atuais de tempo de inferência para robótica frequentemente sofrem de duas limitações principais:

1. Ineficiência de Amostragem ou Fidelidade: Amostragem repetida diretamente de modelos de política aumenta significativamente a latência de inferência (em uma ordem de magnitude), enquanto a amostragem de distribuições Gaussianas simples ignora correlações interdimensionais em blocos de ação, levando a candidatos que se desviam da verdadeira distribuição de ação.
2. Desafios de Verificação: Há uma falta de modelos prontos para uso capazes de entender e interpretar ações robóticas de baixo nível. Métodos de verificação existentes frequentemente dependem de funções criadas manualmente, aprendizado por reforço offline ou aprendizado de preferência, que podem carecer de interpretabilidade ou estar fortemente acoplados a arquiteturas de política específicas, limitando sua aplicabilidade plug-and-play.

Metodologia

Os autores propõem o TapSampling, um framework de amostragem em tempo de inferência, plug-and-play e agnóstico à política, projetado para melhorar políticas robóticas generalistas sem ajuste fino adicional. O framework opera através de dois componentes principais:

1. Amostragem Eficiente de Ação com Posterior Aprendido

Para abordar o trade-off entre eficiência de amostragem e qualidade de ação, o TapSampling introduz um Action-VAE (Autoencoder Variacional).

• Arquitetura: O Action-VAE utiliza um codificador e um decodificador baseados em transformador.
• Processo:
  • Um pequeno conjunto de ações iniciais ($N$) é amostrado da política base $\pi$.
  • O codificador comprime essas ações em uma distribuição Gaussiana latente (média $\mu$ e covariância diagonal $\sigma^2$).
  • Uma distribuição posterior mista é construída pela média das distribuições latentes das amostras iniciais.
  • Um número arbitrário de novas amostras latentes é extraído dessa posterior comprimida e decodificado em ações candidatas.
• Benefício: Esta abordagem captura correlações intra-bloco entre dimensões de ação, garantindo que os candidatos gerados permaneçam próximos da verdadeira distribuição da política, enquanto são significativamente mais rápidos que a amostragem repetida da política (aprox. 5$\times$ mais rápido).

2. Seleção de Ação Interpretável via Verificação de Progresso da Tarefa

Para selecionar a ação ótima entre os candidatos, o TapSampling emprega um Verificador de Compreensão de Progresso da Tarefa.

• Construção de Dados de Treinamento: O verificador é treinado usando a estrutura sequencial intrínseca de trajetórias robóticas de especialistas. Ao assumir que o progresso da tarefa cresce linearmente ao longo do tempo, os autores constroem amostras positivas (sequências de ações para frente levando ao progresso) e amostras negativas (sequências de ações invertidas levando à regressão) diretamente a partir de conjuntos de dados existentes, não exigindo anotação manual adicional.
• Arquitetura: O verificador é construído sobre uma base Vision-Language-Action (VLA) (especificamente Qwen2.5-0.5B). Ele recebe o estado atual, instrução da tarefa e uma ação de consulta como entrada para prever a mudança esperada no progresso da tarefa ($\Delta p$).
• Mecanismo de Seleção: A pontuação prevista carrega significado semântico explícito (por exemplo, uma pontuação negativa indica impedimento, uma grande pontuação positiva indica progresso rápido). Durante a inferência, candidatos com pontuações abaixo de um limiar são descartados, e uma média ponderada por pontuação dos candidatos restantes é computada para produzir a ação final.
• Eficiência: A base VLM é executada apenas uma vez por par observação-instrução. Estados ocultos são compartilhados entre todos os candidatos, que são então avaliados em paralelo através de um cabeçalho de ação leve, permitindo verificação de alto rendimento.

Contribuições Principais

1. Framework Agnóstico à Política: Um sistema plug-and-play que aprimora políticas generalistas pré-treinadas sem exigir ajuste fino adicional.
2. Amostragem de Posterior Aprendido: Uma estratégia baseada em Action-VAE que codifica ações em uma distribuição comprimida, permitindo a geração eficiente de candidatos de ação diversos e de alta qualidade que aderem à distribuição da política.
3. Verificação de Progresso da Tarefa: Um verificador treinado para prever o impacto de ações de baixo nível no progresso da tarefa, permitindo seleção de ação interpretável baseada em pontuações semânticas explícitas em vez de sinais de recompensa opacos.
4. Validação Empírica: Demonstração de melhorias substanciais de desempenho em diversos ambientes simulados e do mundo real.

Resultados Experimentais

Os autores avaliaram o TapSampling em benchmarks simulados (CALVIN, LIBERO) e configurações robóticas do mundo real.

• Benchmark CALVIN (Simulado): O TapSampling melhorou o comprimento médio de sucesso para múltiplas políticas não determinísticas:
  • Diffusion Policy: Aumentou de 2,41 para 2,58.
  • OpenVLA: Aumentou de 3,30 para 3,51.
  • VPP: Aumentou de 4,39 para 4,46.
  • As melhorias foram consistentes em diferentes etapas da tarefa (1–5), indicando melhor estabilidade de longo horizonte.
• Benchmark LIBERO-Long (Simulado): Aplicado à política $\pi0.5$, o método melhorou a taxa de sucesso de 96,8% para 98,0%.
• Experimentos do Mundo Real: Usando um braço Franka Research 3, o TapSampling melhorou a taxa média de sucesso da política $\pi0$ de 78,3% para 83,3%. Notavelmente, aprimorou a precisão em tarefas que exigem alinhamento espacial e colocação consciente de contato (por exemplo, empilhamento e colocação de objetos).
• Análise de Eficiência:
  • Amostragem: A Amostragem de Posterior Aprendido incorreu em latência adicional negligenciável (<0,01s) comparada à amostragem Gaussiana, enquanto foi significativamente mais rápida que a Amostragem de Política repetida.
  • Verificação: O TapSampling alcançou um aumento de velocidade de aproximadamente 12$\times$ na latência de verificação comparado ao RoboMonkey (que usa LLaVA-7B) ao avaliar 16 candidatos, devido à sua arquitetura de avaliação em lote.
  • Fidelidade: A análise de Discrepância Média Máxima (MMD) confirmou que ações geradas via Amostragem de Posterior Aprendido alinham-se mais estreitamente com a verdadeira distribuição da política do que aquelas da amostragem Gaussiana.

Significado e Alegações

O artigo postula que alocar computação para o tempo de inferência oferece um caminho eficaz e agnóstico ao modelo para melhorar a confiabilidade e o desempenho de políticas robóticas generalistas, servindo como um eixo complementar ao escalonamento de dados de treinamento.

Os autores afirmam que o TapSampling aborda a instabilidade inerente à inferência de tiro único ao:

1. Fornecer um mecanismo para corrigir falhas causadas por variância estocástica sem retreinar a política.
2. Permitir seleção de ação interpretável através de um verificador que entende o progresso da tarefa, em vez de depender de pontuação de caixa preta.
3. Equilibrar eficiência e eficácia através da estratégia de Amostragem de Posterior Aprendido, que evita a alta latência de consultas repetidas à política enquanto mantém alta fidelidade de ação.

O trabalho sugere que estratégias de tempo de inferência, particularmente aquelas fundamentadas na compreensão do progresso da tarefa, são uma direção viável e necessária para implantar sistemas robustos de manipulação robótica em cenários complexos do mundo real.