💻 computer science

Scalable Behavior Cloning with Open Data, Training, and Evaluation

Este artigo apresenta o ABC, uma pilha totalmente de código aberto para clonagem de comportamento em manipulação robótica que apresenta o maior conjunto de dados de teleoperação até o momento (ABC-130K), um pipeline reprodutível de hardware e simulação com receitas de co-treinamento, e avaliações abrangentes de arquiteturas de Diffusion Transformer e Vision-Language-Action em tarefas destras complexas.

Autores originais: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Mali

Publicado 2026-06-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, Angjoo Kanazawa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você queira ensinar um robô a realizar tarefas complexas, como dobrar uma caixa de papelão, separar peças de LEGO ou até mesmo puxar um cartão de crédito de uma carteira apertada. No passado, ensinar robôs era como tentar ensinar uma criança mostrando apenas uma foto única e borrada de uma tarefa e esperando que ela a compreendesse. Era caro, lento e, muitas vezes, o robô simplesmente desistia.

Este artigo apresenta o ABC, um enorme "kit de início" de código aberto para ensinar robôs a aprender observando humanos. Pense nisso como a "Wikipedia" ou o "YouTube" do treinamento de robôs, mas em vez de apenas vídeos, inclui as receitas reais, os utensílios de cozinha e a cozinha de testes para que qualquer pessoa possa experimentar.

Aqui está a divisão da sua "Estrutura ABC" usando analogias simples:

1. A Biblioteca: ABC-130K (O "Livro de Receitas")

Imagine uma biblioteca que não tem apenas uma ou duas receitas, mas sim 3.500 horas de filmagens de humanos realizando 130.000 tarefas diferentes.

O que há dentro: Humanos usando dois braços robóticos para fazer de tudo, desde trabalhos simples de "pegar e colocar" até tarefas de destreza super complicadas, como dobrar aviões de papel ou abrir uma caixa com uma chave.
Por que isso importa: Antes disso, a maioria dos dados de robótica era ou muito pequena, ou cara demais para coletar, ou estava trancada em cofres corporativos secretos. Esta é a maior coleção aberta do gênero, construída sobre um robô que custa cerca de US$ 8.000 (barato para um robô), tornando-a acessível para pesquisadores comuns, não apenas para gigantes da tecnologia.

2. O Cérebro: ABC-Models (Os "Alunos")

Os autores não apenas despejaram os dados; eles construíram dois tipos diferentes de robôs "estudantes" para aprender com ele e testaram qual estilo de aprendizagem funciona melhor.

O "Transformer de Difusão" (DiT): Pense nisso como um aluno que é muito bom em olhar para uma imagem e adivinhar o próximo passo, passo a passo, como se estivesse preenchendo um palavras cruzadas.
O "Visão-Linguagem-Ação" (VLA): Pense nisso como um aluno que consegue ler instruções, olhar para a imagem e entender o contexto de uma só vez.
O Experimento: Eles testaram esses alunos com diferentes "professores" (diferentes ângulos de câmera e entradas de linguagem). Eles descobriram que o aluno VLA aprendia mais rápido quando recebia mais poder computacional, enquanto o aluno DiT era mais eficiente com menos energia. Eles liberaram os cérebos "formados" (os pesos do modelo) para que qualquer pessoa possa usá-los.

3. O Simulador: ABC-Sim (O "Simulador de Voo")

Normalmente, para ver se um robô é inteligente, você precisa deixá-lo tentar a tarefa no mundo real. Se ele falhar, pode quebrar algo ou levar horas para ser reiniciado.

A Solução: Os autores construíram uma "realidade virtual" de simulador de voo para robôs. Eles criaram 400 horas de dados onde humanos teleoperaram robôs dentro de um jogo de computador.
A Magia: Eles provaram que, se um robô se sai bem neste videogame, é provável que ele se saia bem no mundo real. Isso é como dizer: "Se você consegue voar este avião no simulador, provavelmente está pronto para o céu real". Isso permite que pesquisadores testem suas ideias sem precisar de um robô físico ou arriscar danos.

4. O Teste de Direção: ABC-Eval (O "Exame de Direção")

Eles não apenas disseram "funciona"; eles realmente conduziram os robôs através de uma série de tarefas.

Os Resultados: Os robôs aprenderam com sucesso a dobrar caixas, separar itens e realizar tarefas delicadas, como inserir uma chave em uma fechadura.
O Truque "DAgger": Para a tarefa mais difícil (dobrar uma caixa), o robô continuava falhando. Os autores usaram uma técnica chamada DAgger. Imagine um instrutor de direção que deixa o aluno dirigir, mas no momento em que o aluno começa a bater, o instrutor assume o volante para corrigir, e então deixa o aluno tentar novamente. Ao coletar esses momentos de "correção", o robô aprendeu como se recuperar de erros e, eventualmente, dominou a dobra da caixa.

O Panorama Geral

Os autores estão dizendo: "Nós construímos todo o sistema escolar para o aprendizado de robôs. Temos os livros didáticos (dados), os professores (modelos), os exames práticos (simulação), os testes finais (resultados no mundo real). Estamos dando tudo isso de graça."

O objetivo deles é deixar de tornar o aprendizado de robôs um clube secreto para empresas ricas e iniciar um esforço comunitário onde todos possam aprender o "ABC" de ensinar robôs juntos. Eles não estão prometendo robôs que farão sua lavanderia amanhã, mas estão fornecendo a base para que os pesquisadores possam finalmente começar a construí-los.

Resumo Técnico: Escalonamento de Clonagem de Comportamento com Dados, Treinamento e Avaliação Abertos (ABC)

1. Declaração do Problema

O progresso na manipulação robótica via clonagem de comportamento (BC - Behavior Cloning) é atualmente dificultado pela falta de reprodutibilidade e escalabilidade. Sistemas de estado da arte são frequentemente desenvolvidos em laboratórios industriais proprietários utilizando conjuntos de dados fechados, tornando difícil para a comunidade em geral verificar os resultados ou compreender quais escolhas de design impulsionam o desempenho. Os conjuntos de dados abertos existentes sofrem com escala insuficiente, dependência de hardware especializado caro ou falta de infraestrutura de treinamento e suítes de avaliação necessárias. Além disso, a avaliação rigorosa de políticas de BC normalmente exige um escalonamento no mundo real logisticamente demandante e caro, criando um gargalo onde o progresso na fronteira permanece opaco.

2. Metodologia e Visão Geral do Sistema

Os autores apresentam o ABC, uma pilha (stack) totalmente de código aberto e de ponta a ponta, projetada para democratizar o aprendizado robótico. O sistema é composto por quatro componentes integrados:

A. ABC-130K (Dataset)

O núcleo do lançamento é o ABC-130K, o maior conjunto de dados de teleoperação de código aberto até o momento.

Escala: 3.553 horas de dados de teleoperação bimanual do mundo real, compreendendo 134.806 episódios em 195 tarefas distintas.
Hardware: Coletado em uma plataforma robótica bimanual YAM de baixo custo ($8.000).
Diversidade: As tarefas abrangem 7 categorias de primitivas (ex: pegar e colocar, dobrar, uso de ferramentas, montagem) e incluem comportamentos altamente destros como dobrar caixas, extrair cartões de crédito de carteiras e inserir AirPods.
Metadados: Inclui IDs de operadores anonimizados, carimbos de tempo (timestamps) e um subconjunto de 1.552 horas com anotações de submetas (subtrajetórias contíguas rotuladas com descrições de subtarefas).
Desafio Técnico: Os autores abordam o gargalo de vazão (throughput) de decodificação de quadros de vídeo codificados nesta escala implementando um carregador de dados (dataloader) otimizado.

B. ABC-Models (Arquitetura e Treinamento)

O artigo investiga duas famílias primárias de políticas para BC de larga escala, comparando escolhas arquiteturais através de ablações no mundo real:

ABC-DiT: Uma política de Transformer de Difusão (Diffusion Transformer) com codificadores de visão e linguagem leves.
- Arquitetura: Backbone DiT de 32 camadas (2 bilhões de parâmetros).
- Principais Descobertas: Os autores descobriram que substituir o condicionamento global AdaLN por cross-attention agrupada (pooled cross-attention) preserva a informação espacial fina crucial para a manipulação. Além disso, substituir o codificador de imagem CLIP por DINOv3 melhorou significativamente o desempenho, sugerindo que representações alinhadas ao pixel são superiores para ações robóticas de baixo nível.
ABC-VLA: Um modelo de Visão-Linguagem-Ação construído sobre o Gemma 3 (4 bilhões de parâmetros) com uma cabeça de ação de difusão.
- Arquitetura: Utiliza um backbone VLM ajustado (finetuned) com um objetivo de predição de ação.
- Análise de Conector: Os autores compararam três mecanismos de conexão: Cross-Attention, Cross-Attention + FAST (co-treinamento) e Adaptive LayerNorm (AdaLN). O AdaLN superou os outros (61,4% de progresso médio vs. 32,6% para o FAST), sugerindo que os gradientes de difusão são compatíveis com as características do VLM se forem devidamente interconectados.
- Escalonamento: O estudo explora tamanhos de lote (batch sizes) (1,5k, 4,6k, 9,2k). Embora os DiTs sejam mais eficientes computacionalmente (em termos de FLOPs), os VLAs mostram um salto significativo de desempenho em lotes maiores (9,2k), eventualmente superando os DiTs em tarefas do mundo real.

C. ABC-Sim (Simulação e Correlação)

Para permitir a iteração sem hardware físico, os autores fornecem o ABC-Sim, uma suíte de 10 tarefas de simulação (ex: virar canecas, carregar pratos) construída em MuJoCo com um pipeline Blender para renderização de alta fidelidade.

Dados: 400 horas de dados de teleoperação de simulação coletados via VR (Meta Quest/Apple Vision Pro) usando braços líderes GELLO.
Correlação Sim-to-Real: Os autores demonstram uma forte correlação entre o desempenho em simulação e no mundo real ( $r=0,85$ para sucesso estrito, $r=0,91$ para progresso da tarefa), validando a simulação como um proxy confiável para estudos de ablação.

D. ABC-Eval (Avaliação)

A pilha inclui uma suíte de avaliação padronizada com mais de 100 horas de execuções (rollouts) de políticas no mundo real e rubricas para métricas como "Sucesso Estrito" (conclusão da tarefa) e "Progresso" (progresso médio da tarefa).

E. Técnicas Avançadas de Treinamento

Métricas Offline: O artigo estabelece que a perda de treinamento (training loss) e o erro de ação de validação (distância L2 entre a ação prevista e a real) estão negativamente correlacionados com o desempenho no mundo real, servindo como proxies baratos para seleção de modelos. A perda de validação isoladamente foi considerada sem correlação.
DAgger para Tarefas Destras: Para tarefas complexas como dobrar caixas, onde o ajuste fino (finetuning) ingênuo falha, os autores utilizam DAgger (Dataset Aggregation). Eles coletam "comportamentos de recuperação" intervindo quando a política apresenta dificuldades, em vez de coletar demonstrações completas. Esta abordagem, combinada com uma razão de mistura de dados específica (80% anterior, 10% intervenção atual, 10% execução atual), melhorou significativamente o desempenho em tarefas de longo horizonte.

3. Principais Resultados

Desempenho: As políticas de linha de base resultantes (ABC-DiT e ABC-VLA) executam tarefas destras prontamente, incluindo dobrar caixas de papelão, inserir chaves em fechaduras e embalar sacolas.
Arquitetura: O DINOv3 com cross-attention agrupada é identificado como a representação visual ideal para os DiTs. O AdaLN é identificado como o mecanismo de condicionamento superior para modelos VLA neste conjunto de dados.
Escalonamento: Aumentar o tamanho do lote para 9.216 gera ganhos significativos para os modelos VLA, permitindo que superem o desempenho do DiT em métricas do mundo real, embora os DiTs permaneçam mais eficientes em termos de FLOPs.
Finetuning: O pré-treinamento no diversificado ABC-130K melhora significativamente o desempenho do ajuste fino de tarefa única subsequente em comparação com o treinamento do zero ou usando conjuntos de dados internos menores.

4. Significância e Alegações

O artigo afirma que, ao fornecer um kit de ferramentas reprodutível (dados, modelos, infraestrutura e avaliação), ele coloca os pesquisadores em um "pé de igualdade". A significância reside em:

Democratização: Movendo a pesquisa de manipulação robótica de laboratórios industriais opacos e proprietários para uma base aberta e impulsionada pela comunidade.
Padronização: Estabelecendo um benchmark comum (ABC-130K) e um protocolo de avaliação para comparar decisões arquiteturais e de treinamento de forma rigorosa.
Eficiência: Validando a simulação e as métricas offline como proxies confiáveis, reduzindo o custo e o tempo necessários para o desenvolvimento iterativo de modelos.
Base para Trabalhos Futuros: Os autores posicionam o ABC como uma base para responder a questões abertas sobre condicionamento de histórico, leis de escala para BC e ajuste fino de RL, visando "aprender o ABC da Clonagem de Comportamento juntos como uma comunidade".