A Pragmatic VLA Foundation Model

O artigo apresenta o LingBot-VLA, um modelo fundamental Vision-Language-Action (VLA) treinado com 20.000 horas de dados reais de robôs de dois braços, que supera concorrentes em generalização e eficiência computacional, enquanto disponibiliza código, modelo e dados de benchmark para promover o avanço da aprendizagem robótica.

O essencial

Imagine que você quer ensinar um robô a fazer tarefas complexas, como montar um sanduíche, organizar brinquedos ou arrumar uma mesa. Antigamente, você teria que ensinar cada movimento individualmente, como se estivesse ensinando uma criança a andar: "levante o pé direito, coloque no chão, mova o esquerdo". Isso era lento, caro e o robô só sabia fazer exatamente o que foi ensinado.

Este artigo apresenta o LingBot-VLA, uma nova "inteligência" para robôs que muda completamente essa abordagem. Pense nele não como um robô que obedece a comandos, mas como um estagiário superinteligente e poliglota que aprendeu a trabalhar observando milhares de horas de pessoas reais fazendo tarefas no mundo real.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O "Livro de Receitas" Gigante (Os Dados)

Para criar esse robô, os pesquisadores não usaram apenas simulações de computador (que são como treinar um piloto em um jogo de videogame). Eles coletaram 20.000 horas de vídeos reais de robôs trabalhando.

• A Analogia: Imagine que, em vez de ler um livro de receitas teórico, você contratou 9 cozinheiros diferentes (os robôs de 9 modelos diferentes) e gravou cada um deles cozinhando, limpando e organizando por anos. O LingBot-VLA "assistiu" a tudo isso.
• O Resultado: Quanto mais o robô "assistiu" a esses vídeos, melhor ele ficou. O estudo mostrou que, mesmo com 20.000 horas de dados, o robô ainda estava aprendendo e melhorando. Não há um limite de "saciedade"; quanto mais dados, mais inteligente ele fica.

2. O Cérebro e o Corpo (A Arquitetura)

O robô precisa de duas coisas: entender o que está vendo e ouvindo (o cérebro) e saber como mover seus braços (o corpo).

• O Cérebro (VLM): Eles usaram um modelo de linguagem e visão já muito esperto (como um professor universitário que sabe falar e ver). Ele entende frases como "pegue o pão e faça um sanduíche".
• O Corpo (Action Expert): Eles criaram um especialista em movimento que sabe como traduzir essa frase em movimentos físicos suaves.
• A Conexão: Eles usaram uma técnica chamada "Mistura de Transformadores". Pense nisso como uma orquestra. O maestro (o mecanismo de atenção) garante que o violinista (a visão) e o percussionista (o movimento) toquem juntos perfeitamente, sem um atrapalhar o outro. Isso permite que o robô entenda o contexto e aja ao mesmo tempo.

3. O Treinamento Rápido (Eficiência)

Treinar robôs costuma ser como tentar encher uma piscina com um copinho de água: muito lento e caro.

• O Problema: Os códigos de treinamento antigos eram como carros antigos: gastavam muita gasolina (tempo de processador) e andavam devagar.
• A Solução: A equipe criou um novo "motor" (um código de software otimizado). Eles conseguiram fazer o treinamento ser 1,5 a 2,8 vezes mais rápido.
• A Analogia: É como trocar um caminhão de tração lenta por um trem de alta velocidade. Eles conseguiram processar 261 "lições" por segundo usando apenas 8 placas gráficas. Isso significa que o robô pode aprender em dias o que antes levaria meses, economizando muito dinheiro.

4. O Grande Exame (A Avaliação)

Para provar que o robô funciona, eles não fizeram um teste simples. Eles colocaram o LingBot-VLA para enfrentar 100 tarefas diferentes em 3 robôs físicos diferentes (como se fosse um teste de direção em três carros diferentes, em três cidades diferentes).

• O Cenário: As tarefas iam desde "separar cubos por tamanho" até "descascar um limão" e "dobrar toalhas".
• O Confronto: Eles compararam o LingBot-VLA com os melhores robôs do mundo atual.
• O Veredito: O LingBot-VLA venceu de forma clara. Ele não apenas completou mais tarefas, mas também conseguiu fazer mais progresso mesmo quando falhava (como conseguir colocar o pão na torradeira, mesmo que não conseguisse fechar o sanduíche).
• O Segredo: A versão do robô que também usava informações de profundidade (como nossos olhos veem a distância) foi ainda melhor, mostrando que ver o "espaço 3D" é crucial para não derrubar coisas.

5. Por que isso é importante para nós?

Até agora, robôs eram como "papagaios": repetiam o que foi ensinado. O LingBot-VLA é como um aprendiz.

• Generalização: Se você ensina ele a abrir uma porta de vidro, ele provavelmente saberá abrir uma porta de madeira, porque ele entendeu o conceito de "abrir", não apenas o movimento específico.
• Custo: Como o treinamento é mais rápido e eficiente, robôs inteligentes ficarão mais baratos e acessíveis no futuro.
• Abertura: A equipe liberou o código, o modelo e os dados de graça. É como se eles tivessem aberto a "fábrica de robôs" para que qualquer pessoa no mundo possa usar e melhorar essa tecnologia.

Em resumo:
Os pesquisadores criaram um robô que aprendeu observando o mundo real em grande escala, foi treinado de forma super rápida e eficiente, e provou ser o melhor em realizar tarefas complexas em diferentes tipos de robôs. Eles estão abrindo as portas para uma era onde robôs podem realmente ajudar nas nossas casas e indústrias, não apenas como máquinas repetitivas, mas como assistentes inteligentes.

Resumo técnico

Resumo Técnico: LingBot-VLA

1. O Problema

Os modelos Fundamentais Visão-Linguagem-Ação (VLA) têm emergido como uma abordagem promissora para permitir que robôs realizem tarefas de manipulação diversas guiadas por instruções em linguagem natural. No entanto, existem lacunas críticas na área:

• Falta de Estudos de Escala Empíricos: Há uma escassez de pesquisas abrangentes sobre como o desempenho de robôs reais escala com o aumento massivo de dados de pré-treinamento.
• Ineficiência Computacional: A comunidade carece de codebases (bases de código) altamente otimizados capazes de realizar avaliações de escala em grandes volumes de dados de forma eficiente.
• Generalização e Avaliação: Muitos modelos existentes não são rigorosamente avaliados em múltiplas plataformas robóticas reais com tarefas diversificadas, limitando a compreensão de sua verdadeira capacidade de generalização.

A questão central investigada é: Como os modelos VLA realmente escalam com dados massivos do mundo real?

2. Metodologia

A. Coleta e Pré-treinamento de Dados (LingBot-VLA)

• Escala de Dados: O modelo foi pré-treinado com aproximadamente 20.000 horas de dados de manipulação do mundo real.
• Diversidade de Plataformas: Os dados foram coletados a partir de 9 configurações diferentes de robôs de dois braços (dual-arm), incluindo AgiBot G1, AgileX, Galaxea R1Lite/R1Pro, Realman Rs-02, Leju KUAVO 4 Pro, Qinglong, ARX Lift2 e Bimanual Franka.
• Anotação: Utilizou-se uma combinação de anotação automática e refinamento humano. Vídeos foram segmentados em ações atômicas e instruções de tarefas/subtarefas foram geradas usando o modelo Qwen3-VL-235B-A22B.

B. Arquitetura do Modelo

• Base Semântica: Integra um VLM pré-treinado (Qwen2.5-VL) como espinha dorsal semântica.
• Mixture-of-Transformers (MoT): Adota uma arquitetura inspirada no BAGEL, onde as modalidades de visão-linguagem e ação são processadas por caminhos de transformer distintos, mas acoplados por um mecanismo de atenção compartilhada. Isso permite que os priores semânticos guiem todas as camadas sem interferência cruzada excessiva.
• Módulo "Action Expert": Um módulo inicializado para geração de ações que processa sequências proprioceptivas (estados iniciais e blocos de ação).
• Modelagem de Ação Contínua: Utiliza Flow Matching para modelar ações contínuas, garantindo controle fluido e suave.
• Consciência Espacial: Incorpora informações de profundidade através de uma abordagem de distillation (destilação) de visão, alinhando queries aprendíveis do VLM com tokens de profundidade de um modelo dedicado (LingBot-Depth).

C. Otimização de Treinamento

• Eficiência: Desenvolveu-se uma base de código otimizada que atinge um throughput de 261 amostras por segundo em um cluster de 8 GPUs.
• Estratégias Distribuídas: Utiliza FSDP (Fully Sharded Data Parallel) com grupos de sharding específicos para o módulo "Action Expert" para mitigar sobrecarga de comunicação.
• Otimização de Operadores: Emprega FlexAttention e fusão de operadores (via torch.compile) para reduzir a latência e maximizar o uso da largura de banda de memória.

3. Principais Contribuições

1. LingBot-VLA: Um modelo fundamental pragmático que demonstra superioridade em generalização e desempenho em tarefas do mundo real.
2. Evidência de Lei de Escala (Scaling Law): Fornece a primeira evidência empírica de que o aumento de dados de pré-treinamento (de 3.000 para 20.000 horas) resulta em melhorias consistentes e substanciais nas taxas de sucesso, sem sinais de saturação.
3. Benchmarks Rigorosos: Realizou uma avaliação sistemática em 3 plataformas robóticas distintas (AgileX, Agibot G1, Galaxea R1Pro) com 100 tarefas cada (GM-100 benchmark), totalizando 130 episódios por tarefa por plataforma.
4. Infraestrutura de Código Aberto: Liberou um código altamente eficiente, modelos base e dados de benchmark para fomentar a pesquisa reprodutível e escalável na comunidade.

4. Resultados

A. Desempenho no Mundo Real (Benchmark GM-100)
O LingBot-VLA superou consistentemente os modelos de ponta (baselines) como WALL-OSS, GR00T N1.6 e π0.5.

• Média de Taxa de Sucesso (SR): O modelo com profundidade alcançou 17.30% de SR média, comparado a 13.02% do π0.5 e 7.59% do GR00T N1.6.
• Média de Pontuação de Progresso (PS): O modelo atingiu 35.41%, superando o π0.5 (27.65%) e o GR00T N1.6 (15.99%).
• Generalização: O modelo demonstrou robustez ao ser testado em plataformas não vistas durante o pré-treinamento específico, embora tenha havido um desempenho ligeiramente superior em plataformas com dados de pré-treinamento similares (ex: Galaxea R1Pro no GR00T).

B. Desempenho em Simulação (RoboTwin 2.0)

• Em cenários limpos e aleatorizados, o LingBot-VLA superou o π0.5 em mais de 3.76% (cenários limpos) e 8.58% (cenários aleatorizados) na taxa de sucesso.
• A integração de informações de profundidade trouxe ganhos adicionais de quase 10% em cenários aleatorizados.

C. Eficiência de Treinamento

• O código proposto alcançou um throughput 1.5x a 2.8x superior às bases de código existentes (StarVLA, Dexbotic, OpenPI) dependendo do modelo base VLM utilizado.
• A escalabilidade do treinamento mostrou-se próxima ao limite linear teórico ao aumentar o número de GPUs (de 8 a 256).

D. Análise de Escala de Dados

• Gráficos de escalabilidade mostraram que tanto a taxa de sucesso quanto a pontuação de progresso aumentam linearmente conforme o volume de dados de pré-treinamento cresce de 3.000 para 20.000 horas, indicando que o modelo ainda não atingiu o platô de desempenho.

5. Significado e Impacto

O trabalho do LingBot-VLA é significativo por várias razões:

• Validação de Escala: Confirma que a coleta massiva de dados do mundo real é uma estratégia viável e necessária para melhorar a generalização de robôs, desafiando a noção de que dados sintéticos ou pequenos conjuntos de dados são suficientes.
• Padrão de Avaliação: Estabelece um novo padrão para avaliação de VLAs, exigindo testes em múltiplas plataformas físicas e com alta diversidade de tarefas, em vez de apenas simulações ou poucas tarefas manuais.
• Acessibilidade e Reprodutibilidade: Ao liberar o código otimizado, os checkpoints e os dados de benchmark, os autores removem barreiras de entrada para pesquisadores que desejam explorar o treinamento de modelos fundamentais robóticos em larga escala.
• Aplicabilidade Real: A combinação de alto desempenho, generalização ampla e eficiência computacional posiciona o LingBot-VLA como uma solução pronta para implantação em cenários industriais e de serviço do mundo real.

Em resumo, o LingBot-VLA representa um avanço pragmático na robótica, provando que a escala de dados reais, combinada com uma arquitetura eficiente e avaliação rigorosa, é o caminho para robôs de propósito geral mais capazes.