🤖 machine learning

Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation

Este artigo apresenta o "Humanoid Everyday", um conjunto de dados de grande escala e diversificado que compreende mais de 10.000 trajetórias multimodais em 260 tarefas projetadas para avançar a pesquisa de manipulação humanoide em mundo aberto, acompanhado de uma análise de métodos de aprendizado de política e uma plataforma de avaliação padronizada baseada em nuvem.

Autores originais: Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

Publicado 2026-06-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a ser um colega de quarto prestativo. Você quer que ele caminhe pela casa, pegue uma xícara, dobre uma toalha e até te entregue uma ferramenta. Mas, no momento, a maioria dos dados de treinamento de robótica é como uma biblioteca cheia de livros sobre como mover um único braço robótico sentado em uma mesa. É ótimo para esse braço, mas não ensina um robô inteiro a caminhar, equilibrar-se e usar duas mãos ao mesmo tempo.

O artigo "Humanoid Everyday" introduz uma nova e massiva solução para este problema. Pense nisso como a "Enciclopédia da Vida Diária de um Robô."

Aqui está uma divisão simples do que os pesquisadores construíram e por que isso é importante:

1. O Conjunto de Dados: Um "Reality Show de Robôs"

Os pesquisadores criaram uma enorme coleção de dados de vídeo e sensores chamada Humanoid Everyday.

O Elenco: Eles usaram dois robôs humanoides avançados (o Unitree G1 e o H1) que se parecem e se movem como humanos, completos com mãos destras que podem sentir o toque.
O Enredo: Em vez de apenas mover uma caixa de um ponto A para um ponto B, eles gravaram 260 "cenas" ou tarefas diferentes. Elas variam de coisas simples, como pegar um brinquedo de bolinho (dumpling), até tarefas complexas, como caminhar enquanto carrega uma maçaneta de porta ou dobrar uma toalha.
A Variedade: As tarefas abrangem sete categorias diferentes, incluindo:
- Tarefas domésticas básicas (pegar objetos).
- Lidar com coisas maleáveis (como tecido ou toalhas).
- Usar ferramentas (como uma borracha).
- Trabalho em equipe (entregar objetos para um humano).
- Caminhar e trabalhar (mover-se enquanto realiza tarefas).
A Escala: Eles gravaram mais de 1am 10.000 clipes de vídeo (trajetórias) e mais de 3 milhões de frames de dados. Cada clipe inclui vídeo, profundidade (3D), varreduras a laser (LiDAR) e até o que as mãos do robô "sentem" (dados táteis).

2. O Ingrediente Secreto: Uma "Equipe de Filmagem Superveloz"

Coletar esses dados é difícil porque os robôs se moveem rápido e, se a câmera atrasar mesmo que um pouquinho, os dados tornam-se inúteis.

O Problema: O software oficial do robô era como uma estrada de pista única e lenta, onde os dados ficavam presos no trânsito.
A Solução: A equipe construiu um novo sistema de "teleoperação" (uma forma de humanos controlarem o robô remotamente). Eles trataram a coleta de dados como uma corrida de revezamento de alta velocidade. Em vez de uma pessoa fazer tudo, eles dividiram o trabalho em diferentes "processos" (como corredores diferentes) que rodam simultaneamente.
O Resultado: Eles reduziram o atraso (lag) de 500 milissegundos para apenas 2 milissegundos. Isso é como passar de um ritmo de caracol para um sprint, permitindo capturar movimentos suaves e de alta qualidade que realmente parecem um humano fazendo-os.

3. A "Pista de Teste" na Nuvem

Um dos maiores pesadelos na pesquisa de robótica é que nem todo cientista possui um robô humanoide de US$ 100.000.

A Inovação: A equipe construiu uma plataforma de avaliação baseada na nuvem.
Como funciona: Imagine uma pista de controle remoto. Pesquisadores de qualquer lugar do mundo podem fazer o upload do "cérebro" do seu robô (sua política de IA) para a nuvem. A nuvem então envia os "olhos" do robô (feed da câmera) para o computador do pesquisador. O computador do pesquisador decide o que fazer e envia os comandos de volta para o robô físico no laboratório.
O Benefício: Isso cria um campo de jogo justo. Todos testam seus cérebos de robô nas mesmas tarefas do mundo real, na mesma sala e com o exato mesmo robô. Não há mais dúvidas se o seu robô é melhor porque tem uma câmera diferente ou uma mesa diferente.

4. O Choque de Realidade: O que os Robôs Podem (e Não Podem) Fazer

Os pesquisadores não apenas coletaram dados; eles testaram. Eles pegaram vários modelos de IA famosos (os "cérebros" atualmente usados em robótica) e tentaram ensinar essas novas tarefas a eles.

A Boa Notícia: Os modelos melhoraram em algumas coisas, especialmente quando já tinham visto muitos dados semelhantes (pré-treinamento). O melhor desempenho foi de um modelo chamado GR00T N1.5, que obteve sucesso em cerca de 51% dos testes.
A Má Notícia: Os robôs ainda têm dificuldades com as coisas mais difíceis.
- O Problema da "Rosa no Vaso": Em uma tarefa onde o robô tinha que caminhar e colocar o caule fino de uma rosa em uma abertura minúscula de um vaso, quase todos os modelos falharam (0% de taxa de sucesso).
- Por quê? Os robôs são bons em movimentos grandes, mas péssimos nos ajustes minúsculos e precisos necessários para tarefas delicadas. Eles também ficam confusos quando precisam caminhar e mover as mãos ao mesmo tempo.

Resumo

Humanoid Everyday é uma biblioteca massiva e de alta qualidade da vida diária de um robô, coletada com um sistema superveloz que captura cada detalhe. Ele vem acompanhado de uma "pista de teste na nuvem" para que qualquer pessoa possa testar seus cérebos de robô em hardware real.

O artigo mostra que, embora estejamos progredindo, os "cérebos" de robôs atuais ainda são como crianças aprendendo a andar: elas conseguem fazer coisas simples, mas tropeçam quando solicitadas a caminhar e realizar habilidades motoras finas (como passar uma linha na agulha) ao mesmo tempo. Este conjunto de dados é o campo de treinamento necessário para ajudá-los a crescer.

Resumo Técnico: Humanoid Everyday

Declaração do Problema

Apesar dos avanços significativos na robótica humanoide em relação às capacidades de corpo inteiro (locomoção, dança, corrida), o desenvolvimento de políticas de manipulação humanoide de propósito geral é dificultado por três lacunas principais:

Limitações de Dados: Os conjuntos de dados existentes concentram-se predominantemente em braços robóticos estacionários ou plataformas móveis simples. Os poucos conjuntos de dados humanoides existentes são frequentemente confinados a ambientes fixos, carecem de diversidade de tarefas, omitem locomoção de membros inferiores e falham em capturar interações complexas entre humanos e humanoides.
Escassez de Avaliação: Há uma falta de plataformas de avaliação padronizadas para testar políticas de aprendizado baseadas em dados humanoides. Os frameworks atuais são amplamente restritos a braços robóticos ou agentes simulados, tornando difícil comparações justas e rigorosas entre diversas políticas humanoides.
Lacuna de Incorporação (Embodiment Gap): Os conjuntos de dados atuais frequentemente falham em capturar todo o espectro de capacidades humanas necessárias para cenários do mundo real, incluindo coordenação bimanual, movimento de corpo inteiro e interação destreza com objetos deformáveis e ferramentas.

Metodologia

1. Pipeline de Coleta de Dados

Os autores desenvolveram um pipeline de teleoperação altamente eficiente, supervisionado por humanos, para coletar o conjunto de dados Humanoid Everyday.

Hardware: Os dados foram coletados usando dois robôs humanoides da Unitree: o G1 (29 DoF, equipado com mãos destras Dex3-7-DoF com sensores táteis) e o H1 (27 DoF, equipado com mãos INSPIRE de 6-DoF). Ambos os robôs carregam câmeras RGB-D Intel RealSense e sistemas LiDAR Livox.
Interface de Teleoperação: Operadores usam um Apple Vision Pro para capturar pontos-chave (keypoints) de punho e dedos. Os movimentos dos dedos são mapeados para as mãos do robô através de um sistema de retargeting de dex, enquanto as poses do punho são convertidas em comandos de junta do braço usando um algoritmo de cinemática inversa (IK) baseado em Pinocchio.
Otimização do Pipeline: Ao contrário do design síncrono e bloqueante do script oficial de teleoperação da Unitree, os autores implementaram um pipeline de I/O assíncrono e multiprocessado. Isso desacopla o streaming de dados, escrita, controle do robô e computação de IK em processos/threads separados usando buffers de memória compartilhada.
- Desempenho: Esta reengenharia reduziu o atraso de controle de 500 ms para 2 ms e reduziu pela metade o tempo de coleta de dados em comparação ao sistema oficial, permitindo controle de alta frequência (30 Hz) e captura sincronizada de dados multimodais.

2. Composição do Conjunto de Dados

O conjunto de dados compreende 10,3k trajetórias e mais de 3 milhões de frames cobrindo 260 tarefas únicas em 7 categorias:

Manipulação Básica: Tarefas de pegar e colocar (pick-and-place).
Manipulação Deformável: Interação com panos ou objetos macios.
Manipulação Articulada: Operação de estruturas articuladas ou com juntas.
Uso de Ferramentas: Utilização de objetos externos para atingir objetivos.
Manipulação de Alta Precisão: Tarefas que exigem alta precisão (ex: inserir uma haste).
Interação Humano-Robô (HRI): Ações cooperativas com humanos.
Loco-Manipulação: Combinação de locomoção com manipulação.

Modalidades: Cada episódio inclui vídeo RGB, mapas de profundidade, varreduras LiDAR, feedback tátil, dados de IMU, poses de juntas, ações de juntas e anotações de linguagem natural.

3. Plataforma de Avaliação Baseada em Nuvem

Para abordar a falta de avaliação padronizada, os autores introduziram uma plataforma de avaliação baseada em nuvem.

Funcionalidade: Pesquisadores podem fazer upload de políticas para um servidor, que transmite entradas visuais em tempo real (RGB, Profundidade) e estados do robô de um robô físico G1 ou H1 para o cliente.
Execução: Usuários executam a inferência localmente e enviam comandos de ação de volta ao servidor para execução no robô físico.
Monitoramento: Uma interface web fornece vistas de terceira pessoa e egocêntrica da execução da tarefa.
Eficiência: O sistema demonstrou capacidade de rodar continuamente por mais de 100 minutos com intervenção humana mínima (apenas 3 intervenções por superaquecimento do motor), permitindo benchmarking reproduzível e independente de hardware.

4. Experimentos de Análise de Política

Os autores avaliaram uma suíte de modelos representativos de aprendizado por imitação e Vision-Language-Action (VLA) no conjunto de dados:

Modelos Testados: Diffusion Policy (DP), 3D Diffusion Policy (DP3), Action Chunking with Transformers (ACT), OpenVLA, $\pi_0$ -FAST, $\pi_0.5$ e GR00T N1.5.
Estratégia de Treinamento: Uma abordagem de ajuste fino (fine-tuning) de dois estágios foi usada para modelos VLA: pré-treinamento no conjunto de dados completo Humanoid Everyday seguido de adaptação a categorias de tarefas específicas.
Estudo de Ablação: Uma comparação foi realizada entre o ajuste fino direto de tarefas específicas e a estratégia de pré-treinamento de dois estágios.

Principais Resultados

1. Desempenho da Política

Dificuldade Geral: Todas as políticas de imitação end-to-end enfrentaram dificuldades significativas devido ao espaço de ação de alta dimensão (28 DoFs).
Especificidades dos Modelos:
- DP3 geralmente superou o DP, atribuído à robustez das observações de nuvem de pontos 3D, embora tenha falhado em tarefas de Loco-Manipulação, onde grandes mudanças quadro a quadro tornaram as nuvens de pontos menos confiáveis que o RGB.
- ACT teve desempenho ruim, sofrendo overfitting nas trajetórias demonstradas e falhando em se adaptar a variações de cena.
- OpenVLA teve dificuldades com dados de alta frequência (30 Hz); o downsampling para 2 Hz melhorou a geração de movimento, mas reduziu a suavidade.
- $\pi_0$ -FAST enfrentou erros de decodificação devido à tokenização de ação de alta dimensão, causando ocasionalmente a parada do robô.
- $\pi_0.5$ produziu ações mais suaves, mas ainda exibia overfitting.
- GR00T N1.5 alcançou a maior taxa média de sucesso (51%), atribuída ao extenso pré-treinamento em conjuntos de dados humanoides de larga escala.
Modos de Falha: As categorias mais desafiadoras foram Loco-Manipulação e Manipulação de Alta Precisão. Na tarefa "Inserir rosa em vaso", quase todas as políticas alcançaram uma taxa de sucesso de 0%, destacando a falta de percepção visuoespacial refinada nos modelos atuais.

2. Utilidade do Pré-treinamento

O estudo de ablação confirmou que o pré-treinamento no Humanoid Everyday antes do ajuste fino específico de tarefas consistentemente melhorou o desempenho dos modelos VLA. Isso sugamente que a exposição a diversos comportamentos humanoides fornece um prior valioso que aumenta a robustez e a estabilidade em tarefas de manipulação subsequentes.

Significância e Alegações

O artigo posiciona o Humanoid Everyday como um recurso fundamental para avançar a pesquisa em manipulação humanoide de propósito geral. Sua significância é tripla:

Diversidade de Dados: Ele preenche a lacuna nos conjuntos de dados existentes ao oferecer uma coleção de larga escala e multimodal que abrange diversos ambientes, locomoção de corpo inteiro, manipulação destra e interação humana.
Benchmarking Padronizado: A plataforma de avaliação em nuvem que o acompanha é a primeira projetada especificamente para robôs humanoides, reduzindo a barreira de entrada para pesquisadores sem acesso a hardware físico e permitindo comparações justas e reproduzíveis.
Insights sobre Limitações: A análise das políticas atuais revela que, embora os grandes modelos VLA mostrem promessa, desafios significativos permanecem no controle de alta dimensão, percepção refinada e robustez a ambientes dinâmicos.

Os autores concluem que, embora os métodos atuais de aprendizado por imitação enfrentem obstáculos substanciais, a combinação deste conjunto de dados, da plataforma de avaliação e dos insights obtidos pela análise de política estabelece as bases para o desenvolvimento de agentes robóticos mais capazes e incorporados em cenários do mundo real. Eles reconhecem limitações, como a necessidade de designs de modelos especializados para espaços de alta dimensão e a incapacidade atual das políticas de resetar ambientes autonomamente, identificando estes como direções para trabalhos futuros.