💻 computer science

Masquerade: Learning from In-the-wild Human Videos using Data-Editing

Masquerade aborda a escassez de dados robóticos editando vídeos humanos capturados no ambiente natural para sintetizar demonstrações robóticas por meio de inpainting de braços e sobreposição robótica, permitindo uma estratégia de co-treinamento que supera significativamente os métodos existentes em tarefas bimanuais de longo horizonte.

Autores originais: Marion Lepert, Jiaying Fang, Jeannette Bohg

Publicado 2026-05-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Marion Lepert, Jiaying Fang, Jeannette Bohg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um robô a cozinhar uma refeição complexa, como empilhar panelas ou descascar uma batata. O problema é que você não tem milhares de vídeos de robôs realizando essas tarefas. Gravar dados de robôs é lento, caro e requer equipamentos especiais.

No entanto, a internet está inundada com milhões de vídeos de humanos cozinhando. O problema em usar esses vídeos é que os humanos têm aparência e movimentos muito diferentes dos robôs. Se você apenas mostrar a um robô um vídeo de uma mão humana pegando uma colher, o robô fica confuso porque não tem uma mão humana; ele tem uma garra metálica. Isso é chamado de "lacuna de corporificação".

Masquerade é um truque inteligente para preencher essa lacuna. Veja como funciona, dividido em etapas simples:

1. A "Máscara Digital" (Edição de Dados)

Pense nos pesquisadores como editores digitais usando uma "máscara de baile". Eles pegam vídeos brutos de humanos cozinhando e os processam através de um pipeline especial:

Etapa A: Usam IA para encontrar exatamente onde estão as mãos do humano em cada quadro.
Etapa B: Usam "inpainting" (como uma borracha mágica) para pintar sobre os braços e o corpo do humano, removendo-os do vídeo.
Etapa C: Colam digitalmente um braço de robô simulado exatamente no mesmo local onde o braço humano estava.

O resultado é um vídeo que parece um robô cozinhando, mesmo tendo sido originalmente um humano. Eles transformaram 675.000 quadros de vídeos humanos em demonstrações "robotizadas".

2. O "Aprendiz" (Pré-treinamento)

Agora, eles têm uma vasta biblioteca desses vídeos falsos de robôs. Usam isso para treinar o "cérebro" do robô (um codificador de visão).

A Lição: O cérebro do robô aprende a olhar para uma cena e prever para onde a garra do robô se moverá a seguir, apenas assistindo a esses vídeos editados.
A Analogia: É como um aluno lendo mil livros de histórias sobre como um chef se move, mesmo que o aluno nunca tenha segurado uma faca. Eles estão aprendendo o conceito do movimento.

3. O "Mentor" (Co-treinamento)

O robô ainda precisa aprender a física específica e do mundo real do seu próprio corpo. Então, os pesquisadores coletam uma pequena quantidade de dados reais: apenas 50 vídeos de um robô real realizando a tarefa em uma cozinha específica.

A Reviravolta: Em vez de treinar apenas com esses 50 vídeos reais, eles treinam com os 50 vídeos reais ao mesmo tempo que com os milhares de vídeos humanos editados.
Por quê? Se treinassem apenas com os 50 vídeos reais, o robô seria muito rígido e falharia em cozinhas novas. Se treinassem apenas com os vídeos humanos, o robô não entenderia sua própria garra metálica. Ao fazer ambos juntos, o robô aprende o "fluxo" geral da culinária dos humanos e a "sensação" específica do seu próprio corpo a partir dos 50 exemplos reais.

O Resultado: Um Chef Mestre em Qualquer Cozinha

Os pesquisadores testaram isso em três tarefas difíceis (empilhar panelas, descascar batatas, varrer pimentas) em cozinhas totalmente novas que o robô nunca havia visto antes.

A Competição: Compararam seu método com outros modelos de IA de ponta que aprendiam de vídeos humanos brutos (sem edição) ou aprendiam de conjuntos de dados de imagens padrão.
A Vitória: O robô Masquerade foi 5 a 6 vezes mais bem-sucedido que os outros.
A Descoberta Chave: A "magia" não foi apenas ter mais dados; foi a edição. Quando tentaram usar os vídeos humanos sem substituir os braços humanos por braços de robô, o desempenho caiu drasticamente. O robô precisava ver a si mesmo (ou uma versão de si mesmo) no vídeo para aprender efetivamente.

Resumo

Masquerade é como dar a um robô um "sonho" onde ele vê a si mesmo realizando milhões de tarefas que nunca fez de verdade. Ao editar digitalmente vídeos humanos para parecerem vídeos de robôs e, em seguida, misturar isso com um pouco de prática real, o robô aprende a generalizar. Ele pode entrar em uma cozinha completamente nova e cozinhar com sucesso, mesmo tendo sido treinado apenas em 50 exemplos reais.

O que o artigo NÃO afirma:

Não afirma que o robô é perfeito; a edição nem sempre é 100% precisa (por exemplo, se uma mão estiver escondida atrás de uma panela, o robô pode parecer estranho).
Não afirma que isso funciona para todo tipo de robô (eles usaram uma configuração específica de dois braços).
Não afirma que isso resolve o problema de robôs se movendo (o robô no experimento tinha uma câmera e uma base fixas).

A mensagem central é simples: Não apenas assista aos humanos; edite o vídeo para mostrar ao robô como ele se pareceria fazendo a mesma coisa, e você obterá resultados muito melhores.

Resumo Técnico: Masquerade

Declaração do Problema

A pesquisa em manipulação robótica enfrenta um gargalo crítico: a escassez de dados. Diferentemente do processamento de linguagem natural (PLN) e da visão computacional (VC), que aproveitam conjuntos de dados massivos e diversificados para alcançar avanços, os conjuntos de dados de robótica são ordens de grandeza menores e menos diversificados. A coleta de demonstrações reais de robôs é lenta e cara. Embora vídeos humanos "in-the-wild" (no ambiente natural) ofereçam uma fonte vasta e prontamente disponível de dados de manipulação, aproveitá-los para o aprendizado de políticas robóticas é difícil devido a dois fatores principais:

Lacuna de Embodiment Visual: Humanos e robôs têm aparências e movimentos diferentes; as mãos humanas não correspondem diretamente às pinças robóticas.
Falta de Rótulos de Ação: Vídeos humanos brutos carecem de rótulos de ação precisos necessários para o aprendizado de políticas supervisionadas.

Trabalhos anteriores tentaram preencher essa lacuna pré-treinando codificadores de visão em vídeos humanos ou aprendendo funções de recompensa, mas frequentemente falham em abordar explicitamente a lacuna de embodiment visual, confiando, em vez disso, no modelo para aprender implicitamente correspondências. Este artigo postula que fechar explicitamente essa lacuna, mesmo que imperfeitamente, pode desbloquear um sinal significativamente maior dos vídeos humanos.

Metodologia: Masquerade

Masquerade é um pipeline que edita vídeos humanos egocêntricos "in-the-wild" para criar demonstrações "robotizadas", que são então usadas para pré-treinar e co-treinar uma política robótica. O processo consiste em três etapas principais:

1. Edição de Dados e "Robotização"

O pipeline converte vídeos humanos brutos (especificamente do conjunto de dados Epic Kitchens) em demonstrações robóticas sintéticas por meio de:

Estimativa de Pose: Uso do HaMeR para estimar 21 pontos-chave anatômicos por mão a partir de quadros de vídeo monoculares.
Redirecionamento (Retargeting): Mapeamento dessas poses de mão 2D para poses de efetuador final de robô 3D (posição, orientação e largura da pinça).
Inpainting: Segmentação e remoção dos braços humanos dos quadros de vídeo usando Detectron2 e SAM2, seguido de inpainting do fundo usando E2FGVI.
Sobreposição (Overlay): Renderização de um robô bimanual simulado na mesma pose da trajetória estimada do efetuador final e composição no quadro original.
Filtragem: Descarte de quadros com movimento excessivo da câmera ou extrações de pontos-chave inválidas para garantir estabilidade para robôs de base fixa.

Isso resulta em um conjunto de dados de 675.000 quadros editados onde o vídeo parece mostrar um robô executando a tarefa.

2. Pré-treinamento do Codificador de Visão

Um Vision Transformer (ViT-Base) é pré-treinado nos vídeos humanos editados.

Objetivo: O codificador é treinado para prever futuros pontos-chave 2D do robô (posições do efetuador final) ao longo de um horizonte $H$ .
Condicionamento: O codificador é condicionado a descrições em linguagem natural dos clipes de vídeo usando camadas FiLM.
Perda: Uma perda de regressão de pontos-chave 2D ( $L_{2D}$ ) é minimizada. Crucialmente, os pontos-chave 2D são derivados projetando as posições suavizadas do efetuador final 3D no plano da imagem, corrigidas para o movimento da câmera egocêntrica via homografia.

3. Co-treinamento com Dados Reais de Robô

O codificador de visão pré-treinado é ajustado finamente (fine-tuned) juntamente com uma cabeça de política baseada em difusão usando um pequeno conjunto de demonstrações reais de robôs (50 por tarefa).

Estratégia: O modelo é co-treinado em uma mistura de vídeos humanos editados (usando a perda auxiliar 2D $L_{2D}$ ) e dados reais de robôs (usando uma perda de imitação $L_{policy}$ ).
Racional: Manter o objetivo de pré-treinamento durante o ajuste fino é crítico. Isso impede que o codificador "esqueça" as representações ricas aprendidas do vasto conjunto de dados de vídeos humanos, mantendo assim a robustez a mudanças de cena fora da distribuição (OOD).
Consistência Sintética: Para minimizar a lacuna visual entre os domínios de treinamento, as demonstrações reais de robôs também são processadas inpaintando os braços reais do robô e sobrepondo o mesmo modelo de robô virtual, garantindo que o modelo sempre veja a aparência "robotizada".

Contribuições Principais

Ponte Explícita de Embodiment: O artigo demonstra que fechar explicitamente a lacuna de embodiment visual por meio de inpainting 2D simples e sobreposições de robôs melhora significativamente a transferibilidade de representações de vídeos humanos para robôs.
Pipeline de Co-treinamento: Os autores mostram que co-treinar o codificador de visão com dados reais de robôs (em vez de apenas ajuste fino) é indispensável para preservar o conhecimento gainedo dos vídeos humanos e alcançar robustez OOD.
Escalabilidade: O método escala logaritmicamente com a quantidade de dados de vídeo humano editado, sugerindo que conjuntos de dados maiores produzirão ganhos adicionais de desempenho.
Generalização Zero-Shot: A abordagem permite a implantação zero-shot em ambientes não vistos sem exigir coleta adicional de dados de robôs para essas cenas específicas.

Resultados Experimentais

O método foi avaliado em três tarefas de cozinha bimanuais de longo horizonte (Empilhar Panelas, Raspar Batata, Varrer Pimentas) em três cenas distintas fora da distribuição por tarefa.

Desempenho: Masquerade superou todas as linhas de base (ImageNet, DINOv2 e HRP) em uma média de 5–6× nas taxas de sucesso. Especificamente, alcançou uma taxa de sucesso de 74%, comparada a linhas de base variando de 12% a 20%.
Estudos de Ablação:
- Sem Sobreposição: Remover a sobreposição do robô e treinar em vídeos humanos brutos causou uma queda acentuada no desempenho, confirmando a necessidade de alinhamento visual.
- Sem Co-treinamento: Pré-treinamento seguido de ajuste fino puro (sem co-treinamento em dados humanos) levou a uma queda dramática no desempenho, indicando que o co-treinamento é essencial para reter as representações pré-treinadas.
Escala de Dados: As taxas de sucesso aumentaram monotonicamente com a fração de dados de vídeo humano editado utilizada (de 2% em 0% de dados para 68% em 100% de dados).
Robustez OOD: Diferentemente das linhas de base, que sofreram grandes quedas de desempenho ao passar de cenas na distribuição para cenas OOD, Masquerade manteve níveis de desempenho semelhantes, demonstrando superior robustez a mudanças de cena.

Significado e Alegações

O artigo afirma que Masquerade demonstra que abordar explicitamente a lacuna de embodiment visual — mesmo por meio de sobreposições 2D imperfeitas — desbloqueia uma vasta e subutilizada fonte de dados de vídeos humanos "in-the-wild". Ao combinar edição de dados com uma estratégia de co-treinamento, o método permite que robôs aprendam políticas de manipulação robustas a partir de massivos conjuntos de dados de vídeos humanos usando apenas um punhado de demonstrações reais de robôs.

Os autores enfatizam que essa abordagem não requer reconstrução 3D complexa ou dados de profundidade, tornando-a uma solução prática e escalável para melhorar políticas robóticas. Eles concluem que esse pipeline oferece um caminho promissor para o aprendizado robótico em escala de "web", onde as limitações da coleta de dados robóticos são superadas ao aproveitar a abundância de dados de vídeo humanos.

Limitações Reconhecidas:
O artigo observa que o método depende de estimadores de pose de mão que lutam contra movimento rápido ou oclusão pesada, necessitando de filtragem de dados. A falta de dados de profundidade limita o realismo do tratamento de oclusão nas sobreposições. Além disso, o redirecionamento de mãos humanas hábeis para pinças de mandíbulas paralelas é imperfeito. Trabalhos futuros poderiam envolver melhores estimadores de pose, raciocínio de profundidade e redirecionamento mais expressivo para pinças hábeis.