💻 computer science

LACE: Latent Visual Representation for Cross-Embodiment Learning

LACE é uma estrutura que preenche a lacuna visual entre as encarnações humana e robótica ao alinhar suas representações visuais latentes por meio de correspondências esparsas de partes do corpo geradas automaticamente, permitindo que os robôs aproveitem efetivamente dados abundantes de demonstração humana para aprendizado de políticas, mesmo com dados de treinamento específicos de robôs escassos.

Autores originais: Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a pegar um brinquedo. Você tem milhares de vídeos de humanos fazendo isso perfeitamente, mas só tem um punhado de vídeos do robô fazendo.

O problema é que humanos e robôs parecem muito diferentes. Uma mão humana tem pele, rugas e cinco dedos que se dobram de maneiras específicas. Uma mão de robô pode ser feita de metal, ter quatro dedos ou parecer uma garra. Como eles parecem tão diferentes, o "cérebro" do robô (sua visão computacional) fica confuso. Ele vê uma mão humana em um vídeo e pensa: "Isso é um humano", mas quando vê sua própria mão de metal, pensa: "Isso é algo completamente diferente". Ele não consegue conectar os dois, então não consegue aprender com os vídeos humanos.

Este artigo apresenta uma solução chamada LACE (Alinhamento Latente para Aprendizado de Encarnação Cruzada). Eis como funciona, usando analogias simples:

1. O Problema da "Linguagem"

Pense no cérebro do robô como um aluno que fala uma linguagem complexa chamada "Espaço Latente". Essa linguagem é usada para descrever o que ele vê.

O Problema: Quando o robô olha para uma mão humana, ele a descreve em um dialeto dessa linguagem. Quando olha para sua própria mão de metal, ele a descreve em um dialeto totalmente diferente. Mesmo sendo ambas "mãos", o robô acha que são palavras não relacionadas.
O Resultado: O robô ignora os vídeos humanos porque não entende o "dialeto" que o humano está falando.

2. A Solução LACE: Um Tradutor Universal

O LACE atua como um tradutor universal que ensina o robô a falar o mesmo dialeto tanto para mãos humanas quanto para mãos de robô.

Em vez de tentar fazer as imagens da câmera do robô parecerem exatamente com fotos humanas (o que é difícil e frequentemente falha), o LACE trabalha dentro do cérebro do robô. Ele diz: "Ei, mesmo que o polegar humano e o polegar do robô pareçam diferentes, eles fazem o mesmo trabalho. Vamos garantir que o cérebro do robô os descreva usando exatamente o mesmo código interno."

3. Como Ele Aprende: O Truque das "Partes Compartilhadas"

Para ensinar esse tradutor, você não precisa de milhares de vídeos do robô. Você só precisa de um único vídeo do robô se movendo, mais alguns vídeos existentes de humanos.

O Mapa: O sistema usa um "mapa" de partes do corpo. Ele sabe que um polegar humano corresponde a um polegar de robô, um pulso humano a um pulso de robô, etc.
A Lição: Ele pega uma foto de uma mão humana e uma foto de uma mão de robô. Aponta para o polegar em ambas as fotos e diz: "Esses dois pixels devem significar a mesma coisa para o cérebro do robô".
A Magia: Ele ajusta o cérebro do robô para que, quando ele veja um polegar de robô, ele "sinta" a mesma sensação interna que quando vê um polegar humano.

4. Duas Regras para Aprender

O artigo menciona duas regras específicas que o sistema segue para garantir que aprenda corretamente sem esquecer tudo o mais:

Regra 1: O "Casamenteiro" (Perda de Alinhamento Semântico): Esta regra força o robô a corresponder as partes do corpo humanas e de robô. É como um professor dizendo: "Se você vir um polegar humano, você deve pensar na 'polegaridade' exatamente da mesma forma que pensa em um polegar de robô".
Regra 2: A "Âncora" (Perda Gram): Isso é crucial. Se você ensinar o robô apenas sobre polegares, ele pode esquecer como reconhecer uma xícara ou uma cadeira. A regra da "Âncora" diz: "Mantenha seu conhecimento geral sobre o mundo (como a aparência de uma mesa) exatamente igual ao de antes. Altere apenas como você pensa sobre mãos". Isso impede que o robô fique confuso sobre tudo o mais.

5. Os Resultados: De Zero a Herói

Os pesquisadores testaram isso no mundo real:

Sem LACE: Se eles desse ao robô zero vídeos de treinamento de robô e apenas vídeos humanos, o robô falhava quase 100% das vezes. Ele não conseguia descobrir onde estava sua própria mão.
Com LACE: Usando a mesma configuração (zero vídeos de robô), o robô teve sucesso em 60% dos casos. Ele conseguia olhar para um vídeo humano, entender a ação e aplicá-la com sucesso à sua própria mão de metal.
Baixa Quantidade de Dados: Mesmo quando deram ao robô uma pequena quantidade de seu próprio vídeo (apenas 10% do que normalmente é necessário), o LACE ajudou-o a performar muito melhor do que antes.

Resumo

O LACE é um método que ensina robôs a parar de ver humanos e robôs como duas espécies diferentes. Ao ensinar o cérebro do robô a usar o mesmo "código interno" para partes do corpo compartilhadas (como polegares e pulsos), ele permite que robôs aprendam habilidades complexas a partir da enorme quantidade de dados de vídeo humanos disponíveis na internet, mesmo que nunca tenham visto um robô realizar aquela tarefa específica antes. Funciona com muito poucos dados e não exige que o robô pareça um humano.

Resumo Técnico: LACE – Representação Visual Latente para Aprendizado Cross-Embodiment

1. Declaração do Problema

O artigo aborda o desafio do aprendizado cross-embodiment, especificamente a dificuldade de transferir políticas aprendidas a partir de demonstrações humanas para robôs. Embora as arquiteturas base de aprendizado auto-supervisionado (SSL) (por exemplo, DINO) tenham se tornado padrão para codificar semânticas interclasse ricas em objetos gerais, os autores identificam uma falha crítica: esses modelos pré-treinados falham em estabelecer correspondência semântica confiável entre mãos humanas e robóticas.

Os autores postulam que essa falha decorre de uma "lacuna visual" no espaço de características latentes. Modelos SSL pré-treinados são treinados em conjuntos de dados em escala de internet (por exemplo, LVD-1689M para DINO) que carecem de embodiments robóticos diversos. Consequentemente, embora esses modelos capturem semânticas para imagens naturais, eles não aprendem o mapeamento estrutural entre partes do corpo humano (por exemplo, um polegar humano) e seus equivalentes robóticos (por exemplo, um dedo robótico). Soluções existentes frequentemente tentam preencher essa lacuna no espaço de pixels (via edição de imagem, segmentação ou inpainting), o que descarta a morfologia específica do embodiment, requer processamento no momento da inferência ou limita a transferência para robôs-alvo específicos.

2. Metodologia: LACE

Os autores propõem o LACE (Latent Alignment for Cross-Embodiment), um framework que alinha representações visuais humanas e robóticas diretamente no espaço de características latentes de uma arquitetura base SSL pré-treinada.

Conceito Central

O LACE aproveita a correspondência estrutural de partes do corpo compartilhadas entre embodiments (por exemplo, mapear keypoints humanos para keypoints robóticos) como supervisão esparsa. Ele ajusta finamente uma arquitetura base pré-treinada para minimizar a lacuna visual no espaço latente, preservando ao mesmo tempo as capacidades semânticas gerais da arquitetura base.

Componentes Principais

Configuração de Dados:
- Dados Humanos: Originados de conjuntos de dados existentes com anotação de keypoints (por exemplo, subconjunto EpicKitchen do HInt).
- Dados Robóticos: Requer apenas uma única demonstração robótica. Keypoints são derivados automaticamente via cinemática direta (FK) e máscaras de segmentação do renderizador.
- Pares de Treinamento: O modelo é treinado em pares de imagens $(I_a, I_b)$ de diferentes embodiments (cross-embodiment) e do mesmo embodiment (intra-embodiment).
Funções de Perda:
O objetivo de treinamento consiste em dois componentes:
- Perda de Alinhamento Semântico ( $L_{align}$ ): Esta eleva a supervisão em nível de keypoints para alinhamento em nível semântico. Para um keypoint compartilhado $k$ $k$ , o método compara a distribuição de similaridades entre o patch do keypoint e todos os outros patches na imagem.
  - Define uma distribuição alvo $P$ (auto-similaridade do keypoint na imagem de origem) e uma distribuição proposta $Q$ (cross-similaridade do keypoint correspondente na imagem de destino).
  - A perda minimiza a divergência KL reversa ( $D_{KL}(Q || P)$ ), incentivando o keypoint robótico a induzir uma estrutura semântica no espaço latente semelhante à do keypoint humano.
  - Uma rede professor com Média Móvel Exponencial (EMA) é utilizada para estabilizar o treinamento.
- Perda Gram ( $L_{gram}$ ): Para prevenir o esquecimento catastrófico da compreensão visual geral da arquitetura base (por exemplo, reconhecimento de objetos), aplica-se uma perda Gram. Ela penaliza desvios nas similaridades de características em pares (matriz Gram) entre o codificador treinável e o codificador EMA. Isso garante que, enquanto as características da mão se alinham, a estrutura relativa de outras características (fundos, objetos) permaneça estável.
A perda total é: $L = L_{align} + \lambda L_{gram}$ .
Arquitetura:
Os autores implementam o LACE utilizando DINOv3 (ViT-S) como arquitetura base, denotado como LACE-DINO. A política é condicionada exclusivamente a características visuais, isolando a lacuna de domínio visual.

3. Contribuições Principais

Identificação da Lacuna Latente: O artigo demonstra que a lacuna visual entre embodiments humanos e robóticos se propaga para embeddings visuais latentes, fazendo com que modelos SSL pré-treinados falhem na correspondência cross-embodiment.
Framework de Supervisão Esparsa: O LACE alcança alinhamento semântico cross-embodiment usando frames de uma única demonstração robótica (ou até mesmo um único frame anotado com keypoints) sem exigir conjuntos de dados alinhados temporal ou espacialmente.
Preservação de Semânticas Gerais: Ao introduzir a perda Gram, o método alinha partes específicas do corpo sem degradar as características visuais de propósito geral da arquitetura base, evitando o esquecimento catastrófico.
Desempenho Zero-Shot e com Poucos Dados: O framework permite que políticas robóticas aproveitem efetivamente dados humanos abundantes quando os dados robóticos são escassos, alcançando ganhos significativos em transferência zero-shot e generalização para ambientes fora de distribuição (OOD).

4. Resultados Experimentais

Os autores validam o LACE através de experimentos extensivos em tarefas reais de manipulação robótica.

Métricas de Alinhamento de Keypoints:
- Na correspondência humano-robô, o LACE-DINO reduz o Erro do Ponto Final (EPE) de 87,04 (DINO pré-treinado) para 19,36 e aumenta a Similaridade Cosseno de 0,473 para 0,910.
- Essa melhoria generaliza-se para outras arquiteturas base SSL (SigLIP, I-JEPA, V-JEPA2).
Tarefas Downstream (Estimativa de Pose e Localização):
- Na transferência zero-shot (sondas treinadas em dados humanos, testadas em dados robóticos), o LACE-DINO supera significativamente o DINO.
- Estimativa de Pose: O EPE melhorou de 57,5 para 35,6 pixels; o PCK@0.2 melhorou de 28,6% para 72,4%.
- Localização: O LACE-DINO alcançou uma taxa de acerto de 40,5% para localização de embodiment, comparado a 3,2% para o DINO.
Aprendizado de Políticas (Agar de Objetos):
- Regime Zero-Shot (0% dados robóticos): O LACE-DINO alcançou uma taxa de sucesso de 60% em pegar um objeto alvo, comparado a 5% para a linha de base DINO.
- Ambientes OOD: Em ambientes com objetos distratores não vistos pelo robô, o LACE-DINO alcançou 65% de sucesso, enquanto o DINO falhou completamente (0%).
- Eficiência de Dados: O LACE-DINO superou consistentemente o DINO mesmo com dados robóticos limitados (10% ou 100% das demonstrações robóticas disponíveis), demonstrando que representações alinhadas compensam a escassez de dados.
Generalização:
- Poses Não Vistas: O modelo generaliza para poses de mão não vistas durante o treinamento.
- Múltiplos Embodiments: O LACE alinhou com sucesso quatro morfologias distintas (mão humana, mão robótica multifinger, garra de mandíbulas paralelas, efetuador final em haste) simultaneamente.
- Qualidade de Características: Estudos de ablação confirmaram que a perda Gram é crucial; sem ela, o desempenho em tarefas downstream (classificação ImageNet, segmentação ADE20K) degradou-se significativamente devido ao desvio de características.

5. Significado e Alegações

O artigo alega que o LACE fornece uma solução prática para o problema de escassez de dados no aprendizado de robôs dexterosos. Ao operar no espaço latente em vez do espaço de pixels, evita a sobrecarga computacional e a perda de informação associadas a métodos de edição de imagem.

Os autores enfatizam que sua abordagem permite que robôs aproveitem dados de vídeo humanos abundantes mesmo quando as demonstrações robóticas são extremamente limitadas ou inexistentes (zero-shot). O framework é apresentado como um método geral aplicável a qualquer arquitetura base SSL que codifique estrutura semântica, oferecendo um caminho para treinar políticas robustas para ambientes não vistos e morfologias robóticas diversas sem exigir conjuntos de dados massivos e sincronizados cross-embodiment. O código destina-se a ser lançado publicamente para facilitar pesquisas adicionais em generalização cross-embodiment.