Resumo Técnico: Pegasus – Síntese de Experiência Fisicamente Fundamentada para Inteligência Incorporada

1. Declaração do Problema

O principal gargalo no avanço da IA incorporada (embodied AI) não é a arquitetura do modelo, mas a escassez de dados de treinamento de alta qualidade e específicos para robôs. Embora existam bilhões de vídeos de manipulação humana online, os robôs não podem aprender diretamente com eles devido ao gap de incorporação (embodiment gap): diferenças significativas em morfologia, cinemática e espaços de ação entre humanos e robôs impedem a transferência direta de demonstrações.

Os paradigmas atuais de aquisição de dados enfrentam limitações distintas:

• Coleta com robôs reais: Alta qualidade, mas cara e difícil de escalar.
• Simulação física: Dados ilimitados, mas sofre com o gap de simulação-para-real (sim-to-real gap), particularmente para políticas baseadas em visão.
• Aprendizado a partir de vídeos humanos: Aproveita dados abundantes, mas tipicamente aprende representações visuais em vez de gerar trajetórias executáveis por robôs.

O desafio central é preencher este gap transferindo experiência estruturada (semântica de tarefas, affordances e restrições) em vez de pixels brutos, permitindo a síntese de dados aprendíveis por robôs a partir de demonstrações humanas.

2. Metodologia: O Framework Pegasus

O Pegasus é um framework de baixo recurso que traduz vídeos egocêntricos humanos em demonstrações executáveis por robôs através de um pipeline estruturado baseado em grafos. Ele reformula o problema de geração de aparência para transferência de conhecimento entre diferentes incorporações (cross-embodiment knowledge transfer).

O framework opera em cinco estágios progressivos:

2.1 Extração de Grafo de Tarefa ($V_h \rightarrow G_T$)

Em vez de raciocinar sobre pixels brutos, o Pegasus extrai um Grafo de Tarefa ($G_T$) de vídeos humanos usando um parser visão-linguagem estruturado.

• Nós: Representam entidades semânticas, incluindo submetas ($g_i$), objetos manipulados ($o_j$) e regiões espaciais ($r_k$).
• Arestas: Codificam a ordem temporal, dependências causais e interações espaciais.
• Este grafo preserva a topologia da tarefa enquanto permanece independente de morfologias robóticas específicas.

2.2 Latente de Affordance Hierárquica ($G_T \rightarrow Z$)

Para lidar com a generalização entre objetos e incorporações, o Pegasus introduz uma Latente de Affordance Hierárquica ($Z = \{Z_s, Z_a, Z_t\}$):

1. Nível de Estado do Objeto ($Z_s$): Captura estados físicos (ex: agarrado, aberto, deslocado).
2. Nível de Affordance ($Z_a$): Abstrai observações específicas de objetos em capacidades de manipulação (ex: capacidade de preensão, contenção, capacidade de despejar).
3. Nível de Tarefa ($Z_t$): Representa intenções independentes de incorporação (ex: transportar, empilhar).
   Esta hierarquia remove progressivamente informações específicas da incorporação enquanto preserva a semântica causal da tarefa. Um objetivo contrastivo alinha as demonstrações humanas e robóticas dentro deste espaço de affordance compartilhado.

2.3 Tradução de Grafo entre Incorporações ($G_T \rightarrow G_P$)

O grafo de tarefa é transformado em um Grafo de Planejamento de Robô ($G_P$) executável através de três operadores de grafo:

1. Grafo de Affordance: Augmenta nós semânticos com affordances de manipulação.
2. Grafo de Restrição: Incorpora a viabilidade dependente da incorporação (tipos de preensão, cinemática inversa, restrições de colisão, limites de workspace).
3. Grafo de Planejamento: Converte primitivas viáveis em trajetórias executáveis (waypoints de movimento e transições temporais).
   Esta formulação modular desvincula o raciocínio semântico da adaptação de incorporação.

2.4 Verificação com Restrição Física

A plausibilidade visual é insuficiente para a robótica. O Pegasus emprega um módulo de verificação de malha fechada (closed-loop) que valida as trajetórias geradas contra:

• Solubilidade de cinemática inversa
• Limites de junta
• Evitação de colisões
• Estabilidade de preensão e suavidade da trajetória

Se as restrições forem violadas, sinais de erro estruturados são retroalimentados no módulo de planejamento para regeneração iterativa até que todas as restrições sejam satisfeitas.

2.5 Renderização de Experiência

O grafo de planejamento verificado é renderizado em três modalidades de saída adequadas para aprendizado de política downstream:

• Demonstrações de Vídeo ($D_{video}$): Para políticas visão-linguagem.
• Tokens de Ação Discretos ($D_{action}$): Para modelos de ação autorregressivos.
• Trajetórias Contínuas ($D_{trajectory}$): Para pipelines de controle clássico.

3. Principais Contribuições

1. Formulação de Transferência: Reencadre de vídeos humanos da internet como uma fonte escalável de dados de treinamento para robôs via transferência de conhecimento estruturada entre incorporações.
2. Framework Estruturado em Grafos: Um novo pipeline que modela explicitamente semântica de tarefas, affordances, restrições de incorporação e planejamento de robô, indo além do condicionamento por pixels brutos ou prompts de texto.
3. Latente de Affordance Hierárquica: Uma representação que melhora a generalização para objetos não vistos ao organizar dados de acordo com estados do objeto, affordances e tarefas, em vez de identidade do objeto.
4. Verificação Física de Malha Fechada: Um mecanismo iterativo que impõe viabilidade cinemática, convertendo a adaptação de incorporação em um problema de satisfação de restrições.
5. Validação Empírica: Experimentos abrangentes demonstrando melhorias na correção da tarefa, executabilidade física e aprendizado de política downstream.

4. Resultados Experimentais

O Pegasus foi avaliado em benchmarks incluindo GTEA Gaze+, EPIC-KITCHENS-100 e um Conjunto de Vídeos de Manipulação da Internet curado, através de cinco diversas incorporações robóticas (ex: Franka Panda, xArm 7, UR5e).

4.1 Correção de Tarefa e Executabilidade

• A geração condicionada por grafo superou os baselines de apenas prompt em 12,3% em Correção de Tarefa e 15,7% em Executabilidade.
• Através de cinco tipos de robôs, o sistema alcançou uma Correção de Tarefa média de 84,4% (VLM) e 81,5% (Humano), com 89,6% de Executabilidade.

4.2 Aprendizado de Política Downstream

Treinar políticas (OpenVLA e ACT) nos dados gerados rendeu resultados significativos:

• Dados gerados sozinhos alcançaram uma taxa de sucesso de 55,2%, comparável a 84% do desempenho alcançado por 50 demonstrações de robôs reais (65,9%).
• Aumentar 50 demonstrações reais com 200 geradas melhorou a taxa de sucesso em 11,3% absoluta sobre os dados reais sozinhos.
• Comparado ao treinamento em características de vídeo humano (R3M/VIP), a geração condicionada por grafo proporcionou uma melhoria de +25,8% na taxa de sucesso.

4.3 Generalização para Objetos Não Vistos

A Latente de Affordance demonstrou fortes capacidades zero-shot:

• Alcançou 78,5% de correção de tarefa em objetos completamente não vistos (ex: melancia, chave de fenda) comparado a 45,1% para latentes baseadas em identidade de objeto.
• O modelo inferiu com sucesso comportamentos necessários (ex: "pesado + frágil" $\rightarrow$ "preensão de força cuidadosa") com base na composição de affordance.

4.4 Validade Física

A verificação de malha fechada melhorou significativamente a viabilidade física:

• Pass@1 (primeira tentativa) foi 51,2%; Pass@5 (após 5 iterações) atingiu 94,1%.
• O erro de Cinemática Inversa (IK) foi reduzido em 93,5%, e as taxas de colisão caíram 90,9%.

4.5 Estudos de Ablação

• Remover o Grafo de Restrição causou a maior queda em Executabilidade (-11,2%).
• Remover o Grafo de Affordance causou a maior queda em Correção de Tarefa em objetos não vistos (-5,1%).
• A estrutura de grafo foi identificada como o principal motor de desempenho, e não o modelo de geração de vídeo subjacente.

5. Significância e Alegações

O artigo afirma que o Pegasus reencadra com sucesso a geração de dados robóticos de um problema de coleta de hardware para um problema de transferência de conhecimento escalável e de baixo recurso.

• Transferência de Nível de Experiência: O trabalho argumenta que o gap de incorporação deve ser preenchido no nível de experiência (objetivos, transições de estado, affordances) em vez do nível de pixel. Isso permite que o sistema aproveite a diversidade e o realismo dos vídeos humanos sem exigir construção de ativos 3D em larga escala ou simulação.
• Escalabilidade: Ao desacoplar a semântica da tarefa da morfologia do robô, o framework permite a síntese de demonstrações aprendíveis por robôs para plataformas heterogêneas a partir de uma única fonte de dados humanos.
• Praticidade: Os resultados sugerem que modelar explicitamente o conhecimento da tarefa e as estruturas de affordance permite que a vasta coleção de vídeos de manipulação humana sirva como supervisão eficaz para o aprendizado de robôs, oferecendo uma alternativa prática à coleta de cada demonstração em hardware físico.

Os autores reconhecem limitações, incluindo a dependência de VideoLLMs para decomposição de tarefas, o foco na consistência cinemática em vez de dinâmica de contato total, e restrições atuais para geração de visão única. No entanto, o framework estabelece um novo paradigma para o aprendizado de representação estruturada entre diferentes incorporações.