Robot-Factored World Models via Robot Rendering

Resumo Técnico: Modelos de Mundo Fatorados por Robô via Renderização de Robôs

Definição do Problema
Modelos de mundo de vídeo condicionados por ação visam prever observações futuras a partir de um estado inicial e um sinal de ação, permitindo o planejamento e a melhoria de políticas sem interação no mundo real. No entanto, existe um desafio fundamental na forma como as ações do robô são apresentadas a esses modelos. Na robótica física, as ações influenciam observações futuras através de dois processos distintos: (1) Realização da Ação, onde sinais de controle são convertidos em movimento do robô pelo corpo, controlador e cinemática específicos do robô; e (2) Resposta da Cena, onde o ambiente reage a esse movimento via contato e dinâmica de objetos.

Abordagens existentes condicionam diretamente em sinais de controle específicos do robô (ex: torques de junta ou poses cartesianas), forçando o modelo de mundo a aprender o processo de realização em si, que é específico da corporeidade (embodiment) e redundante. Por outro lado, condicionar em trajetórias registradas futuras (trajetórias realizadas) vaza os resultados da interação (contato, complacência, latência) que o modelo pretende prever. O problema central é identificar um sinal de condicionamento visual que esteja disponível no momento da implantação, evite o aprendizado do processo de realização e não vaze resultados de interação futuros.

Metodologia
Os autores propõem Modelos de Mundo Fatorados por Robô, que desacoplam os processos de realização e renderização específicos do robô do próprio modelo de mundo. A metodologia introduz uma interface visual compartilhada composta por três componentes principais:

1. Condicionamento de Trajetória Nominal (Realização da Ação):
   Em vez de alimentar comandos de controle brutos ou estados realizados, o sistema processa a sequência de ações $a_{1:F}$ através do próprio controlador e cinemática do robô em um ambiente livre de cena para gerar uma trajetória nominal $q_{1:F}$. Esta trajetória representa o movimento que o robô executaria em espaço livre antes de qualquer interação com a cena. Ela serve como um sinal disponível na implantação que faz a ponte entre comandos brutos e estados realizados sem codificar resultados de contato.

2. Renderização do Robô (Interface Visual):
   A trajetória nominal é renderizada no quadro da câmera alvo usando o URDF (Unified Robot Description Format) do robô. Isso produz:

   • RGB da Malha do Robô ($M^{rgb}_{1:F}$): Um vídeo da geometria do robô (elos, garra, efetuador final) como apareceria na cena.
   • Profundidade do Efetuador Final ($D^{eef}_{1:F}$): Informação de profundidade especificamente para o efetuador final.
     Esta renderização fatura a geometria, cinemática e aparência do robô, apresentando a ação ao modelo de mundo puramente como geometria visível do robô no espaço de pixels.

3. Contexto Estático Consciente da Câmera:
   Para fornecer contexto de cena sem vazar dinâmicas futuras, o estado inicial da cena $S_0$ é renderizado ao longo da mesma trajetória de câmera $C_{1:F}$ para produzir o RGB da cena estática ($B^{rgb}_{1:F}$) e a profundidade da cena ($D^{scene}_{1:F}$). Este fluxo fornece contexto de aparência e geometria independente da interação do robô.

Arquitetura do Modelo
O modelo de mundo é instanciado como um modelo de difusão de vídeo latente (especificamente usando um backbone de inpainting de vídeo). A entrada de condicionamento $c$ é formada pela concatenação das representações latentes codificadas do contexto da cena estática, malha do robô renderizada, profundidade da cena e profundidade do efetuador final. O modelo aprende a prever o vídeo futuro $V_{1:F}$ dados esses inputs visuais e um prompt de texto $T$ (que descreve o contexto da cena, mas exclui a ação ou o resultado futuro). O objetivo de treinamento minimiza a perda de correspondência de fluxo (flow-matching loss) entre a velocidade prevista e a velocidade alvo no espaço latente.

Principais Contribuições

1. Interface Realista para Implantação: Os autores introduzem uma interface visual que realiza ações em trajetórias nominais e as renderiza como RGB de malha URDF e profundidade de efetuador final alinhados à câmera. Isso fatura a aparência da cena e o ponto de vista em um fluxo de contexto estático.
2. Consciência de Profundidade: A interface é aumentada com profundidade do efetuador final e da cena para resolver ambiguidades geométricas (proximidade, oclusão e contato provável) que a sobreposição de planos de imagem RGB sozinha não consegue distinguir.
3. Generalização de Corporeidade e de Fonte: Ao representar ações como geometria renderizada em vez de sinais de controle específicos de uma corporeidade, a interface desacopla o modelo de mundo de controladores de robôs específicos. Isso permite a generalização para corpos de robôs não vistos e permite a geração de vídeos de interação robótica fundamentados a partir de demonstrações humanas retargetadas.

Resultos Experimentais
O método foi avaliado nos conjuntos de dados DROID e RoboCasa-GR1, comparando a interface renderizada contra baselines de condicionamento vetorial (Ctrl-World com condicionamento de pose cartesiana e um baseline de vetor de estado AdaLN).

• Desempenho Quantitativo: A interface renderizada superou os baselines de condicionamento vetorial em métricas de PSNR, SSIM e LPIPS em ambos os datasets. Especificamente, a combinação de renderização de malha nominal e pistas de profundidade alcançou os melhores resultados (ex: 24.61 PSNR no RoboCasa-GR1 vs. 17.67 para o baseline de vetor de estado).
• Análise Qualitativa: A interface renderizada localizou melhor as mudanças de cena ao redor do movimento do robô e regiões de contato. Estudos de ablação confirmaram que o uso de trajetórias nominais (em vez de ações brutas) melhorou o alinhamento, e a adição de pistas de profundidade ajudou significamente o modelo a distinguir entre sobreposição de plano de imagem e contato físico real.
• Generalização: O modelo generalizou com sucesso para corpos de robôs não vistos (ex: um xArm 6 com uma mão Inspire F1) simplesmente renderizando a nova geometria na mesma interface. Além disso, gerou com sucesso vídeos de manipulação robótica a partir de movimentos de mãos humanas retargetados, demonstrando que a interface é agnóstica à fonte de movimento.

Significância e Alegações
O artigo afirma que, ao fatorar a realização da ação e a renderização do robô, o modelo de mundo é libertado de aprender a dinâmica de controle específica da corporeidade e pode focar inteiramente no problema compartilhado de prever como uma cena responde a uma geometria visível do robô. Esta abordagem resolve o compromisso entre o aprendizado de realização de ação e o vazamento de estado futuro. Os autores afirmam que esta abordagem "fatorada por robô" fornece uma interface visual consistente através de diferentes pontos de vista e corpos de robôs, permitindo um planejamento mais robusto e a geração de vídeos de interação fundamentados a partir de diversas fontes de movimento, incluindo demonstrações humanas.

Limitações
Os autores reconhecem que a abordagem requer um URDF de robô conhecido e calibração câmera-robô. Adicionalmente, o fluxo de contexto estático assume uma representação de cena estática, que está totalmente disponível em simulação, mas é apenas parcialmente observável no mundo real sem reconstrução 3D de feedforward. Finalmente, os dados de treinamento (DROID) são predominantemente de sucesso, o que significa que o modelo tem exposição limitada a falhas de preensão ou deslizes, o que pode afetar a robustez nesses cenachos específicos.