EmbodiedClaw: Conversational Workflow Execution for Embodied AI Development

1. O Problema

A pesquisa em Inteligência Artificial Corporificada (Embodied AI) está evoluindo de cenários de tarefas únicas e ambientes isolados para configurações complexas de multitarefa, multi-cenário e multi-modelo. Essa transição criou um gargalo significativo: o custo de engenharia e o tempo de desenvolvimento aumentaram drasticamente.

• Cenário Atual: Pesquisadores gastam tempo excessivo na construção de ambientes de avaliação, coleta de trajetórias, treinamento de modelos e avaliação, frequentemente adaptando tarefas e ativos entre diferentes plataformas e simuladores.
• Desafios Principais:
  • Sobrecarga de Engenharia: A necessidade de aprender definições de tarefas específicas de cada plataforma e organizar ativos manualmente.
  • Falta de Escalabilidade: Dificuldade em reutilizar fluxos de trabalho entre diferentes simuladores (ex: AI2-THOR, Habitat, ManiSkill3) e stacks de modelos.
  • Fragmentação: As ferramentas atuais automatizam etapas isoladas (como geração de dados ou criação de cena), mas não oferecem um sistema unificado para o fluxo de trabalho completo (end-to-end).
  • Reprodutibilidade: A complexidade manual torna difícil executar, reproduzir e estender pesquisas de forma consistente.

2. Metodologia: EmbodiedClaw

O EmbodiedClaw é apresentado como um novo paradigma: um agente conversacional que transforma solicitações de alto nível do usuário em fluxos de trabalho executáveis automatizados. O sistema não apenas gera código, mas orquestra a execução de tarefas de engenharia corporificada.

Estrutura Fundamental

O sistema opera sobre três classes de objetos operacionais:

1. Ambientes de Simulação ($o^S_t$): Criação, edição e configuração de cenários.
2. Dados ($o^D_t$): Coleta de trajetórias, transformação de dados e formatos de treinamento.
3. Modelos ($o^M_t$): Implantação, treinamento, ajuste de pesos e avaliação.

Pipeline de Funcionamento

O sistema segue um ciclo de quatro módulos principais:

1. Compreensão de Intenção (Intent Understanding):
   • Converte entradas conversacionais (texto, imagens) em uma representação estruturada de intenção ($z^I_t$).
   • Realiza o grounding de objetos, resolvendo menções vagas do usuário para entidades executáveis (ex: identificadores de cena, configurações de robô, versões de datasets).
2. Orquestração de Fluxo de Trabalho (Workflow Orchestration):
   • Gera uma sequência de chamadas de habilidades ($\pi_t$) a partir de uma biblioteca reutilizável.
   • As habilidades são abstrações (ex: "reconhecer objeto", "editar estado do simulador") que definem o que deve ser feito, não como.
3. Execução Fundamentada em Habilidades (Skill-Grounded Execution):
   • Traduz as habilidades abstratas em operações concretas específicas da plataforma (chamadas de API, scripts, controle de simulador).
   • Utiliza uma camada de adaptação para conectar o fluxo de trabalho a diferentes backends de simuladores e bibliotecas de ativos.
4. Verificação e Recuperação em Loop Fechado (Closed-Loop Verification):
   • Após cada passo de execução, um verificador analisa o status, diagnostica erros e decide se deve prosseguir, corrigir argumentos ou reverter o estado.
   • Isso previne a acumulação de erros em fluxos de trabalho de longo horizonte.

Formulação Matemática

O objetivo é minimizar o custo de desenvolvimento (esforço humano + custo do sistema) enquanto se maximiza a aderência à intenção do usuário, equilibrando a eficiência com a precisão na execução das tarefas.

3. Principais Contribuições

1. Nova Abstração de Pesquisa: Propõe tratar atividades de engenharia de alta frequência e alto custo (criação de ambiente, síntese de trajetória, engenharia de modelos) como uma classe de habilidades de desenvolvimento executáveis por conversa. Isso comprime fluxos que levavam dias para serem feitos manualmente em apenas algumas horas.
2. Sistema Agente Unificado (EmbodiedClaw): Introduz um sistema que traduz entradas de diálogo em fluxos de trabalho executáveis sobre os três objetos centrais da pesquisa corporificada (Ambiente, Dados, Modelo), suportando operações arbitrárias e adaptação entre plataformas.
3. Validação Empírica Robusta: Demonstra ganhos substanciais em tarefas de desenvolvimento de alto custo, incluindo criação em lote de ambientes de simulação, coleta de dados de trajetória e implantação/avaliação de modelos. O sistema alcança eficiência em ordem de magnitude superior à humana, com precisão próxima à de especialistas.

4. Resultados Experimentais

Os experimentos foram conduzidos no ambiente RoboTwin, cobrindo quatro tarefas principais: síntese de ambiente (baseada em imagem), edição de ambiente, síntese de trajetória (coleta de dados) e avaliação de modelos VLA (Vision-Language-Action).

• Eficiência:
  • O EmbodiedClaw superou significativamente tanto leigos quanto especialistas humanos e agentes de código genéricos (como o Claude Code).
  • Na tarefa de "Simulação para Dados", reduziu o tempo de 200 minutos (especialista) para 23,4 minutos (melhoria de ~88,3%).
  • Na avaliação de VLA, reduziu o tempo de 200 minutos para 122 minutos (melhoria de 39,0%).
• Precisão e Executabilidade:
  • O sistema alcançou taxas de conclusão de tarefas próximas a 1,0 (100%) em tarefas complexas como avaliação de VLA e síntese de trajetória, superando o Claude Code (que obteve 0,0 e 0,2, respectivamente) e aproximando-se do desempenho de especialistas humanos.
  • A arquitetura de verificação em loop fechado foi crucial para garantir que os fluxos de trabalho dependentes de múltiplas etapas fossem executados corretamente.
• Comparação com Agentes Genéricos:
  • Agentes de propósito geral (como Claude Code) falharam em tarefas complexas de Embodied AI porque geram código plausível, mas falham no grounding correto da intenção, na decomposição em etapas executáveis e na manutenção da consistência entre estados de simulador, dados e modelo. O EmbodiedClaw resolve isso através da orquestração estrita de fluxos de trabalho.

5. Significado e Impacto

O trabalho do EmbodiedClaw representa uma mudança de paradigma na pesquisa de IA Corporificada:

• Da Engenharia Manual para a Execução Conversacional: Transfere a carga de trabalho da montagem manual de "loops experimentais" específicos de plataforma para a execução de fluxos de trabalho acionados por diálogo.
• Democratização da Pesquisa: Permite que pesquisadores com menos experiência técnica em configuração de simuladores realizem tarefas complexas de desenvolvimento de IA corporificada.
• Reprodutibilidade e Consistência: Ao padronizar a execução de tarefas de engenharia, o sistema reduz erros humanos e aumenta a confiabilidade dos resultados experimentais.
• Escalabilidade: A arquitetura de adaptação de ativos e plataformas permite que o mesmo fluxo de trabalho seja transferido entre diferentes simuladores e stacks de modelos sem reescrever a lógica de interação, facilitando a expansão da pesquisa para novos domínios.

Em resumo, o EmbodiedClaw não é apenas uma ferramenta de automação, mas uma infraestrutura que permite que a comunidade de IA Corporificada escale suas pesquisas, focando na inovação de algoritmos e ideias em vez de gastar recursos em engenharia de infraestrutura repetitiva.