Resumo Técnico: EWAM – Um Modelo de Ação de Mundo Aprimorado para Adaptação Online de Malha Fechada

1. Declaração do Problema

A implantação robótica em ambientes abertos é atualmente dificultada pelo alto custo de coleta de demonstrações que cubram diversas poses de objetos, layouts de cena e contingências de execução. Embora os Modelos de Ação de Mundo (WAMs) acoplem com sucesso a previsão de estados futuros à geração de ações, pipelines estáticos offline permanecem vulneráveis a desajustes no nível de execução. Esses desajustes incluem colisões físicas, agarres vazios e alucinações induzidas pela percepção, onde previsões visuais de alta confiança falham em se alinhar com a realidade física. Além além disso, uma vez implantados, os WAMs estáticos lutam para converter eficientemente experiências locais bem-sucedidas em vantagens futuras sem o risco de degradação da política através de aprendizado online não filtrado.

O desafio central abordado é como melhorar a qualidade da execução e a adaptabilidade em tarefas robóticas ricas em contato sob um protocolo zero-shot (sem coleta de novos dados de demonstração para a tarefa alvo) enquanto preserva as capacidades gerais de um modelo de fundação pré-treinado.

2. Metodologia: A Arquitetura EWAM

A proposta de Modelo de Ação de Mundo Aprimorado (EWAM) é uma arquitetura de adaptação online de malha fechada construída sobre um backbone congelado Cosmos3-Nano-Policy-DROID. Em vez de retreinar todo o modelo de fundação, o EWAM insere quatro camadas neurais treináveis no caminho de inferência para permitir recuperação de memória, detecção de anomalias, roteamento de estratégia e correção de ação.

2.1 Componentes Principais

A arquitetura modifica a passagem direta padrão do backbone Cosmos3-Nano-Policy-DROID (composto por um Codificador Visão-Linguagem, Raciocinador Autorregressivo e Transformer de Difusão) com as seguintes camadas inseridas:

1. Camada de Memória de Experiência Neural: Inserida em uma camada intermediária ($l_{mem}=6$) do Transformer de Difusão (DiT). Ela recupera contextos de execução relevantes para a tarefa de um banco de dados de memória ($M$) e injeta-os nas representações ocultas do DiT. Isso condiciona o processo de difusão tanto ao contexto atual quanto à experiência histórica sem modificar os pesos do backbone.
2. Camada de Detecção de Anomalia Neural: Localizada após a cabeça de predição de estado, esta camada monitora a divergência entre os estados previstos e realizados. Ela computa um vetor de anomalia ($\iota_t$) contendo pontuações para:
   • Desajuste entre predição e realização (resíduos).
   • Risco de colisão.
   • Probabilidade de agarre vazio.
   • Alucinação de percepção.
   • Violações de força.
3. Camada de Roteamento de Política Neural: Com base no vetor de anomalia e no contexto de memória, esta camada seleciona uma estratégia de execução:
   • Execução Direta: Prosseguir se as anomalias estiverem abaixo de um limite.
   • Replanejamento Conservador: Acionar a correção de ação se anomalias leves forem detectadas.
   • Recuperação de Rollback: Restaurar para um estado estável a partir da memória se ocorrerem anomalias severas.
4. Camada de Correção de Ação Neural: Refina a saída de ação bruta ($a^0_{t:t+H}$) com base na decisão de roteamento e nos sinais de anomalia. Ela realiza a correção no tempo de denoising para garantir uma execução segura e eficiente, ou recupera uma ação conservadora da memória durante o rollback.

2.2 Aprendizado Online de Malha Fechada

O EWAM opera como um ciclo de malha fechada onde os resultados da execução são avaliados por um Portão de Qualidade (Quality Gate).

• Filtragem de Experiência: Apenas trajetórias que atendem a critérios estritos de segurança e eficiência (ex: baixa força de gripper, caminho curto, pontuação de tarefa alta) são admitidas na memória de experiência ($M$). Amostras de baixa qualidade são registradas para diagnóstico, mas excluídas das atualizações de memória para evitar o "esquecimento catastrófico" ou o acúmulo de comportamentos errôneos.
• Estratégia de Adaptação: O sistema adota uma abordagem de "primeiro a memória, segundo o adaptador". A adaptação imediata depende da recuperação de memória. Atualizações de parâmetros são aplicadas apenas intermitentemente às camadas inseridas leves e aos adaptadores, deixando o backbone Cosmos3-Nano-Policy-DROID pré-treinado congelado.

3. Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Arquitetura: A formulação do EWAM como uma arquitetura baseada em Cosmos3-Nano-Policy-DROID apresentando quatro camadas neurais inseridas (Memória, Anomalia, Roteamento, Correção) que formam um caminho de inferência de malha fechada com módulos diferenciáveis treináveis e roteamento discreto supervisionado.
2. Mecanismo de Segurança: A introdução de um design de filtragem de experiência e rollback consciente de ramos que evita que trajetórias inseguras ou de baixo valor contaminem o banco de dados de memória e as atualizações online.
3. Validação Empírica: Resultados de simulação em tarefas de manipulação zero-shot no RoboLab demonstrando melhoria na qualidade da execução (eficiência e redução de falhas) enquanto preserva o backbone congelado.

4. Resultados Experimentais

Os experimentos foram conduzidos no ambiente de simulação RoboLab em três tarefas de manipulação zero-shot: BananaInBowlTask, BananasInBinOneMoreTask e BlockStackingOrderAgnosticTask.

4.1 Desempenho na BananaInBowlTask

No teste local primário, o EWAM alcançou uma taxa de sucesso de 100%, igualando o baseline Cosmos3-Nano-Policy-DROID. No entanto, superou significativamente o baseline em eficiência e robustez:

• Tempo de Conclusão da Tarefa: Reduzido de 25,60s para 9,27s (redução de 63,8%).
• Comprimento do Caminho: Reduzido de 1,81m para 0,83m (redução de 54,1%).
• Falhas de Execução: Reduzidas de 13,5 para 2,2 por episódio (redução de 83,7%).
  • Colisões reduzidas em 90,6%.
  • Agarres vazios reduzidos em 92,9%.

4.2 Generalização Multitarefa

Na mais complexa BlockStackingOrderAgnosticTask, o EWAM melhorou a taxa de sucesso de 87,2% (baseline) para 94,4%, além de reduzir o tempo da tarefa em 32,4% e o comprimento do caminho significativamente.

4.3 Estudos de Ablação

Estudos de ablação confirmaram a necessidade de cada componente:

• Autoaprendizado (Self-Learning): A remoção do acúmulo de experiência online causou a maior degradação de desempenho (o tempo da tarefa aumentou de 9,27s para 4,653s).
• Memória vs. Atualizações: Uma variante "Apenas Memória" (recuperação sem atualizações de parâmetros) superou uma variante "Apenas Atualização" (atualizações de parâmetros sem recuperação) em 13,6%, validando a estratégia "primeiro a memória".
• Correção de Erro: A remoção desta camada aumentou o tempo da tarefa em 96,1%, destacando seu papel no tratamento de colisões e agarres vazios.

4.4 Sobrecarga Computacional

As quatro camadas neurais introduziram uma latência adicional de 10,2ms (+15,4%) e 130MB de memória GPU (+7,7%). O tempo de inferência total foi de 76,4ms, o que os autores observam estar acima de um orçamento de servo de 20Hz rigoroso, sugerindo que a implementação atual é melhor adequada para replanejamento de nível de chunk ou inferência assíncrona.

5. Significância e Limitações

Significância:
O artigo postula que o EWAM oferece uma arquitetura prática para melhorar a generalização de tarefas e reduzir a pressão para coletar novos dados de implantação. Ao fundir memória de experiência, correção de erro em tempo real e recuperação de rollback em um caminho de inferência de WAM congelado, o método melhora a eficiência de execução e a segurança mesmo quando as taxas de sucesso já estão saturadas. Demonstra que a fusão de malha fechada pode gerar ganhos substanciais na qualidade da execução sem comprometer as capacidades gerais do modelo de fundação pré-treinado.

Limitações (conforme declarado pelos autores):

• Apenas Simulação: Todos os resultados são da simulação RoboLab; a transferência sim-to-real não foi estabelecida.
• Escopo de Tarefas: A avaliação é limitada a um pequeno conjunto de tarefas de manipulação de recipientes e empilhamento. Tarefas de longo horizonte complexas, interferência dinâmica e execução de mundo aberto irrestrita permanecem não verificadas.
• Especificidade da Arquitetura: Os módulos são projetados especificamente para o backbone Cosmos3-Nano-Policy-DROID.
• Implementação de Rollback: A recuperação de rollback é validada via checkpoints de simulador; primitivas de recuperação de impedância de robô real ainda não foram validadas.
• Restrições de Dados: Os limiares de filtragem de experiência são específicos para a configuração do RoboLab e podem não ser universais.

Os autores concluem que, embora o EWAM esclareça como a experiência online deve ser admitida para adaptação, ele ainda depende de inicialização offline pré-treinada e ainda não resolve os desafios da execução de robôs em mundo aberto irrestrito.