💻 computer science

EMERGE-Policy: A Robot Mind Emerges Beyond a Single Policy

A EMERGE-Policy introduz um framework agêntico estruturado em grafos onde um Agente Principal central coordena Sub Agentes especializados para percepção, raciocínio e verificação dentro de contextos isolados, permitindo o desempenho robótico robusto e livre de ajuste fino através de colaboração emergente em nível de sistema e correção de malha fechada.

Autores originais: Zhirui Fang, Qingchi Yu, Ziyang Chen, Longfei Li, Haoran Ma, Keru Zhou, Xinrun Xu, Samith Va, Yuxuan Hu, Peixuan Song, Qiang Du, Bin Qian, Yongkang Deng, Xin Li, Yezhen Wang, Zhe Li, Hao Luo, Shuyan L

Publicado 2026-09-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhirui Fang, Qingchi Yu, Ziyang Chen, Longfei Li, Haoran Ma, Keru Zhou, Xinrun Xu, Samith Va, Yuxuan Hu, Peixuan Song, Qiang Du, Bin Qian, Yongkang Deng, Xin Li, Yezhen Wang, Zhe Li, Hao Luo, Shuyan Li, Ziwei Wang, Weijian Deng, Xiu Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs há muito tempo são especialistas em repetir um único movimento perfeito, como um soldador em uma linha de montagem ou um braço empilhando caixas idênticas. Mas dar a um robô uma mente capaz de lidar com um mundo real desordenado e imprevisível provou ser muito mais difícil. Durante décadas, pesquisadores tentaram resolver isso construindo um único e massivo programa de computador — um "cérebro" — que pudesse ver um objeto, entender um comando e mover o braço tudo de uma vez. Embora esses sistemas tenham se tornado impressionantes, eles frequentemente tropeçam quando as coisas dão errado. Se um copo escorrega ou a luz muda, o cérebro único pode ficar confuso porque tenta fazer tudo em um único salto gigante. O novo pensamento na robótica sugere que a inteligência pode não precisar viver em um só lugar. Em vez disso, a mente de um robô poderia emergir de uma equipe de ajudantes especializados trabalhando juntos, onde uma parte observa, outra planeja, uma terceira verifica o trabalho e uma quarta lembra o que aconteceu. Essa abordagem trata o robô não como uma única entidade, mas como um grupo coordenado, permitindo que ele se recupere de erros e se adapte a mudanças de maneiras que um programa único não consegue.

Esta é a ideia central por trás de um novo framework chamado EMERGE-Policy, desenvolvido por pesquisadores de várias universidades, incluindo a Universidade de Tsinghua e a Universidade de Pequim. Em vez de depender de um único modelo gigante para fazer tudo, os pesquisadores construíram um sistema onde um "Agente Principal" atua como um gerente de projeto. Este gerente não observa a transmissão de vídeo bruta ou calcula cada movimento do motor em si mesmo. Em vez disso, ele divide uma tarefa complexa, como "empilhe estes copos em uma pirâmide", em etapas menores. Ele então delega tarefas específicas a "Sub Agentes" especializados. Uma equipe de ajudantes foca puramente em ver a cena e encontrar os copos. Outra equipe observa o braço do robô para garantir que ele esteja se movendo corretamente. Uma terceira equipe verifica se o copo está realmente estável após ser colocado. Se algo der errado, uma quarta equipe ajuda o robô a lembrar a falha e tentar uma abordagem diferente. O Agente Principal coordena esses grupos, recebendo apenas a informação essencial e resumida de que precisa para tomar a próxima decisão, enquanto o trabalho pesado de processar dados brutos acontece em segundo plano.

Os pesquisadores testaram este sistema em uma série de benchmarks desafiadores, incluindo tarefas onde o robô tinha que manipular objetos sobre uma mesa sob condições difíceis. Eles compararam essa abordagem baseada em equipe contra os melhores modelos de programa único atualmente disponíveis. Os resultados mostraram que a equipe coordenada superou significativamente os modelos únicos, especialmente quando o ambiente mudava ou quando as instruções eram vagas. Em testes padrão, o sistema alcançou taxas de sucesso próximas a 99 por cento, uma melhoria pequena, mas significativa, sobre os melhores modelos únicos. Mais importante, quando os pesquisadores introduziram perturbações — como mudar a iluminação, alterar o tamanho dos copos ou bloquear a visão do robô — o sistema baseado em equipe permaneceu robusto. Enquanto os modelos únicos frequentemente falhavam completamente sob essas novas condições, o sistema EMERGE-Policy foi capaz de detectar o problema, diagnosticar a questão e ajustar seu plano para ter sucesso. Em um teste específico envolvendo um robô real empilhando copos de papel em uma pirâmide de três níveis, o sistema obteceu sucesso em 94 por cento dos ensaios, mesmo quando os copos tinham tamanhos diferentes ou os ângulos da câmera mudavam.

Uma parte fundamental deste sucesso é como o sistema lida com memória e erros. Em vez de tentar lembrar cada quadro de vídeo, o que sobrecarregaria o computador, o sistema escreve um resumo conciso do que aconteceu em um registro digital. Se o robô deixa um copo cair, o sistema não tenta apenas novamente de forma cega. Ele analisa por que a queda aconteceu, escreve uma nota sobre a falha e cria um plano específico para corrigir apenas aquela parte do problema antes de prosseguir. Isso permite que o robô se recupere de erros localmente sem ter que reiniciar toda a tarefa. Os pesquisadores também descobriram que dar ao sistema uma "prévia" do que poderia acontecer a seguir ajudou a evitar erros antes que ocorressem. Ao simular alguns movimentos possíveis em sua mente e verificar qual parecia melhor, o robô podia escolher o caminho mais seguro. Este passo de "imaginação", combinado com um processo de verificação rigoroso, significou que o robô era menos propenso a cometer erros irreversíveis.

Os experimentos não se limitaram a simulações de computador. A equipe implementou o sistema em um braço robótico físico para realizar uma sequência longa de tarefas: remover copos de papel de uma mesa, colocá-los de cabeça para baixo e empilhá-los em camadas. Este teste no mundo real provou que o framework podia lidar com a imprevisibilidade de objetos físicos, como copos que poderiam oscilar ou deslizar. O sistema completou a tarefa com sucesso 94 por cento das vezes e, mesmo quando os pesquisadores interromperam o processo ou mudaram a iluminação, o robô foi capaz de replanejar e terminar o trabalho. O estudo sugere que o futuro da inteligência robótica pode não residir na construção de um cérebro único, maior e mais inteligente, mas na criação de uma maneira melhor para que muitas ferramentas menores e especializadas trabalhem juntas. Ao organizar essas ferramentas em uma hierarquia clara, onde cada uma tem um trabalho específico e uma forma clara de reportar, os pesquisadores criaram um sistema que é não apenas mais preciso, mas também mais resiliente ao caos do mundo real.

Resumo Técnico: EMERGE-Policy

Declaração do Problema

O artigo aborda uma limitação fundamental na IA incorporada atual: a suposição de que a "mente" de um robô deve residir em uma única política ou modelo de raciocínio monolítico. Embora os modelos de Visão-Linguagem-Ação (VLA) e Modelos de Mundo-Ação (WAMs) tenham avançado significativamente, eles frequentemente lutam com tarefas de longo horizonte que exigem decomposição complexa, verificação de resultados e recuperação de falhas de execução. Os frameworks de orquestração existentes (por exemplo, Code as Policies, sistemas baseados em Harness) frequentemente passam evidências densas e não estruturadas da percepção e execução diretamente para um planejador de alto nível. Essa abordagem sobrecarrega a janela de contexto do planejador com dados irrelevantes, obscurece a proveniência da informação relevante para a decisão e carece de mecanismos explícitos para recuperação localizada e consolidação de estado. O desafio central é coordenar capacidades especializadas (percepção, predição, controle, verificação) enquanto controla estritamente a carga de informação apresentada ao tomador de decisão de alto nível em cada etapa.

Metodologia: EMERGE-Policy

Os autores propõem o EMERGE-Policy, um framework agêntico estruturado em grafos onde o comportamento coerente emerge da interação coordenada de componentes especializados, em vez de um único modelo. O sistema é organizado em torno de três pilares arquitetônicos primários:

1. Orquestração Hierárquica de Agentes

Agente Principal (Main Agent): Atua como o núcleo de orquestração, mantendo uma Janela de Contexto Ativa ( $C_t$ ) compacta. Ele detém a instrução da tarefa, o subobjetivo atual, o status do plano, o estado de recuperação e a memória relevante. Ele não processa observações brutas ou traços completos de execução. Em vez disso, ele decompõe instruções em subobjetivos definidos por um alvo, uma mudança de estado e um critério de conclusão ( $g_i = \langle Target, Change, Criterion \rangle$ ).
Sub Agentes (Sub Agents): Agentes de papéis específicos (Percepção, Verificação, Monitoramento) operam em contextos isolados. Eles processam tarefas densas e intensivas em evidências (ex: localização de objetos, detecção de anomalias) e retornam apenas evidências estruturadas e relevantes para a tarefa ao Agente Principal. Essa separação evita que o contexto do Agente Principal seja poluído por traços de processamento de baixo nível.
Pilha de Ramificação de Recuperação (Branch Stack Recovery): Quando um subobjetivo falha na verificação, o Agente Principal gera um diagnóstico textual e empilha um subobjetivo de recuperação localizado em uma Pilha de Ramificação (Branch Stack). A execução tenta resolver essa pilha antes de recorrer ao replanejamento global, permitindo uma correção eficiente e localizada.

2. Interface de Habilidade Unificada

O framework abstrai backends heterogêneos (políticas VLA, Modelos de Mundo, controladores analíticos) em uma interface funcional de Habilidade (Skill), categorizada pelo seu papel no ciclo de decisão:

Habilidades Operacionais: Executam ações (ex: políticas de movimento VLA, primitivas de trajetória).
Habilidades de Imaginação: Predizem resultados futuros ou estados latentes sem execução física (ex: Modelos de Mundo).
Habilidades de Avaliação: Avaliam viabilidade, progresso ou satisfação de critérios (ex: modelos de visão-linguagem, verificações geométricas).
Essa abstração funcional permite que diferentes modelos de backend sejam compostos dentro do mesmo ciclo fechado sem exigir arquiteturas internas idênticas.

3. Gestão de Memória e Estado Sensível a Tokens

Para lidar com tarefas de longo horizonte, o EMERGE-Policy utiliza uma arquitetura de memória de múltiplas camadas:

Arquivos Persistentes: PLAN.md (sequência de subobjetivos e status), HISTORY.md (resumo cronológico) e MEMORY.md (estado de crença consolidado) armazenam o estado da tarefa externamente.
Contexto Dinâmico: O contexto ativo do Agente Principal é reconstruído recuperando fatos relevantes desses arquivos e evidências estruturadas recentes dos Sub Agentes, garantindo que o orçamento de tokens seja usado de forma eficiente.
Verificação Visual: Um Sub Agente de Monitoramento dedicado verifica assincronamente os resultados físicos contra os critérios, fornecendo julgamentos binários e explicações textuais para atualizar o estado de crença do Agente Principal.

Contribuições Principais

Framework Agêntico Estruturado em Grafos: A introdução do EMERSE-Policy, que altera o paradigma de uma política única para um sistema coordenado onde o comportamento emerge da interação de um Agente Principal, Sub Agentes de papéis específicos e uma biblioteca de Habilidades unificada.
Definição e Interfaces de Habilidade Expandidas: O artigo redefine "habilidades" para incluir VLA, Modelos de Mundo e Verificadores como unidades funcionais chamáveis. Estabelece limites de informação explícitos onde os Sub Agentes retornam evidências estruturadas em vez de históricos brutos, e define um esquema padronizado para invocação de Habilidades ( $\langle I_{meta}, \Theta_{param}, \Phi_{pre}, \Psi_{post} \rangle$ ).
Ganhos de Desempenho em Nível de Sistema: Os autores demonstram que esta estratégia de orquestração produz melhorias significativas sobre os backends de execução subjacentes, particularmente em robustez e manipulação de memória, sem exigir ajuste fino adicional dos modelos base.

Resultados Experimentais

O framework foi avaliado em benchmarks padrão e perturbados (LIBERO, LIBERO-Plus, LIBERO-Pro, RoboDojo) e implantado em um robô físico para uma tarefa de empilhamento de copos multi-etapas.

Desempenho em Benchmark (LIBERO):
- Usando o backend Cosmos Policy, o EMERGE-Policy alcançou 99,2% de sucesso médio no LIBERO padrão (vs. 98,5% para o backend sozinho) e 93,9% no LIBERO-Plus (vs. 82,2% para o backend).
- Usando o backend $\pi0.5$ , alcançou 98,8% no LIBERO padrão (vs. 96,8% para o backend) e 88,3% no LIBERO-Plus (vs. 85,7% para o backend).
- No LIBERO-Pro (instruções implícitas), o sistema mostrou ganhos massivos, por exemplo, melhorando o sucesso no conjunto Spat-S de 20,0% ( $\pi0.5$ ) para 95,7%.
RoboDojo (Memória e Configurações Abertas):
- O sistema alcançou uma taxa de sucesso de 25,00% na dimensão "Memória", superando significativamente baselines como $\pi0.5$ (5,78%) e X-VLA (4,76%), demonstrando raciocínio não-Markoviano e codificação histórica fortes.
Implantação em Robô Real:
- Em uma tarefa de "Empilhamento de Copos Multi-camadas", o sistema alcançou uma taxa de sucesso de 99% sob condições padrão.
- Manteve a robustez sob perturbações: 86% de sucesso após interrupção da execução, 92% com variações no tamanho do copo, e 93-94% com mudanças de iluminação/cor.
Eficiência: A incorporação de priors específicos da tarefa reduziu os passos de planejamento em 24,7% e o tempo de execução (wall-clock time) em 16,3% por episódio, mantendo taxas de sucesso comparáveis.

Significância e Alegações

O artigo afirma que o EMERGE-Policy demonstra que a "mente" eficaz de um robô não precisa estar confinada a uma única política. Em vez disso, a inteligência emerge através da divisão de sub-tarefas funcionais entre múltiplos agentes e sua colaboração concorrente.

Os autores enfatizam que o sucesso do sistema advém de:

Orquestração Estruturada: Separar explicitamente percepção, execução, verificação e memória em contextos isolados evita a sobrecarga de informações no planejador de alto nível.
Recuperação Localizada: O mecanismo de Pilha de Ramificação permite um diagnóstico e recuperação baseados em texto de forma eficiente, sem descartar todo o plano.
Modularidade: Ao tratar modelos (VLA, Modelos de Mundo) como "Habilidades" intercambiáveis, o framework pode alavancar as forças de backends heterogêneos dentro de um único protocolo de ciclo fechado.

Os autores observam modestamente que, embora os resultados em nível de sistema sejam promissores, a contribuição específica de cada componente arquitetônico (ex: isolamento de contexto vs. aumento do orçamento de interação) requer estudos de ablação pareados adicionais. Eles concluem que este framework estende as políticas robóticas robustas além de execuções isoladas, permitindo um desempenho confiável em ambientes complexos, de longo horizonte e perturbados.