💻 computer science

Enfold: Folding World-Generator Computation into Predictive Representations for Efficient Embodied Control

Enfold é um framework inovador que destila o processo computacional de múltiplos níveis de modelos generativos de mundo em uma representação preditiva inferida puramente do contexto visual e linguístico atual, permitindo que agentes incorporados alcancem um controle forte com latência significativamente reduzida ao internalizar a estrutura futura-generativa sem a necessidade de materializar trajetórias futuras em cada etapa.

Autores originais: Weili Zeng, Yitong Xing, Fulong Liu, Chengqun Yang, Antao Xiang, Feng Tian, Jingnan Gao, Jisong Cai, Xin Wang, Xiaomin Wu, Yao Mu, Yichao Yan

Publicado 2026-07-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Weili Zeng, Yitong Xing, Fulong Liu, Chengqun Yang, Antao Xiang, Feng Tian, Jingnan Gao, Jisong Cai, Xin Wang, Xiaomin Wu, Yao Mu, Yichao Yan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a fazer um sanduíche. O jeito antigo de fazer isso era dar ao robô uma bola de cristal. Antes de mover uma única mão, o robô usaria sua bola de cristal para gerar um vídeo completo, em alta definição, do futuro: vendo o pão ser fatiado, o queijo deslizar sobre o pão e o prato ser colocado na mesa. Somente após assistir a todo esse filme em sua mente é que o robô decidiria o que fazer a seguir. É como tentar dirigir um carro assistindo a um filme completo da estrada à frente antes mesmo de virar o volante. É poderoso, mas também é incrivelmente lento e computacionalmente caro, como tentar renderizar um filme de grande orçamento apenas para decidir se deve virar à esquerda ou à direita.

Este artigo vem do campo da robótica e da inteligência artificial, focando especificamente em "modelos de mundo". Um modelo de mundo é, essencialmente, uma IA que aprende como o mundo físico funciona ao prever o que acontece a seguir. A ideia central com a qual os autores estão brincando é a de "representações preditivas". Pense nisso como a diferença entre memorizar um roteiro de filme inteiro versus entender as regras da história. Você não precisa reassistir ao filme inteiro para saber que, se deixar um copo cair, ele irá estraçalhar; você só precisa entender a física da gravidade e da fragilidade. A grande questão que os autores fazem é: Podemos ensinar um robô a entender a estrutura do futuro sem realmente forçá-lo a gerar o vídeo completo e pesado toda vez que ele precisar se mover?

O artigo introduz um novo método chamado Enfold. O nome é um trocadilho com "unfolding" (desdobrar/desenrolar) um futuro (que é o que os métodos antigos e lentos fazem) e "enfolding" (envolver/envolver em si) esse conhecimento do futuro no momento presente. Em vez de fazer o robô gerar um vídeo completo do futuro antes de agir, o Enfold ensina um "codificador preditivo" a absorver a computação de como esse futuro pareceria.

Eis como funciona: Os pesquisadores utilizam uma IA "professora" (um gerador de vídeo) que é muito boa em imaginar o futuro. À medida que essa IA professora processa um vídeo do que irá acontecer, ela passa por muitos passos internos, organizando a cena, os objetos e as interações. O Enfold observa esses passos internos e aprende a prevê-los usando apenas a imagem atual e a instrução do robô. É como um aluno observando um mestre chef cozinhar um prato complexo. Em vez de o aluno tentar cozinhar o prato inteiro do zero toda vez que quiser fazer um sanduíche, eles aprendem a "memória muscular" e a "lógica da cozinha" do chef. Eles aprendem a antecipar o próximo passo com base no estado atual da panela, sem precisar simular toda a refeição em suas cabeças primeiro.

O artigo conclui que esta abordagem é um divisor de águas para velocidade e eficiência. Em testes, o robô Enfold foi capaz de tomar decisões 3,7 vezes mais rápido do que um método anterior de última geração chamado Fast-WAM, e uma versão otimizada chamada Enfold-Flash foi 10,1 vezes mais rápida. Apesar de ser muito mais rápido, ele não perdeu sua inteligência; ele na verdade performou ligeiramente melhor em tarefas complexas, alcançando uma taxa de sucesso de 97,8% em um benchmark e 91,77% em outro.

Crucialmente, o artigo argumenta contra a ideia de que um robô deve gerar um vídeo completo para agir de forma inteligente. Eles mostram que, ao "envolver" a computação generativa do futuro em uma representação compacta, o robô ainda consegue se adaptar se o mundo mudar. Por exemplo, se um humano mover um prato enquanto o robô está planejando pegá-lo, o Enfold não apenas reproduz um roteiro pré-gravado; ele recalcula instantaneamente o futuro com base na nova realidade e ajusta suas ações. Os autores sugerem que isso prova que o robô aprendeu uma compreensão preditiva e flexível do mundo, em vez de apenas memorizar um caminho fixo.

Em resumo, o Enfold sugere que não precisamos renderizar todo o futuro para controlar um robô. Só precisamos ensinar o robô a carregar a lógica do futuro no bolso, permitindo que ele aja instantaneamente e de forma adaptável, transformando um processo lento de renderização de vídeo em uma decisão intuitiva e ultrarrápida.

Resumo Técnico: Enfold – Dobrando a Computação de um Gerador de Mundo para Representações Preditivas para Controle Incorporado Eficiente

1. Declaração do Problema

Modelos generativos de mundo (WGMs) emergiram como substratos poderosos para o controle incorporado, capazes de sintetizar observações futuras para antecipar a evolução da cena, interações de objetos e movimento de longo alcance. No entanto, as estratégias atuais de implantação para esses modelos enfrentam um gargalo fundamental de eficiência. As abordagens dominantes tipicamente dependem de interfaces de nível de saída:

Imaginar-então-agir: Materializar um futuro visual completo antes de recuperar uma ação.
Modelos Unificados de Mundo-Ação: Decodificar conjuntamente vídeo e ações, muitas vezes exigindo que o gerador seja executado em tempo de inferência.
Contexto Latente: Usar características internas ou caches de um ramo generativo, o que ainda frequentemente exige a execução do processo generativo ou depende de encoders congelados que não expõem a computação generativa.

O problema central abordado por este trabalho é se a computação interna que constrói um futuro — especificamente os estados intermediários de um gerador de mundo que organizam aparência, layout espacial e interação através de níveis de abstração — pode ser internalizada em uma representação inferida apenas a partir do presente. Se bem-sucedido, isso permitiria que um robô acessasse o conhecimento estrutural orientado ao futuro sem executar o custoso ramo generativo durante o loop de controle, reduzindo assim a latência enquanto mantém a capacidade preditiva.

2. Metodologia: O Framework Enfold

O Enfold propõe um framework que transfere a computação generativa futura de um gerador de mundo para uma representação preditiva baseada apenas no presente. A arquitetura consiste em três componentes: um encoder preditivo ( $U_\phi$ ), um modelo de mundo generativo ( $G_\theta$ ) e cabeças de tarefa leves.

2.1 Mecanismo Central: Acoplamento Bidirecional

O framework é treinado via dois objetivos acoplados que separam os papéis do gerador e do encoder:

Gerador-para-Representação (G2R):
- Processo: Durante o treinamento, o gerador ( $G_\theta$ ) processa um fragmento de vídeo futuro observado ( $y$ ) sob uma passagem de teacher-forcing, expondo seus estados ocultos intermediários ( $H_\theta$ ) através de várias profundidades de rede e passos de corrupção.
- Supervisão: Um encoder preditivo ( $U_\phi$ ), que vê apenas o contexto visual atual ( $c$ ) e a instrução de linguagem ( $e$ ), é treinado para prever esses estados do gerador em múltiplos níveis.
- Construção do Alvo: O alvo não é uma única camada, mas uma concatenação de estados selecionados de múltiplas profundidades ( $A(H_\theta)$ ), processados por uma cabeça condicionada ao passo de tempo ( $F_\omega$ ). Isso leva em conta o fato de que a camada mais informativa muda com o nível de corrupção e profundidade.
- Restrição: Os estados do gerador são desconectados dos gradientes da tarefa. O encoder aprende a prever a estrutura da transição futura sem ser moldado pelos resultados específicos da ação.
Representação-para-Geração (R2G):
- Processo: A representação aprendida ( $\bar{z}$ , uma cópia com stop-gradient da saída do encoder) é alimentada de volta para condicionar a geração futura no gerador ( $G_\theta$ ).
- Objetivo: O gerador é treinado para prever o campo de velocidade do futuro condicionado a $c$ , $e$ e $\bar{z}$ .
- Propósito: Isso atua como um teste funcional, garantindo que a representação $z$ contenha informação preditiva suficiente para melhorar a modelagem futura, em vez de ser apenas um resumo específico da política.
Leituras de Tarefa Desconectadas (Detached Task Readouts):
- Cabeças de tarefa (ex: predição de ação) leem a representação $z$ (via stop-gradient) para prever ações.
- Design Crucial: Os gradientes da tarefa não fluem de volta para o encoder $U_\phi$ . Isso garante que a representação retenha a estrutura de transição antecipada a partir do estado atual, em vez de sofrer overfitting a variações irrelevantes na trajetória específica do professor (teacher).

2.2 Inferência e Implantação

Na implantação, o sistema executa apenas o encoder preditivo e a cabeça de ação. O gerador de vídeo é não executado para a predição de ação.

Predição de Ação: A cabeça de ação gera fragmentos de ação diretamente de $z$ .
Imaginação Futura: Se um futuro visual for explicitamente solicitado (ex: para visualização), o gerador $G_\theta$ é usado para amostrar de $p_\theta(y | c, e, z)$ .
Redução de Latência: Ao remover o gerador do caminho de controle, o Enfold alcança reduções significativas de latência em comparação com métodos que exigem rollouts de vídeo ou decodificação acoplada.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

Formulação do Espaço de Supervisão Preditiva: Os autores formulam a computação interna de múltiplos níveis de um gerador de mundo como um espaço de supervisão preditiva, caracterizando como sua utilidade e estabilidade variam através da profundidade da rede e níveis de corrupção.
O Framework Enfold: Desenvolvimento de um método que destila a computação generativa futura em uma representação baseada apenas no presente, servindo como uma interface compartilhada tanto para a geração futura quanto para leituras de tarefa com stop-gradient.
Controle Eficiente sem Rollout: Demonstração de que esta interface suporta controle competitivo em tarefas simuladas e do mundo real sem executar o gerador no caminho da ação, enquanto simultaneamente melhora a predição de vídeo futuro e reduz substancialmente a latência de ação.

4. Resultados Experimentais

O framework foi avaliado no LIBERO (40 tarefas condicionadas por linguagem), RoboTwin2.0 (50 tarefas de braço duplo com randomização de domínio) e manipulação bimanual no mundo real (plataforma AgileX).

4.1 Desempenho de Controle e Latência

LIBERO: O Enfold alcançou 97,8% de sucesso médio sem pré-treinamento incorporado, superando o Fast–WAM (97,6%) e igualando ou excedendo modelos maiores como $\pi0$ $π 0$ e OpenVLA.
- Latência: O Enfold reduziu a latência de ação para 134 ms (3,7 $\times$ mais rápido que o Fast–WAM). A variante otimizada Enfold-Flash atingiu 49 ms (10,1 $\times$ mais rápido).
RoboTwin2.0: O Enfold alcançou 91,77% de sucesso médio (limpo e randomizado), comparável ao Fast–WAM (91,83%) e ligeiramente abaixo do LingBot-VA (92,20%), apesar de não usar pré-treinamento incorporado.
Mundo Real: Em quatro tarefas bimanuais, o Enfold alcançou uma pontuação de conclusão de distribuição interna de 89,7%, superando significativamente o Fast–WAM (77,8%) e o $\pi0.5$ (86,1%). Sob mudanças de distribuição fora de distribuição (OOD), o Enfold manteve uma pontuação de 76,6%, superando o Fast–WAM em 6,6 pontos.

4.2 Adaptação e Consistência Contrafactual

Testes de Intervenção: Quando uma intervenção humana alterou a cena (ex: movendo um objeto) enquanto o objetivo permanecia fixo, as ações executadas e as continuações imaginadas pelo Enfold se adaptaram ao novo estado.
Significância: Este comportamento contrasta com a reprodução de trajetória fixa, fornecendo evidência qualitativa de que a representação codifica consistência contrafactual e pode replanejar com base no presente alterado.

4.3 Ablação e Análise de Representação

Alvos de Supervisão: A supervisão de estados do gerador em múltiplos níveis superou tanto a predição de pixels futuros quanto os alvos de apenas ação.
Validação R2G: Condicionar o gerador na representação aprendida melhorou as métricas de predição de vídeo futuro (PSNR, SSIM, LPIPS), confirmando a utilidade da representação além do controle.
Supressão de Ruído (Nuisance): A análise mostrou que o Enfold suprime variações irrelevantes (ex: mudanças de iluminação, ruído de geração) presentes nos recursos brutos do gerador, enquanto preserva a estrutura relevante para a tarefa.
Codificação Orientada ao Futuro: Sondas revelaram que a representação torna-se cada vez mais preditiva de regiões da cena que mudam ao longo de horizontes mais longos (ex: braços robóticos em movimento e objetos manipulados) em comparação com recursos visuais estáticos.
Geometria de Tokens: A visualização da similaridade de tokens mostrou que o Enfold organiza a representação para destacar relações de interação (contato garra-objeto) em vez de apenas similaridade visual.

5. Significância e Alegações

O artigo postula que o Enfold recodifica o papel de um gerador de mundo de um simulador de tempo de execução para uma fonte de supervisão preditiva estruturada em tempo de treinamento.

Internalização da Computação: A principal alegação é que "o futuro não precisa ser materializado em cada passo se sua estrutura interna puder ser dobrada (enfolded) no presente".
Assimetria: O framework aproveita uma assimetria onde o encoder prevê estados estocásticos, dependentes do futuro, sem acesso ao futuro. Isso força o encoder a reter estruturas de transição que são antecipáveis a partir do estado atual, em vez de reproduzir cada variação de ruído do professor.
Eficiência vs. Capacidade: Os resultados demonstram que remover o ramo generativo do loop de controle não sacrifica a qualidade do controle; em vez disso, permite desempenho em tempo real (latência sub-50ms) enquanto retém a capacidade de "imaginar" futuros quando explicitamente solicitado.
Generalização: O método mostra robustez a mudanças de distribuição e intervenção humana, sugerindo que a representação aprendida captura uma compreensão mais causal e adaptável do ambiente do que simples mecanismos de reprodução de trajetória.

Os autores permanecem modestos quanto ao escopo, observando que a evidência de intervenção é qualitativa e que a robustez sob grandes mudanças de distribuição (comparado a modelos com pesado pré-treinamento) permanece um desafio aberto. No entanto, eles estabelecem um princípio mais amplo: uma computação generativa rica pode ser internalizada durante o aprendizado e reutilizada eficientemente para o controle.