💬 NLP

PAN: A World Model for General, Actionable, and Long-Horizon World Simulation

Este artigo apresenta o PAN, um modelo de mundo construído sobre a arquitetura de Predição Latente Generativa (GLP) que supera as limitações existentes em predição de domínio aberto, geral e orientada por ações, e consistência de longo horizonte, ao combinar representações latentes estatais, fluxo de informação de malha fechada e uma espinha dorsal mista de LLM/difusão para permitir raciocínio simulativo e planejamento avançados.

Autores originais: PAN Team, Zihan Liu, Yi Gu, Mingkai Deng, Guangyi Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Yichi Yang, Kun Zhou, Jiannan Xiang, Zhiting Hu, Zhengzhong Liu, Eric P. Xing

Publicado 2026-09-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: PAN Team, Zihan Liu, Yi Gu, Mingkai Deng, Guangyi Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Yichi Yang, Kun Zhou, Jiannan Xiang, Zhiting Hu, Zhengzhong Liu, Eric P. Xing

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma mente que não apenas reage ao mundo, mas o antecipa. Durante décadas, cientistas buscaram construir uma inteligência artificial que pudesse fazer mais do que reconhecer um gato em uma foto ou escrever um poema; eles querem máquinas que entendam como o mundo físico muda quando você empurra uma xícara, gira um volante ou abre uma porta. Essa capacidade de prever o futuro com base em ações atuais é conhecida como um "modelo de mundo". É o motor cognitivo que permite aos seres vivos planejar, imaginar o "e se" e evitar o perigo antes que ele aconteça. Embora os computadores modernos tenham se tornado brilhantes em gerar imagens e textos, eles frequentemente lutam para simular a lógica de causa e efeito da realidade. Eles podem criar um vídeo bonito de um carro dirigindo, mas não conseguem prever de forma confiável o que acontece se esse carro subitamente desviar para evitar um buraco. Sem esse poder preditivo, a inteligência artificial permanece um observador passivo, em vez de um participante ativo capaz de tomar decisões em um ambiente complexo e em constante mudança.

Uma equipe de pesquisadores da Universidade de Inteligência Artificial Mohamed bin Zayed introduziu um novo sistema chamado PAN, projetado para preencher essa lacuna. Em vez de simplesmente gerar vídeos do zero, o PAN atua como um simulador que aprende como o mundo evolui em resposta a instruções específicas. Os pesquisadores construíram este sistema sobre uma base chamada Predição Latente Generativa, um método que força o computador a manter uma memória interna consistente do mundo enquanto prevê o futuro. Em vez de tentar adivinhar cada pixel individual de uma imagem futura de uma só vez, o que frequentemente leva a confusão e erros ao longo do tempo, o PAN decompõe a tarefa. Primeiro, ele cria um resumo compacto e abstrato da cena atual e da ação sendo realizada. Em seguida, utiliza um poderoso motor de raciocínio baseado em linguagem para prever como esse resumo mudará. Por fim, traduz esse novo resumo de volta em um vídeo. Esse processo de três etapas permite que o sistema acompanhe objetos, pessoas e a física ao longo de períodos longos, garantindo que uma árvore continue sendo uma árvore e um carro continue sendo um carro, mesmo após muitos segundos de tempo simulado.

Os pesquisadores treinaram o PAN em um conjunto massivo de dados de oito milhões de clipes de vídeo pareados com descrições detalhadas das ações que ocorrem dentro deles. Esses vídeos cobriam desde atividades humanas cotidianas até interações complexas entre pessoas e seus arredores. Ao ensinar o sistema a prever o próximo momento em um vídeo com base em um comando de linguagem como "dirigir através de uma floresta nevada" ou "pegar uma xícara azul", a equipe permitiu que o PAN aprendesse as regras da causa e efeito físico. Ao ser testado, o sistema demonstrou uma habilidade notável de manter a consistência ao longo de sequências longas. Em um conjunto de experimentos, os pesquisadores pediram ao modelo para simular uma série de ações, como um robô movendo objetos entre bandejas. Enquanto outros sistemas perderiam rapidamente o rastro dos objetos ou alucinariam uma física impossível após alguns passos, o PAN continuou a gerar resultados coerentes e lógicos por mais de dez passos. Ele previu com sucesso que, se um robô agarra uma lata amarela e a move para uma nova bandeja, a lata apareceria nessa nova bandeja no quadro seguinte, e a bandeja antiga estaria vazia.

Para verificar se o PAN estava realmente simulando a realidade e não apenas criando imagens bonitas, os pesquisadores o avaliaram contra um benchmark rigoroso chamado World Reasoning Arena. Este teste mediu três habilidades específicas: o quão precisamente o sistema simulava o resultado imediato de uma ação, o quão bem ele mantinha um mundo consistente ao longo de longos períodos e se suas previsões poderiam ajudar um programa de computador separado a tomar melhores decisões. Os resultados mostraram que o PAN superou outros modelos de código aberto e competiu de perto com sistemas comerciais líderes. Em tarefas que exigem que uma máquina planeje uma sequência de movimentos para atingir um objetivo, como classificar itens sobre uma mesa, a integração do PAN melhorou a taxa de sucesso do agente de planejamento em mais de vinte por cento em comparação ao uso de um modelo padrão. Isso sugere que as previsões do sistema não eram apenas visualmente plausíveis, mas causalmente precisas, fornecendo um mapa confiável do futuro no qual um agente de tomada de decisão pudesse confiar.

O estudo também destacou o que acontece quando esses sistemas carecem de componentes essenciais. Os pesquisadores realizaram testes onde removeram o motor de raciocínio baseado em linguagem ou o método especializado usado para suavizar as transições entre segmentos de vídeo. Sem o motor de raciocínio, o sistema tinha dificuldade em entender instruções complexas envolvendo agentes, como uma pessoa ou um robô, e as transições de vídeo tornavam-se bruscas. Sem o mecanismo de suavização, a qualidade do vídeo degradava-se rapidamente à medida que a simulação se estendia, com objetos deformando-se ou desaparecendo. Essas descobertas confirmaram que a combinação de um cérebro de raciocínio e um processo de geração cuidadoso e passo a passo é essencial para a estabilidade de longo prazo. O sistema não depende de um único truque; ele depende de um ciclo fechado onde a previsão é constantemente verificada contra o requisito de que deve parecer uma mudança real e observável no mundo.

Apesar de seu sucesso, os pesquisadores são claros sobre os limites atuais do sistema. O PAN opera melhor quando as ações são descritas em linguagem natural, como "virar à esquerda" ou "abrir a porta". Ele ainda não foi projetado para lidar com os comandos musculares contínuos e precisos necessários para tarefas robóticas delicadas, como controlar a força exata de uma pinça. Além disso, embora o sistema seja significativamente mais estável do que tentativas anteriores, ele ainda pode sofrer deriva ao longo de períodos muito longos, ocasionalmente perdendo o rastro de pequenos detalhes ou inventando objetos que não estavam lá. Os autores observam que o sistema herda alguns hábitos visuais dos modelos de geração de vídeo sobre os quais foi construído, que priorizam parecer realistas em vez de serem fisicamente perfeitos. Isso significa que, embora a simulação seja geralmente confiável, ela ainda não é uma representação impecável da física.

O trabalho representa um passo significativo no ensino de máquinas a pensar sobre o futuro. Ao combinar a capacidade de raciocinar com a linguagem e a capacidade de gerar sequências visuais, o PAN oferece uma nova maneira para a inteligência artificial explorar possibilidades sem arriscar consequências no mundo real. Ele permite que um agente realize "experimentos mentais", testando diferentes cursos de ação para ver qual leva ao resultado desejado. Os pesquisadores planejam liberar seu código e dados para o público, convidando outros a construir sobre esta base. À medida que o campo avança, o objetivo permanece o de criar sistemas que possam não apenas ver o mundo, mas entender como ele funciona, pavimentando o caminho para máquinas inteligentes que possam navegar, planejar e agir com a mesma previsão que os humanos usam todos os dias.

Resumo Técnico: PAN – Um Modelo de Mundo para Simulação de Mundo Geral, Acionável e de Longo Horizonte

1. Declaração do Problema

O desenvolvimento de sistemas de Inteligência Artificial (IA) capazes de inteligência física e incorporada requer ir além dos Grandes Modelos de Linguagem (LLMs) para modelos de mundo: simuladores cognitivos que permitem aos agentes raciocinar sobre a evolução ambiental, seja ela espontânea ou impulsionada por ações. Embora avanços recentes em geração de vídeo, evolução de cena 3D e simulação de jogos tenham produzido uma fidelidade visual impressionante, limitações significativas persistem na predição de domínio aberto, acionável e geral, na consistência de longo horizonte e no raciocínio abstrato.

As abordagens existentes enfrentam trade-offs arquiteturais específicos:

Modelos de Mundo de Aprendizado por Reforço (RL): (ex: Dreamer, JEPA) operam frequentemente em domínios estreitos e específicos de tarefas com espaços de ação restritos. Objetivos puramente de espaço latente (como o JEPA) correm o risco de colapso de representação e perda de informação, descartando detalhes minuciosos necessários para uma simulação fiel.
Grandes Modelos de Linguagem (LLMs): Embora capazes de raciocinar, os LLMs não são configurados nativamente para aprender com dados não linguísticos, limitando seu conhecimento de mundo ao que é expressável através da linguagem.
Modelos de Geração de Vídeo: Estes modelos são excelentes na geração de mídia de loop aberto a partir de prompts fixos, mas carecem de estados internos persistentes, interfaces de ação controláveis e dinâmica causal de nível de objeto. Eles são otimizados para realismo visual, não para raciocínio simulativo ou imaginação contrafactual.

O desafio central permanece: como combinar cobertura visual de domínio aberto com consistência temporal condicionada à ação, mantendo uma rollout observacional fundamentada.

2. Metodologia: A Arquitetura PAN

O artigo apresenta o PAN, um modelo de mundo geral construído sobre a arquitetura de Predição Latente Generativa (GLP). O GLP aborda a tensão entre abstração latente (necessária para evolução escalável e de longo horizonte) e fundamentação observacional (necessária para garantir que as predições correspondam a mudanças sensoriais realizáveis).

2.1 Arquitetura Central

O PAN implementa o GLP através de três componentes acoplados:

Codificador de Visão ( $h$ ): Mapeia observações (pedaços de vídeo) em estados de mundo latentes estruturados. Ele utiliza a torre de visão do Qwen2.5-VL-7B-Instruct, particionando frames em patches espaciais e agrupando frames consecutivos para coerência temporal.
Backbone Preditivo ( $f$ ): Evolui estados latentes para frente sob ações. O PAN adota o modelo de linguagem do Qwen2.5-VL-7B-Instruct como um backbone autorregressivo. Isso aproveita o conhecimento multimodal pré-treinado e a modelagem de sequência condicionada à linguagem para suportar raciocínio simbólico, generalização composicional e consistência de longo horizonte. O backbone prevê o próximo estado latente condicionado ao histórico completo de estados latentes e ações de linguagem.
Decodificador de Difusão de Vídeo ( $g$ ): Reconstrói resultados observáveis a partir de estados latentes previstos. Adaptado do Wan2.1-T2V-14B, o decodificador não é meramente um módulo de visualização, mas o principal sinal de treinamento. Ele utiliza um objetivo de flow-matching para supervisionar as predições no espaço de observação, evitando o colapso de representação associado a objetivos puramente latentes.

2.2 Inovações Técnicas Principais

Causal Swin-DPM (Modelo de Processo de Denoising de Janela Deslizante Causal): Para abordar a intratabilidade de reconstruir todos os detalhes de nível de pixel e prevenir o acúmulo de erro em rollouts longos, o PAN emprega um mecanismo de denoising por chunks (pedaços) causal.
- Ele opera dentro de uma janela temporal deslizante que contém dois chunks em diferentes níveis de ruído (ex: o chunk anterior com ruído $K/2$ , o posterior com ruído $K$ ).
- Ao condicionar cada chunk em representações parcialmente ruidosas (em vez de totalmente denoised) de chunks precedentes, o mecanismo atenua detalhes de pixels incidentais e foca a supervisão na estrutura semanticamente persistente (layout da cena, presença de objetos, direção do movimento).
- Uma máscara de atenção causal impede o vazamento de informação de ações futuras, garantindo que o modelo respeite a causalidade temporal da simulação.
Interface de Ação: As ações são especificadas como instruções de linguagem natural ao nível do chunk de vídeo (ex: "dirigir através de uma floresta nevada"), permitindo rollouts visuais condicionadas à linguagem.
Estratégia de Treinamento: O PAN é treinado em 8 milhões de pares vídeo-texto (aprox. 4.500 horas) de fontes publicamente acessíveis, com legendas densas enfatizando dinâmicas temporais. O treinamento ocorre em duas etapas:
1. Treinamento por Módulo: Adaptando o decodificador de vídeo para a arquitetura Causal Swin-DPM enquanto congela o codificador e o backbone.
2. Treinamento Conjunto: Treinamento end-to-end sob o objetivo de supervisão generativa GLP, acoplando a predição latente com a reconstrução no espaço de observação.

3. Avaliação e Resultados

O PAN foi avaliado no benchmark World Reasoning Arena (WR-Arena), que mede a competência através de três dimensões: Fidelidade de Simulação de Ação, Previsão de Longo Horizonte e Raciocínio Simulativo e Planejamento.

3.1 Métricas de Desempenho

Fidelidade de Simulação de Ação: O PAN alcançou uma pontuação geral de 58,7, a mais alta entre todos os modelos de código aberto e competitiva com sistemas comerciais líderes (ex: KLING, Gen-3). Demonstrou forte desempenho tanto em Simulação de Agente (animando entidades controláveis, pontuação: 70,3) quanto em Simulação de Ambiente (intervenções de nível de cena, pontuação: 47,1).
Previsão de Longo Horizonte: O PAN alcançou as maiores pontuações em Suavidade de Transição (53,6%) e Consistência de Simulação (64,1%), superando sistemas comerciais e baselines de código aberto. Diferente de geradores de vídeo autônomos que degradam rapidamente após 5–8 passos, a consistência do PAN degrada gradualmente ao longo de mais de 9 passos.
Raciocínio Simulativo e Planejamento: Quando integrado a um agente de planejamento baseado em VLM, o PAN melhorou as taxas de sucesso de tarefas em 26,7% (Planejamento de Código Aberto) e 23,4% (Planejamento Estruturado) em comparação com o agente atuando sem um modelo de mundo. Isso confirma que as simulações do PAN são causalmente informativas, não apenas visualmente plausíveis.

3.2 Estudos de Ablação

Estudos de ablação progressiva confirmaram a necessidade de cada componente:

Remover o backbone VLM (mantendo o decodificador) preservou a fidelidade de curto horizonte, mas degradou a consistência de longo horizonte e a dinâmica do agente.
Remover o mecanismo Causal Swin-DPM resultou em uma queda significativa na suavidade de transição e na consistência da simulação, destacando seu papel na prevenção do acúmulo de erro.
O sistema GLP completo sustentou uma simulação coerente onde geradores autônomos (como o Wan-2.1) deterioraram rapidamente.

4. Significância e Alegações

O artigo argumenta que o propósito primário de um modelo de mundo é permitir o pensamento hipotético — permitir que agentes simulem as consequências de ações alternativas e selecionem planos ótimos. A significância do PAN reside em seu design arquitetural, que separa estritamente o modelo de mundo (prevendo transições de estado) do modelo de agente (decidindo ações), uma fatoração que evita o viés de treinar um único modelo em ambos os sinais de predição e recompensa.

As principais alegações sobre a contribuição do PAN incluem:

Supervisão Generativa como Fundamentação: Ao decodificar transições latentes de volta ao domínio sensorial, o GLP garante que a representação permaneça ancorada à realidade, evitando as degenerações de objetivos puramente de espaço latente.
Raciocínio de Longo Horizonte Escalável: A combinação de um backbone LLM para dinâmicas simbólicas e um decodificador de difusão para realização perceptual permite rollouts de múltiplos passos coerentes que mantêm a estrutura causal ao longo de horizontes estendidos.
Praticidade da Reconstrução: Contrariamente à visão de que a reconstrução total é intratável, o PAN demonstra que a supervisão generativa é um objetivo de treinamento estável e eficaz quando escolhas arquiteturais (como o Causal Swin-DPM) são usadas para modular o trade-off entre fidelidade e saliência semântica.

Os autores posicionam o PAN não meramente como um gerador de mídia, mas como um simulador para raciocínio, fornecendo uma base para trabalhos futuros em modelagem de mundo de domínio aberto, interativa e causalmente fundamentada. O artigo reconhece limitações, incluindo a dependência atual de interfaces de ação em nível de linguagem (que podem não suportar controle contínuo de grão fino) e a persistência do desvio de longo horizonte, sugerindo-as como direções para pesquisas futuras.