Resumo Técnico: Modelagem de Mundo Multiagente Escalável à População (Khora)

1. Declaração do Problema

Os modelos de mundo existentes alcançaram progressos significativos na previsão visual e geração interativa para agentes únicos ou populações fixas. No entanto, estender esses modelos para ambientes multiagentes apresenta um desafio fundamental de escalabilidade. As abordagens atuais geralmente assumem um número fixo de agentes tanto durante o treinamento quanto durante a inferência. Essa suposição vincula o modelo a uma população de agentes predeterminada, limitando a escalabilidade em tempo de inferência.

Especificamente, os métodos existentes frequentemente sofrem de dois problemas:

1. Interações Densas: Alguns métodos introduzem comunicação entre agentes diretamente dentro do gerador de vídeo, levando a interações densas entre fluxos de observação. Isso faz com que os custos computacionais escalem quadraticamente ($O(N^2)$) à medida que a população cresce.
2. Layouts Fixos: Outras abordagens mantêm representações latentes compartilhadas, mas organizam a geração em torno de um número predefinido de slots de visualização. Adicionar agentes no tempo de inferência normalmente requer retreinamento, mudanças arquiteturais ou um layout de visualização fixo.

O artigo argumenta que as regras que regem um mundo físico são agnósticas à população. A dinâmica subjacente deve seguir as mesmas regras físicas, independentemente do número de entidades, e a expansão da população deve ser suportada como uma operação em tempo de inferência, em vez de ser codificada através de componentes de modelo fixos.

2. Metodologia: Khora

Os autores propõem o Khora, um modelo de mundo multiagente escalável projetado para simulação de mundo aberto. O insight central é desacoplar a evolução do estado do mundo da renderização visual. Em vez de gerar vídeos através de interações densas entre fluxos de agentes, o Khora mantém um estado de mundo compartilhado que evolui independentemente, o qual os agentes consultam para gerar suas observações específicas.

O Khora consiste em três componentes primários:

A. STBoard (Spatio-Temporal Board - Quadro Espaço-Temporal)

O STBoard serve como uma representação de mundo persistente e compartilhada que é agnóstica à população. Ele contém:

• Memória de Cena Estática: Um prior estático grosseiro que representa o contexto ambiental persistente (ex: representação de nuvem de pontos), inicializado a partir do prior da cena e refinado via trajetórias visuais.
• Tabela de Entidades Dinâmicas: Uma tabela de tamanho dinâmico que armazena os estados de agentes ativos em um sistema de coordenadas de mundo compartilhado. Cada entrada inclui atributos como identidade, pose, velocidade, orientação, ocupação e estado dependente de tarefa.
• Função: Atua como um canal de comunicação onde os agentes escrevem ações e observações. Crucialmente, ele separa a manutenção do estado do mundo do layout da câmera, permitindo que múltiplas visualizações consultem o mesmo estado em evolução sem comunicação direta dentro do renderizador.

B. Evolução do Mundo Condicionada à Ação

Este componente prevê poses futuras de agentes e atualiza o estado dinâmico compartilhado com base nos fluxos de ação recebidos. O processo envolve:

1. Proposta de Movimento Determinística: Um modelo cinemático $K$ prevê uma mudança de pose baseada na pose atual e na ação ($\hat{p}_{t+1} = K(p_t, a_t)$).
2. Resíduo Aprendido: Uma função aprendida $\Delta$ corrige essa proposta usando o estado do mundo compartilhado e o contexto da cena estática para considerar dinâmicas complexas (colisões, efeitos de terreno, interações) que não podem ser inferidas apenas pelas ações.
3. Atualização de Estado: As poses e ações previstas são usadas para atualizar o estado dinâmico compartilhado $S_{t+1}$ por meio de uma função de atualização $U$.

Essa modelagem explícita da evolução de pose e estado antes da síntese visual reduz a carga sobre o renderizador e garante consistência física.

C. Síntese de Visualização Guiada por Geometria

Uma vez que o estado do mundo é atualizado, as observações individuais são sintetizadas independentemente para cada visualização solicitada:

1. Projeção: Para um agente alvo, todas as entidades potencialmente visíveis no estado compartilhado são projetadas no plano de imagem da câmera alvo usando a pose da câmera prevista.
2. Rasterização: As entidades projetadas são rasterizadas em um mapa de condicionamento espacial de resolução fixa ($C_{t+1}$). Este mapa codifica atributos estruturados (ocupação, profundidade, orientação, identidade) e possui uma forma espacial fixa, independentemente do número de agentes ativos.
3. Renderização: Um renderizador neural compartilhado (baseado em uma arquitetura de difusão-transformer) processa o mapa de condicionamento, o estado do mundo atualizado e a pose da câmera para gerar a observação alvo.

Mecanismo de Escalabilidade: Como o renderizador é invocado independentemente para cada visualização e o mapa de condicionamento possui uma dimensionalidade fixa, o custo computacional do renderizador neural escala linearmente com o número de visualizações ($O(N_v)$), em vez de quadraticamente com o número de agentes. O custo de projeção geométrica é $O(N_a N_v)$, mas representa menos de 8% da latência total no intervalo testado.

3. Principais Contribuições

1. Formulação da Escalabilidade em Tempo de Inferência: O artigo formula explicitamente a capacidade de suportar populações de agentes dinamicamente variáveis sem modificação arquitetural ou retreinamento como um objetivo central para modelos de mundo multiagentes.
2. Arquitetura Khora: A introdução de uma arquitetura escalável que desacopla a evolução do estado do mundo da renderização visual através de um STBoard persistente e compartilhado e uma interface de renderização por visualização baseada em projeção.
3. Validação Empírica: Demonstração de que o Khora generaliza para números não vistos de agentes enquanto mantém a qualidade visual, consistência multi-visão e consistência de ação. O sistema alcança simulação em tempo real escalável, onde o custo de renderização dominante escala linearmente com o número de visualizações consultadas.

4. Resultados

Os autores avaliaram o Khora através de avaliações qualitativas controladas e um protótipo de sistema interativo:

• Qualidade Visual: Métricas quantitativas (PSNR, SSIM, LPIPS, FID, FVD) mostram que o Khora preserva uma qualidade visual competitiva por visualização. Mover a interação entre agentes do renderizador para o estado compartilhado não sacrifica a fidelidade.
• Consistência Multiagente: Estudos de usuário avaliaram a consistência de ação entre visualizações (compatibilidade das consequências das ações) e a consistência de mundo entre visualizações (concordância sobre estados de entidades, geometria e persistência). O Khora superou significativamente uma variante sem compartilhamento de estado entre agentes (Khora sem Estado entre Agentes) em ambas as categorias, confirmando a importância do STBoard compartilhado.
• Escalabilidade:
  • Latência: À medida que a população de agentes aumentou de 1 para 80, a latência de computação total aumentou apenas modestamente (de ~107ms para ~117ms por passo).
  • Throughput: O throughput agregado aumentou linearmente (de 37.3 view-fps para 1 agente para 2741.3 view-fps para 80 agentes) quando as visualizações foram distribuídas entre as GPUs.
  • Memória: O uso de pico de VRAM por GPU permaneceu quase constante conforme a população crescia.
• População Dinâmica: Experimentos demonstraram que agentes poderiam entrar e sair de um único rollout autorregressivo sem retreinamento. Novos agentes foram inicializados a partir de suas primeiras observações e anexados ao STBoard, enquanto agentes que saíram foram removidos, com o modelo de transição e o renderizador permanecendo inalterados.

5. Significância e Alegações

O artigo afirma que o Khora representa um passo prático em direção a simuladores de mundo aberto escaláveis capazes de suportar um grande número de agentes interagindo.

• Mudança de Paradigma: Os autores argumentam que modelos de mundo multiagentes devem ser avaliados como mundos compartilhados persistentes em vez de coleções de fluxos de vídeo sincronizados. Isso desloca o foco da geração entre visualizações para a manutenção de um estado de mundo coerente que suporte interação simultânea e consistência de ponto de vista.
• Flexibilidade em Tempo de Inferência: Ao reformular a consistência como modelagem de estado compartilhado, o Khora permite que novos agentes sejam introduzidos em tempo de inferência sem retreinamento, abordando uma limitação crítica dos modelos atuais de população fixa.
• Eficiência: A arquitetura remove com sucesso os custos de interação quadrática do caro renderizador neural, alcançando uma escalabilidade prática aproximadamente linear com o número de visualizações consultadas.

Limitações Reconhecidas:
O artigo observa que o Khora atualmente requer um prior estático grosseiro para cada ambiente e ainda não suporta implantação zero-shot em ambientes completamente inéditos. Além disso, embora o custo de renderização neural seja linear, o custo de projeção geométrica possui uma complexidade de pior caso de $O(N_a N_v)$, que pode se tornar relevante para populações substancialmente maiores. A avaliação é primariamente qualitativa, destinada a demonstrar o comportamento do sistema em vez de estabelecer um benchmark abrangente.