💻 computer science

WorldKV: Efficient World Memory with World Retrieval and Compression

WorldKV é um framework sem treinamento que permite geração autoregressiva de vídeo consistente e em tempo real, combinando recuperação seletiva de blocos de KV-cache descartados com compressão de tokens para manter a memória de longo prazo do mundo, ao mesmo tempo que duplica a taxa de transferência em comparação com abordagens de KV completo.

Autores originais: Jung Yi, Minjae Kim, Paul Hyunbin Cho, Wooseok Jang, Sangdoo Yun, Seungryong Kim

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jung Yi, Minjae Kim, Paul Hyunbin Cho, Wooseok Jang, Sangdoo Yun, Seungryong Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está jogando um videogame onde o mundo é gerado em tempo real por uma inteligência artificial muito inteligente. Você pode andar, virar esquinas e explorar. O objetivo é que o mundo pareça "real" e consistente: se você sair de um cômodo e voltar cinco minutos depois, o cômodo deve parecer exatamente o mesmo, não como um cômodo diferente ou uma bagunça desfocada.

O artigo WorldKV aborda um problema específico de como esses modelos de IA funcionam atualmente. Aqui está uma explicação simples usando analogias do cotidiano:

O Problema: A "Memória Curta" vs. A "Mochila Gigante"

Os modelos de vídeo de IA atuais têm duas maneiras principais de lidar com a memória, e ambas têm falhas:

A "Janela Deslizante" (Memória Curta): Imagine que a IA está usando uma venda que só permite que ela veja os últimos segundos do que acabou de gerar. Se você se afasta e volta, a IA "esqueceu" o cômodo que você deixou. Ela tenta adivinhar o que está lá, muitas vezes alucinando (inventando) novos móveis ou alterando as paredes. Isso é rápido, mas o mundo não é consistente.
O "Histórico Completo" (Mochila Gigante): Para corrigir o esquecimento, a IA poderia guardar tudo o que já viu em sua memória. Isso é como carregar uma mochila que fica cada vez mais pesada a cada passo que você dá. Eventualmente, a mochila fica tão pesada (demasiados dados) que a IA desacelera até parar, ou o computador fica sem espaço. Você obtém um mundo consistente, mas ele deixa de funcionar em tempo real.

A Solução: WorldKV

Os autores propõem o WorldKV, um framework "sem treinamento". Isso significa que eles não precisaram reensinar à IA como aprender; apenas deram a ela uma maneira mais inteligente de organizar suas anotações existentes. Eles usam dois truques principais:

1. Recuperação do Mundo: O "Bibliotecário Inteligente"

Em vez de descartar memórias antigas (como a janela deslizante) ou manter tudo no espaço de trabalho imediato (como a mochila pesada), o WorldKV age como um bibliotecário inteligente.

Como funciona: Quando a IA gera uma cena, ela salva um "pedaço" dessa memória em uma prateleira (na memória do computador) e o rotula com o ângulo da câmera ou a ação realizada (por exemplo, "Virou à Direita").
A Magia: Quando você volta a entrar naquele cômodo mais tarde, a IA não olha para tudo na biblioteca. Ela verifica sua etiqueta: "Ah, o usuário está virando à Direita novamente". Ela puxa instantaneamente apenas o pedaço específico de memória da prateleira que corresponde a essa visão e o coloca de volta em seu espaço de trabalho ativo.
O Resultado: A IA lembra do cômodo perfeitamente, sem precisar carregar o peso de todo o histórico de uma só vez.

2. Compressão do Mundo: O "Limpa-Arquivos Duplicados"

Mesmo com o bibliotecário, a prateleira de memória pode ficar lotada porque os quadros de vídeo são muito semelhantes. Se você tirar 100 fotos de uma parede enquanto caminha lentamente, 99 delas parecem quase idênticas.

Como funciona: O WorldKV olha para esses pedaços de memória e pergunta: "Isso é uma informação nova, ou é apenas uma cópia do que eu já tenho?" Ele usa um truque matemático para encontrar quadros "âncora" (os mais importantes) e exclui as partes redundantes e duplicadas dos outros quadros.
O Resultado: Ele reduz o tamanho de cada pedaço de memória em cerca de metade. Isso é como compactar uma pasta de fotos duplicadas. Agora, a IA pode caber o dobro do histórico na mesma prateleira sem ficar sem espaço.

Os Resultados: O Melhor dos Dois Mundos

O artigo testou isso em dois modelos de IA diferentes (um pequeno e um grande) e descobriu que o WorldKV alcança a zona "Cachinhos Dourados":

Consistência: Ele lembra do mundo quase tão bem quanto se tivesse mantido o histórico completo (KV Completo), muito melhor do que o método de "janela deslizante" que esquece coisas.
Velocidade: Ele roda cerca de 2 vezes mais rápido do que manter o histórico completo, mantendo velocidades em tempo real.
Sem Treinamento Extra: Funciona com modelos existentes diretamente, sem necessidade de re treiná-los.

Analogia de Resumo

Pense na IA como um turista fazendo uma longa viagem.

Janela Deslizante: O turista só lembra dos últimos 5 minutos da viagem. Ele se perde se tentar voltar a um lugar que visitou há uma hora.
KV Completo: O turista anota cada detalhe de cada segundo da viagem em um diário massivo. Ele nunca se perde, mas é lento demais para caminhar porque está carregando um livro de 225 quilos.
WorldKV: O turista mantém um caderno pequeno e ativo para os últimos 5 minutos. Mas, ele também tem um arquivo inteligente onde armazena resumos comprimidos do resto da viagem. Quando precisa lembrar de um local específico, ele rapidamente puxa o resumo certo do arquivo e o adiciona ao seu caderno. Ele nunca se perde e ainda pode caminhar em um ritmo normal.

Resumo Técnico: WorldKV

Enunciação do Problema
Modelos de difusão de vídeo autoregressivos permitiram a geração de mundos em tempo real condicionada a ações, mas sustentar um mundo persistente onde a revisitagem de uma viewpoint previamente vista produz conteúdo consistente permanece um desafio aberto. Embora a atenção com cache KV completo preserve essa consistência, ela incorre em crescimento linear na pegada de memória e no custo de atenção com o comprimento da execução, quebrando as restrições de tempo real e levando a falhas de memória insuficiente (OOM). Por outro lado, a inferência com janela deslizante restaura a vazão ao descartar o contexto antigo, mas sacrifica a consistência de longo prazo, fazendo com que os modelos alucinem novo conteúdo ou desviem ao revisitarem cenas. Embora observações recentes sugiram que os caches KV nesses modelos funcionam como uma forma emergente de memória do mundo, acessar essa memória eficientemente sem o custo computacional completo de atender a todo o histórico permanece não resolvido.

Metodologia: WorldKV
Os autores propõem o WorldKV, um framework sem treinamento projetado para habilitar memória de longo prazo eficiente em modelos de mundo de vídeo autoregressivos. Ele opera sobre arquiteturas existentes de inferência com janela deslizante e introduz dois componentes complementares: Recuperação do Mundo e Compressão do Mundo.

Recuperação do Mundo:
- Mecanismo: Em vez de descartar os blocos de cache KV evitados, o WorldKV os armazena na memória da GPU ou da CPU. Quando o modelo revisita uma cena, ele recupera seletivamente os blocos relevantes para a cena com base na correspondência de câmera ou ação e os insere de volta na janela de atenção nativa.
- Integração: Os blocos recuperados são inseridos nativamente sem recodificação ou alterações arquitetônicas. O framework é agnóstico ao algoritmo de recuperação, suportando estratégias baseadas em similaridade de câmera/ação ou baseadas em atenção.
- Estrutura da Janela de Atenção: A janela ativa é particionada em quatro regiões: caches KV sumidouro (frames iniciais), caches KV recuperados (do histórico armazenado), caches KV recentes (frames imediatamente anteriores) e o bloco de desruido atual.
Compressão do Mundo:
- Motivação: Armazenar todos os caches evitados é intensivo em memória. Os autores observam que frames temporalmente adjacentes compartilham conteúdo visual substancial, produzindo caches KV quase duplicados.
- Mecanismo: Dentro de cada bloco armazenado (por exemplo, 3 frames), o primeiro frame é designado como uma âncora. O sistema calcula a similaridade cosseno Key-Key entre as chaves dos frames não âncora e o frame âncora.
- Poda: Tokens com alta similaridade à âncora são podados como redundantes, enquanto tokens de baixa similaridade (representando regiões recém-reveladas ou conteúdo dinâmico) são retidos.
- Eficiência: Este processo comprime cada bloco para aproximadamente metade do seu tamanho original (por exemplo, retendo a âncora mais 25% dos tokens dos outros dois frames), permitindo que cerca de 2× mais histórico caiba dentro de um orçamento de memória fixo.

Principais Contribuições

Recuperação do Mundo: Um framework que armazena e recupera seletivamente blocos de cache KV evitados usando sinais baseados em câmera/ação ou atenção, permitindo que o modelo acesse contexto de longo prazo sem modificações arquitetônicas.
Compressão do Mundo: Um mecanismo de poda baseado em similaridade de chaves que reduz o armazenamento por bloco em ~50%, permitindo o dobro da cobertura de histórico sob as mesmas restrições de memória, enquanto preserva ou melhora a fidelidade de revisitagem.
Eficiência sem Treinamento: A abordagem não requer ajuste fino, destilação ou módulos de memória dedicados, operando inteiramente no tempo de inferência em backbones congelados.

Resultados Experimentais
O framework foi avaliado em dois modelos de mundo de vídeo autoregressivos de escalas diferentes: Matrix-Game-2.0 (1,3B parâmetros, treinado em sequências curtas) e LingBot-World-Fast (14B parâmetros, treinado em vídeos longos).

Vazão vs. Fidelidade: O WorldKV iguala ou excede a fidelidade de memória da atenção com KV completo, mantendo uma vazão aproximadamente 2× maior. No LingBot-World-Fast, ele alcança desempenho comparável ao KV completo (que é o modo nativo), mas com FPS significativamente mais altos. No Matrix-Game-2.0, ele supera tanto as linhas de base com janela deslizante quanto as com KV completo; notavelmente, o KV completo performa pior aqui devido a erros compostos de atender a caches acumulados fora da distribuição, enquanto a recuperação seletiva do WorldKV mitiga isso.
Comparação com o Estado da Arte (SOTA): O WorldKV supera linhas de base treinadas com memória (WorldPlay, Yume-1.5) em métricas como LPIPS, PSNR e FID sem qualquer treinamento específico para memória.
Estudos de Ablação:
- Compressão intra-bloco: Compressão moderada (retendo a âncora + 50% dos outros tokens) produz desempenho ótimo; reter apenas a âncora degrada a fidelidade, enquanto reter todos os tokens oferece retornos decrescentes.
- Cobertura inter-bloco: Comprimir mais blocos para caber em um orçamento fixo (por exemplo, 6 blocos $\to$ orçamento de 3 blocos) melhora a fidelidade em comparação com recuperar menos blocos em resolução total, destacando o valor de uma cobertura histórica mais ampla.

Significado e Alegações
O artigo afirma que o WorldKV demonstra que o cache KV em si é uma forma fundamental e emergente de memória do mundo, mesmo em modelos não explicitamente treinados em sequências longas. Ao gerenciar eficientemente esse recurso existente por meio de recuperação e compressão, o WorldKV alcança um modelo de mundo persistente que sustenta revisitagens de cenas consistentes enquanto adere às restrições de inferência em tempo real. Os autores enfatizam que isso é alcançado sem a latência de reconstrução 3D ou a sobrecarga de treinamento de módulos de memória dedicados.

Limitações
Os autores notam que o WorldKV é um método de gerenciamento no tempo de inferência; portanto, a fidelidade visual é limitada pela qualidade de geração do modelo pré-treinado subjacente. Em execuções extremamente longas, a acumulação de erros ainda pode ocorrer. Além disso, embora a descarga para CPU possa reduzir ainda mais o uso de VRAM, as latências atuais de transferência host-dispositivo impedem a geração em tempo real nessa configuração específica, o que fica como trabalho futuro.