🤖 AI

PRISM: A Benchmark for Programmatic Spatial-Temporal Reasoning

Este artigo apresenta o PRISM, um benchmark multilíngue de grande escala e uma estrutura de avaliação abrangente projetada para avaliar rigorosamente as capacidades de raciocínio espaço-temporal de modelos de linguagem na geração programática de vídeos, revelando uma lacuna significativa entre a executabilidade do código e a coerência espacial visual.

Autores originais: Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

Publicado 2026-05-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um arquiteto robô para construir um filme em movimento e animado sobre matemática ou história. Você dá ao robô um roteiro (o prompt), e ele escreve o código para construir a cena.

Por muito tempo, temos perguntado: "O robô terminou de construir a casa?" Se o código fosse executado sem travar, dizíamos: "Bom trabalho!"

Mas o artigo PRISM argumenta que isso não é suficiente. Apenas porque a casa foi construída não significa que os cômodos estão no lugar certo, que os móveis não estão flutuando no ar ou que as paredes não estão desabando sobre os atores.

Aqui está o artigo explicado em termos simples:

1. O Problema: "Executar" vs. "Parecer Correto"

Pense na IA de nível de pixel (como geradores de vídeo padrão) como um pintor que tenta pintar um filme quadro a quadro. Eles são ótimos em fazer as coisas parecerem realistas, mas frequentemente erram a lógica. Um personagem pode atravessar uma parede, ou o texto pode aparecer de cabeça para baixo.

A IA Programática (o que este artigo estuda) é diferente. É como um robô que escreve um conjunto preciso de instruções (código) para construir o filme. Deve ser perfeita porque segue regras.

O Antigo Teste: O robô terminou de escrever as instruções? (Sim/Não)
O Novo Problema: O robô pode terminar as instruções perfeitamente, mas as instruções podem dizer ao robô para colocar uma árvore gigante dentro de uma casa minúscula. O código executa, mas o filme parece quebrado.

2. A Solução: PRISM (O "Teste de Estresse")

Os autores criaram um novo teste massivo chamado PRISM.

A Escala: Eles reuniram mais de 10.000 exemplos (20 vezes maior que qualquer teste anterior). Estes cobrem 437 tópicos diferentes, desde "Como resolver um problema de álgebra" até "A história do lichia".
O Toque Bilíngue: Eles testaram isso tanto em inglês quanto em chinês.
O Toque Humano: Eles não deixaram apenas computadores avaliarem o trabalho. Humanos verificaram os "projetos" para garantir que o código realmente fizesse sentido para a história sendo contada.

3. O Novo Sistema de Avaliação: O "Funil"

Em vez de apenas dar uma nota de aprovação/reprovação, o PRISM usa um funil com quatro camadas para capturar diferentes tipos de erros:

O Porteiro (Confiabilidade do Código): O código executa mesmo? Se travar, está fora.
O Arquiteto (Raciocínio Espacial): Este é o grande. A disposição faz sentido?
- Sobreposição: Dois objetos colidiram um com o outro?
- Fora dos Limites: Um objeto flutuou para fora da tela?
- Vazamento: Uma palavra derramou para fora de sua caixa?
O Diretor (Complexidade Dinâmica): O vídeo é muito chato (como um slideshow estático) ou muito caótico (muita rotação e pulo)? O teste verifica se o movimento corresponde à história.
O Editor (Densidade Temporal): O vídeo está se movendo em um bom ritmo, ou está piscando muito rápido?

4. A Descoberta Chocante: A "Lacuna Execução-Espaço"

Os autores testaram 7 dos modelos de IA mais inteligentes disponíveis (incluindo grandes nomes como GPT, Gemini e Claude).

O Resultado:

A Boa Notícia: As IAs estão ficando muito boas em escrever código que executa. Na maioria das vezes, o código não trava.
A Má Notícia: Há uma lacuna massiva entre "executar" e "parecer correto".
- Em média, 41% dos vídeos que foram executados com sucesso estavam espacialmente quebrados.
- Imagine um robô que pode construir um motor de carro perfeitamente, mas depois coloca as rodas no telhado. O motor executa, mas o carro não anda.

Principais Descobertas:

Pensar Mais Não Ajuda: Os autores tentaram deixar a IA "pensar" mais antes de responder (um recurso chamado "Modo de Pensamento"). Isso não corrigiu os problemas espaciais. A IA apenas ficou mais confiante em suas respostas erradas.
Muita Ação é Ruim: Quando a IA tentou tornar o vídeo muito emocionante com muito movimento, a disposição desmoronou.
A Língua Importa: A IA lutou de forma diferente com inglês versus chinês, frequentemente cometendo mais erros de layout com texto chinês.

5. A Conclusão

O artigo conclui que não podemos mais apenas perguntar: "O código executa?" Temos que perguntar: "O código cria um mundo lógico e organizado?"

Atualmente, mesmo as IAs mais inteligentes são como camarins talentosos, mas desajeitados. Eles podem seguir o roteiro para acender as luzes e mover os adereços, mas frequentemente esquecem de verificar se os adereços estão bloqueando os rostos dos atores ou se a cenografia está caindo. O PRISM é o novo regulamento para forçá-los a aprender a ser melhores maestros de palco.

Resumo Técnico: PRISM - Um Benchmark para Raciocínio Espaço-Temporal Programático

1. Declaração do Problema

Embora avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) tenham expandido a criação automatizada de conteúdo para vídeo, as abordagens existentes enfrentam limitações significativas na geração programática de vídeo. Os métodos atuais geralmente seguem duas rotas:

Geração em nível de pixel (Modelos de Difusão): Estas alcançam alta fidelidade visual, mas lutam com consistência espacial, renderização precisa de símbolos e coerência lógica de longo prazo devido à falta de restrições geométricas explícitas.
Geração programática: Esta abordagem executa scripts (por exemplo, usando Manim) para definir objetos, layouts e dinâmicas temporais, oferecendo precisão geométrica e controlabilidade superiores.

No entanto, persiste uma lacuna crítica na avaliação de se os LLMs podem sintetizar programas de vídeo que não sejam apenas executáveis, mas também espacial e temporalmente corretos. Os benchmarks existentes são insuficientes porque:

Eles focam em saídas estáticas (gráficos, páginas web) em vez de sequências temporais contínuas que exigem relações consistentes entre objetos.
São de pequena escala e falham em cobrir cenários do mundo real diversos.
Os protocolos de avaliação dependem de avaliações grosseiras do tipo "VLM como juiz" ou verificações simples de execução, perdendo falhas de renderização de granularidade fina, como desalinhamento de layout ou objetos fora dos limites que aparecem apenas em quadros específicos.

O desafio central é a "Lacuna Execução-Espaço": a discrepância entre código que executa com sucesso e código que produz animações visualmente coerentes e espacialmente corretas.

2. Metodologia

2.1 Construção do Benchmark PRISM

Os autores introduzem o PRISM (Raciocínio Programático em Modalidades Espaciais), um benchmark de grande escala e bilíngue (inglês/chinês) contendo 10.372 pares instrução-código calibrados por humanos.

Escala e Escopo: É 20× maior que benchmarks anteriores de vídeo programático, abrangendo 437 categorias de assunto fundamentadas na visualização de conhecimento do mundo real (por exemplo, animações educacionais, demonstrações científicas).
Estrutura de Curadoria de Dados: Um pipeline hierárquico com intervenção humana foi empregado para filtrar mais de 30.000 candidatos brutos:
1. Filtragem Rígida Determinística: Scripts automatizados analisam o pipeline de renderização do Manim para detectar violações geométricas (por exemplo, limites de coordenadas) e remover amostras com defeitos de layout.
2. Calibração de Limites: Um subconjunto de ouro de 3.000 exemplos anotados por especialistas foi usado para refinar regras de isenção e limites de tolerância, minimizando falsos positivos.
3. Verificação Pontual Humana: A revisão semântica final garante que as animações correspondam ao conteúdo educacional e sejam pedagogicamente apropriadas.
Definição da Tarefa: A tarefa é formulada como um problema de geração de código restrito $f_\theta: I \to O$ , mapeando instruções em linguagem natural (esboços educacionais) para um programa Manim ( $C$ ) e seu vídeo renderizado ( $V$ ).

2.2 Estrutura de Avaliação

O PRISM propõe uma estrutura de avaliação em estilo funil com quatro métricas complementares:

Confiabilidade em Nível de Código: Mede a robustez da execução. Inclui a taxa básica de aprovação (sucesso na primeira tentativa), categorização de erros de granularidade fina (alucinação de API, uso indevido, erros de renderização de texto, etc.) e complexidade de execução (tempo médio de renderização).
Raciocínio Espacial: A métrica principal de ponta a ponta que avalia o planejamento de layout sobre toda a sequência de animação. Detecta três modos de falha:
- Sobreposição de Layout: Oclusão não intencional de elementos visuais.
- Fora dos Limites (OOB): Elementos que se estendem além do quadro visível.
- Vazamento de Layout: Extensões geométricas que excedem regiões locais (por exemplo, texto escapando de uma caixa).
- Mecanismo: Utiliza um pipeline de auditoria automatizada que captura instantâneos chave, extrai conjuntos de pontos de objetos e extensões de limites, e aplica verificações determinísticas.
Complexidade Visual Dinâmica Consciente do Prompt (PADVC): Quantifica a riqueza dinâmica relevante para a entrada. Distingue entre saídas quase estáticas (subdinâmicas) e movimento decorativo excessivo (sobre-dinâmico). Calcula uma pontuação "centralizada" ( $PADVC_c$ ) baseada na energia de evolução geométrica de objetos não textuais em relação à densidade visual do prompt.
Densidade Temporal (TD): Mede a taxa de mudança visual em nível de quadro (atividade temporal). Assim como o PADVC, utiliza uma pontuação centralizada ( $TD_c$ ) para identificar vídeos que são ou muito estáticos ou sofrem de transições redundantes.

3. Resultados Principais

Os autores avaliaram sete LLMs principais (quatro de código fechado: GPT-5.4, Gemini 3.1 Pro, Kimi K2, Claude Sonnet 4.6; três de código aberto: Qwen3.5, GLM-5, DeepSeek-V3.2) no benchmark.

A Lacuna Execução-Espaço: Uma descoberta notável é a queda média de ~41% da taxa de sucesso de execução para a taxa de aprovação espacial. Por exemplo, o GPT-5.4 alcançou uma taxa de execução de 94,5% em inglês, mas apenas uma taxa de aprovação espacial de 30,8%. Isso confirma que código executável não garante coerência espacial.
Desempenho do Modelo:
- Modelos de código fechado geralmente lideraram em confiabilidade em nível de código (sucesso de execução), mas frequentemente sofreram com altas taxas de falha espacial devido a saídas "visualmente ambiciosas" que violavam restrições.
- Gemini 3.1 Pro Preview demonstrou o melhor alinhamento, alcançando as maiores pontuações espaciais com uma das menores lacunas Execução-Espaço.
- Modelos de código aberto mostraram desempenho variado; o GLM-5 foi o mais equilibrado, enquanto outros lutaram com uso indevido de API (Qwen3.5) ou controle de limites (DeepSeek-V3.2).
Compensação Dinâmica vs. Espacial: Alta intensidade dinâmica (alto PADVC ou TD) correlaciona-se com menor qualidade espacial. Modelos que produzem movimento excessivo ou expansão de texto frequentemente acionaram violações de layout.
Ablação do Modo de Pensamento: Habilitar modos de "pensamento" não melhorou confiavelmente a organização espacial. Em alguns casos (por exemplo, Claude Sonnet 4.6), o pensamento levou a mudanças de layout mais ousadas que aumentaram erros espaciais (sobreposição/OOB) sem melhorar a taxa final de aprovação espacial.

4. Significado e Alegações

O artigo afirma que o PRISM fornece um benchmark principiado para avançar a geração de código espacialmente coerente, superando as limitações dos métodos de avaliação atuais.

Além da Executabilidade: O trabalho estabelece que a avaliação da geração programática de vídeo deve ir além da simples execução de código para incluir métricas rigorosas de raciocínio espacial e temporal.
Identificação de Gargalos: Os resultados destacam que o raciocínio espacial de longo prazo é o principal gargalo para os LLMs atuais, e não as capacidades básicas de geração de código.
Fornecimento de Recursos: Ao liberar um conjunto de dados de grande escala e alta qualidade com uma estrutura de avaliação determinística, o PRISM oferece um campo de testes padronizado para pesquisas futuras sobre geração programática de vídeo fundamentada espacialmente.

Os autores concluem que, embora os LLMs possam gerar código executável, eles atualmente carecem da robustez para manter consistência geométrica ao longo de sequências animadas estendidas, uma lacuna que o PRISM foi projetado para medir e ajudar a preencher.