🤖 machine learning

Training and Benchmarking Code Generation for Physics-Inspired Animations

Este artigo apresenta o SimuScene, um conjunto de dados e um benchmark abrangentes para treinar e avaliar grandes modelos de linguagem na geração de código executável para animações inspiradas em física, demonstrando que mesmo os principais modelos têm dificuldades com esta tarefa, mas podem ser significativamente aprimorados por meio de um novo pipeline de aprendizado por reforço utilizando recompensas visuais.

Autores originais: Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

Publicado 2026-08-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô superinteligente que consegue ler um livro de histórias e instantaneamente escrever o código de computador para fazer um filme dessa história. Você diz a ele: "Uma bola rola ladeira abaixo e bate em uma parede", e espera ver uma bola rolando ladeira abaixo e batendo em uma parede. Este é o sonho dos Modelos de Linguagem de Grande Escala (LLMs): computadores que podem entender a linguagem humana e transformá-la em ação. Mas há uma parte complicada. Só porque o robô escreve o código não significa que o filme que ele faz realmente parecerá com a história. O código pode rodar, mas a bola pode flutuar como um fantasma, rolar ladeira acima ou se transformar em um quadrado. Este artigo explora um canto específico da ciência onde nos perguntamos: Será que esses robôs de IA podem não apenas escrever o roteiro, mas realmente dirigir a física do filme para que ela pareça real? É como perguntar a um chef não apenas para escrever uma receita de bolo, mas para realmente assar um que tenha gosto de bolo, e não de um tijolo.

Os pesquisadores por trás deste estudo, liderados por uma equipe da Universidade Mohamed bin Zayed de Inteligência Artificial e da Universidade Sun Yat-sen, decidiram colocar esses robôs de IA ao teste definitivo. Eles criaram um novo jogo chamado SimuScene. Pense nisso como um parquinho gigante e automatizado com 52 temas de física diferentes, como gravidade, luz, eletricidade e como os fluidos fluem. Eles construíram um sistema que gera milhares de cenários únicos — como "um disco giratório em uma mesa escorregadia" ou "luz dobrando através de uma lente" — e então pedem à IA para escrever o código Python para animá-los. Mas aqui está o detalhe: a IA não recebe apenas um passe por escrever um código que funciona. O código tem que produzir um vídeo que realmente pareça com a física descrita. Para verificar isso, eles usaram um "árbitro" especial (um Modelo de Visão-Linguagem) que assiste ao vídeo gerado e responde a perguntas como: "A bola quicou?" ou "A luz dobrou do jeito certo?". Se o vídeo falhar nas perguntas, a IA falha no teste.

Os resultados foram um choque de realidade. Mesmo os modelos de IA mais inteligentes e avançados disponíveis hoje tiveram muita dificuldade. Quando os pesquisadores pediram a 10 das melhores IAs de alto nível para gerar essas animações, a melhor delas conseguiu acertar apenas cerca de 21,5% dos cenários, em média. Isso significa que, para cada 100 tentativas, a IA só criou com sucesso um vídeo que correspondia à descrição física cerca de 21 vezes. Na maioria das vezes, o código rodava, mas a animação ficava estranha: objetos podiam atravessar paredes, mover-se na direção errada ou ignorar a gravidade inteiramente. Acontece que ensinar uma IA a escrever código é uma coisa, mas ensinar essa IA a entender as regras invisíveis de como o mundo se move e a visualizar essas regras é um quebra-cabeça muito mais difícil.

No entanto, o artigo não para apenas em dizer "é difícil". A equipe também tentou um truque inteligente para tornar as IAs melhores. Eles usaram um método chamado Aprendizado por Reforço, que é como treinar um cachorro com petiscos. Em vez de apenas dizer à IA "bom trabalho" ou "mau trabalho" com base no texto, eles deixaram a IA gerar um vídeo, assistiram ao vídeo e deram a ela um "petisco" (uma recompensa) apenas se o vídeo realmente parecesse correto. Eles usaram um juiz baseado em visão para dar essas recompensas. Após esse treinamento, os modelos de IA melhoraram significamente. Um modelo menor, que começou com uma taxa de sucesso de 0%, conseguiu atingir uma taxa de aprovação de 11,1% após o treinamento, e um modelo maior saltou de 18,3% para 34,4%. Isso sugere que, embora as IAs ainda não sejam motores de física perfeitos, elas podem aprender a melhorar se você mostrar a elas os próprios filmes que criam e deixá-las ver seus próprios erros.

Em resumo, este artigo mostra que, embora nossos amigos de IA estejam ficando ótimos em escrever código, eles ainda estão aprendendo a ser bons diretores de física. Eles podem escrever o roteiro, mas fazer o filme parecer real ainda é um trabalho em progresso. A equipe construiu um enorme conjunto de dados de mais de 7.600 cenários de física para ajudar a treiná-los, e seus experimentos provam que assistir aos resultados (os vídeos) e aprender com eles é uma maneira poderosa de ensinar esses modelos. É um sinal esperançoso de que, com o treinamento certo, poderemos em breve ter uma IA que transforme nossas descrições físicas mais selvagens em imagens em movimento precisas.

Resumo Técnico: SimuScene – Treinamento e Avaliação de Geração de Código para Animações Inspiradas em Física

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado fortes capacidades em raciocínio matemático, codificação complexa e resolução de problemas científicos, sua habilidade de gerar código executável que retrate visualmente cenários físicos e suas dinâmicas qualitativas permanece subexplorada. Os benchmarks existentes tipicamente avaliam o raciocínio simbólico, tarefas de codificação estática ou compreensão perceptual de forma isolada. Eles não exigem que os modelos produzam códigos cujas animações renderizadas estejam visualmente alinhadas com descrições físicas dinâmicas.

O desafio central reside na interseção entre a compreensão de cenários físicos e a geração de código orientada à animação. Produzir tais animações requer não apenas uma compreensão física qualitativa (ex: padrões de movimento, evolução temporal, interações entre objetos), mas também a capacidade de codificação para representar esses conceitos em uma forma visual executável. O artigo postula que o objetivo não é a precisão numérica da simulação, mas sim a geração de um código que produza animações visualmente interpretáveis e consistentes com descrições físicas qualitativas.

Metodologia

1. Construção do Conjunto de Dados SimuScene

Os autores introduzem o SimuScene, uma nova tarefa, conjunto de dados e benchmark projetado para avaliar LLMs na geração de animações inspiradas em física.

Escopo: O conjunto de dados cobre 52 conceitos através de cinco domínios clássicos da física: Mecânica, Eletromagnetismo, Óptica, Mecânica de Fluidos e Termodinâmica.
Pipeline: Um pipeline automatizado de múltiplos estágios foi desenvolvido para garantir a qualidade dos dados:
1. Geração de Cenários: A partir de 52 conceitos, o GPT-4o gera cenários físicos básicos e condições adicionais (ex: "Considerando a resistência do ar") para controlar a dificuldade.
2. Filtragem de Plausibilidade: Os cenários são verificados automaticamente quanto à plausibilidade física.
3. Geração de Perguntas de Verificação: Para cenários válidos, o GPT-4o gera perguntas de verificação visual que descrevem as dinâmicas qualitativas esperadas.
4. Validação de Perguntas: Uma segunda etapa de revisão (usando DeepSeek-R1-0528) avalia se o conjunto de perguntas é suficiente para julgar todo o movimento descrito.
5. Verificação Humana: Um conjunto de teste de 334 exemplos foi verificado manualmente para garantir descrições claras, cenários plausíveis e perguntas de verificação abrangentes.
Estatísticas: O conjunto de dados final contém 7.659 cenários validados (7.325 para treinamento, 334 para teste). Os dados de treinamento incluem 12.556 respostas corretas (visualmente verificadas) e 4.325 cenários usados para Aprendizado por Reforço (RL).

2. Pipeline de Avaliação

O processo de avaliação envolve três etapas:

Geração de Código: O LLM gera código Python baseado em uma descrição de cenário.
Renderização de Vídeo: O código é executado para renderizar um vídeo que retrata as dinâmicas qualitativas.
Verificação Baseada em VLM: Um Modelo de Linguagem de Visão (VLM) avalia o vídeo renderizado contra as perguntas de verificação. Uma resposta é considerada correta apenas se todas as perguntas de verificação forem respondidas como "Verdadeiro".

Confiabilidade: O juiz VLM (Qwen2.5-VL-72B-Instruct) foi validado contra anotadores humanos, alcançando 87,8% de concordância, confirmando a confiidade da avaliação automatizada.

3. Abordagem de Treinamento: Code-Video-Judge RL

Para melhorar o desempenho, os autores propõem um pipeline de treinamento combinando Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL) com recompensas visuais.

Sinal de Recompensa: Uma recompensa Code-Video-Judge é computada agregando pontuações de múltiplas perguntas de verificação respondidas por VLMs sobre vídeos gerados por código.
Recompensa Binária: A recompensa padrão é binária ( $r_{binary}$ ), atribuindo uma passagem apenas se todas as perguntas de verificação forem verdadeiras.
Algoritmo de RL: O Otimização de Política Relativa de Grupo (GRPO) é usado para otimizar a política com base nessas recompensas visuais.
Mitigação de Reward Hacking: As estratégias incluem agregação de múltiplas perguntas, votação em conjunto de VLMs e separação entre os VLMs de treinamento e de avaliação. A avaliação humana confirmou a ausência de evidências de reward hacking sistemático.

Principais Contribuições

Benchmark SimuScene: O primeiro estudo sistemático e conjunto de dados para avaliar LLMs na geração de código executável para animações inspiradas em física, apresentando um conjunto de teste de 334 cenários rigorosamente verificados por humanos e dados de treinamento com controle de qualidade.
Benchmarking Abrangente: A avaliação de 10 LLMs de fronteira (incluindo GPT-5, DeepSeek-R1, Qwen3 e Gemini) revela limitações significativas, com o modelo mais forte alcançando apenas 21,5% de Avg@8 de precisão.
Treinamento com Recompensa Visual: Introdução de um pipeline de aprendizado por reforço usando recompensas baseadas em visão de vídeos gerados por código para treinar LLMs puramente de texto. Esta abordagem produz ganhos substanciais, com um modelo de 7B treinado alcançando uma taxa de passagem de 11,1% (comparado a 0% para o baseline) e um modelo de 32B atingindo 72,2% de Pass@8.

Resultados

Desempenho do Baseline

Baixa Precisão de Ponta a Ponta: Mesmo os modelos mais fortes têm dificuldade em gerar animações que sejam simultaneamente executáveis e visualmente alinhadas com as descrições. O DeepSeek-R1-0528 alcançou apenas 21,5% de Avg@8 de precisão.
Alta Execução, Baixo Alinhamento: Os modelos geralmente alcançam altas Taxas de Execução (E.R.) e Taxas de Renderização (R.R.), mas menores Taxas de Reprodução (P.R.) e Precisão (Acc.), indicando dificuldade em traduzir descrições de cena em dinâmicas qualitativas plausíveis.
Variância de Domínio: O desempenho varia por domínio. Mecânica (27,7% Avg@8) e Termodinâmica (26,0%) apresentam melhor desempenho do que Óptica (8,4%), provavelmente devido à escassez de dados nesta última.

Melhorias de Treinamento

Impacto do SFT: O Ajuste Fino Supervisionado melhora substancialmente todas as métricas em relação ao modelo base.
Ganhos de RL: O RL impulsiona ainda mais o desempenho, particularmente na conversão de vídeos renderizados em vídeos reproduzíveis e na melhoria da precisão final.
- O modelo de 7B melhorou de 0,0% para 34,4% de Pass@8 de precisão após o RL.
- O modelo de 32B alcançou 72,2% de Pass@8, superando modelos de fronteira não treinados como o DeepSeek-R1.
Ablação de Recompensa: A retroalimentação visual (VLM-como-juiz) provou ser superior às recompensas de LLM apenas de texto, fornecendo uma supervisão mais fiel ao observar o movimento e as interações reais em vez de apenas inferi-los a partir do código estático.

Significância e Alegações

O artigo afirma que o SimuScene preenche uma lacuna crítica na avaliação de LLMs na interseção entre raciocínio físico e geração de código. Ele destaca que os modelos atuais carecem da consistência para gerar animações que capturem fielmente as dinâmicas físicas qualitativas, mesmo quando conseguem gerar código sintaticamente correto.

O trabalho demonstra que o treinamento com dados de física curados e recompensas baseadas em visão melhora efetivamente a capacidade de um modelo de gerar pipelines de texto-para-código-para-vídeo que sejam visualmente consistentes. Os autores enfatizam que este é um dos primeiros trabalhos a utilizar recompensas baseadas em visão para treinar modelos puramente de texto para tais tarefas, validando a confiabilidade do julgamento baseado em VLM sem evidências de reward hacking.

O estudo sugere que, embora os modelos atuais enfrentem desafios significativos, o treinamento direcionado pode reduzir a lacuna entre descrições físicas textuais e simulações visuais executáveis, apoiando aplicações de visualização educacional e prototipagem de animação controlável.