OSCBench: Benchmarking Object State Change in Text-to-Video Generation

O artigo apresenta o OSCBench, um novo benchmark baseado em dados culinários para avaliar a capacidade de modelos de geração de vídeo a partir de texto em realizar mudanças de estado de objetos especificadas no prompt, revelando que, apesar dos avanços na qualidade visual e alinhamento semântico, os modelos atuais ainda lutam para gerar transformações de objetos precisas e consistentes, especialmente em cenários novos e composicionais.

O essencial

Imagine que você pediu a um robô cozinheiro que ele fizesse um vídeo de alguém descascando uma laranja. O robô entrega um vídeo lindo: a pessoa está lá, a cozinha é realista, a iluminação é perfeita e o movimento é suave. Mas, se você olhar de perto, percebe que a laranja nunca realmente foi descascada. Ela parece descascada em alguns quadros, inteira em outros, ou simplesmente desaparece e reaparece.

É exatamente sobre esse problema que o artigo OSCBench fala.

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: O "Robô que não entende o resultado"

Nos últimos anos, os modelos de IA que criam vídeos a partir de texto (Text-to-Video) ficaram incríveis. Eles são como pintores mestres que conseguem criar paisagens bonitas e movimentos fluidos.

No entanto, existe um detalhe que eles ainda não entendem bem: a mudança de estado do objeto.

• O que é isso? É a transformação física de algo. Quando você corta uma maçã, ela deixa de ser uma maçã inteira e vira fatias. Quando você amassa uma uva, ela vira suco.
• O erro: A IA atual é ótima em desenhar a "maçã" e o "facão", mas falha em mostrar a lógica de que, depois do corte, a maçã tem que estar em pedaços. Ela muitas vezes faz um movimento de corte, mas a maçã continua inteira, ou muda de forma de maneira impossível (como se fosse mágica, e não física).

2. A Solução: O "Exame de Cozinha" (OSCBench)

Os autores criaram um novo teste chamado OSCBench. Pense nele como um exame prático de culinária para essas IAs.

Em vez de apenas perguntar "o vídeo é bonito?", o teste pergunta: "o que aconteceu com a batata depois que o cozinheiro a descascou?".

O teste é dividido em três níveis de dificuldade, como um jogo de videogame:

• Nível Fácil (Regular): Coisas que a IA já deve saber de cor. Exemplo: "Cortar uma cenoura". É comum, a IA viu isso mil vezes nos dados de treino.
• Nível Médio (Novo): Coisas que são possíveis, mas a IA não viu tanto. Exemplo: "Descascar um morango". A IA precisa usar o raciocínio (descascar = tirar a casca) e não apenas memorizar.
• Nível Difícil (Composicional): Coisas que exigem uma sequência lógica. Exemplo: "Descascar e depois fatiar uma pera". A IA tem que lembrar que, após descascar, a pera ainda está lá para ser fatiada, e não sumir no meio do caminho.

3. O Resultado: "O Pintor vs. O Cozinheiro"

Os pesquisadores testaram 6 das IAs mais famosas do mundo (algumas de código aberto e outras de grandes empresas como Google e Tencent).

O resultado foi decepcionante, mas muito revelador:

• O que elas fazem bem: Elas são ótimas em seguir a "receita" visual. Se você pedir "um homem de camisa azul na cozinha", elas desenham isso perfeitamente.
• O que elas falham: Elas são péssimas em entender a consequência da ação.
  • Em um teste, uma IA mostrou um homem cortando uma maçã, mas a maçã nunca se dividiu.
  • Em outro, uma IA mostrou uma laranja sendo espremida, mas a laranja permanecia perfeitamente redonda e intacta, enquanto o suco caía do nada.

É como se a IA fosse um ator de teatro que sabe fazer os gestos de cortar e descascar, mas o objeto de cena (a fruta) é feito de borracha e não muda de forma.

4. Como eles mediram isso?

Eles usaram duas formas de julgar:

1. Pessoas Reais: Humanos assistiram aos vídeos e deram notas.
2. Outras IAs (Cérebros Digitais): Eles usaram IAs muito inteligentes (como o GPT-5) para analisar os vídeos. A mágica aqui foi usar uma técnica chamada "Cadeia de Pensamento" (Chain-of-Thought). Em vez de apenas dar uma nota, a IA foi instruída a "pensar em voz alta": "Olhe o quadro 1, a maçã está inteira. Olhe o quadro 10, a maçã ainda está inteira. Logo, a ação de corte falhou."

Isso funcionou muito bem, mostrando que as IAs conseguem detectar esses erros sutis se forem ensinadas a prestar atenção nos detalhes, e não apenas na beleza geral da imagem.

Conclusão: Por que isso importa?

Este trabalho é um "sinal de alerta" para a tecnologia. Ele nos diz que, para a IA criar vídeos realmente úteis (como tutoriais de como consertar algo, ou simulações para robôs reais), ela precisa parar de apenas "imitar movimentos" e começar a entender a física e a lógica das coisas.

Se um robô não entende que "cortar" significa "separar em partes", ele nunca conseguirá cozinhar uma refeição ou montar um móvel sozinho. O OSCBench é o primeiro passo para ensinar essas máquinas a não apenas "fazer bonito", mas a "fazer certo".

Resumo técnico

Resumo Técnico: OSCBench

1. O Problema

Os modelos de geração de vídeo a partir de texto (T2V) avançaram significativamente na produção de vídeos visualmente de alta qualidade e coerentes temporalmente. No entanto, os benchmarks existentes focam predominantemente na qualidade perceptiva, alinhamento texto-vídeo ou plausibilidade física geral (como gravidade e colisões).

Existe uma lacuna crítica na compreensão de ações: a Mudança de Estado do Objeto (OSC - Object State Change). A OSC refere-se à transformação explícita do estado de um objeto induzida por uma ação descrita no prompt (ex: "descascar uma batata" ou "fatiar um limão"). O sucesso em tarefas do mundo real não é apenas realizar o movimento, mas transformar o objeto de um estado inicial para um estado alvo específico e consistente ao longo do tempo. Os modelos atuais frequentemente falham nisso, gerando vídeos que parecem realistas à primeira vista, mas onde o objeto não muda de estado corretamente, muda para um estado implausível ou sofre inconsistências temporais (ex: um objeto reaparece intacto após ser cortado).

2. Metodologia

Construção do OSCBench:
O benchmark foi construído sobre o conjunto de dados HowToChange, derivado de vídeos de instruções culinárias, onde as mudanças de estado são frequentes e bem definidas. Para criar uma avaliação equilibrada e abrangente, os autores abstrairam ações e objetos em categorias semânticas e definiram três regimes de avaliação complementares:

1. Cenários Regulares: Pares ação-objeto comuns e frequentes (ex: fatiar limão), testando o desempenho in-distribution.
2. Cenários Novos (Novel): Combinações ação-objeto incomuns, mas factíveis (ex: descascar uma baga), testando a generalização e o raciocínio semântico sobre a ação, em vez da memorização.
3. Cenários Compostos (Compositional): Sequências de múltiplas ações (ex: descascar e fatiar uma pera), testando a consistência temporal e a manutenção de estados intermediários.

O benchmark totaliza 1.120 prompts distribuídos em 140 cenários de mudança de estado.

Modelos Avaliados:
Foram avaliados seis modelos T2V de última geração (SOTA):

• Open-source: Open-Sora-2.0, HunyuanVideo, HunyuanVideo-1.5, Wan-2.2.
• Proprietários: Kling-2.5-Turbo, Veo-3.1-Fast.

Protocolo de Avaliação:
A avaliação foi conduzida através de duas abordagens:

1. Estudo com Humanos: Amostras representativas foram avaliadas por especialistas usando uma escala Likert (1-5) em quatro dimensões: Adesão Semântica, Desempenho de OSC (Precisão e Consistência), Alinhamento de Cena e Qualidade Perceptiva.
2. Avaliação Automática com MLLM: Utilizaram-se Grandes Modelos de Linguagem Multimodais (MLLMs) como Qwen3-VL-30B, GPT-5-mini e GPT-5.2. Diferente de benchmarks anteriores que usam MLLMs como "caixas pretas", este trabalho emprega uma estratégia de Cadeia de Pensamento (Chain-of-Thought - CoT). O modelo é instruído a: (1) ancorar os critérios, (2) extrair evidências visuais quadro a quadro e (3) justificar a pontuação com base nessas evidências.

3. Principais Contribuições

1. OSCBench: O primeiro benchmark explicitamente projetado para avaliar a mudança de estado de objetos em geração de vídeo, cobrindo cenários regulares, novos e complexos.
2. Framework de Avaliação Multidimensional: Definição de critérios rigorosos que separam a adesão semântica de alto nível (sujeito, objeto, cena) do desempenho específico de mudança de estado (precisão e consistência temporal).
3. Estratégia de Avaliação com CoT: Demonstração de que o uso de raciocínio estruturado em MLLMs melhora a detecção de falhas finas na mudança de estado, superando modelos baseados apenas em similaridade semântica (como CLIP/ViCLIP).
4. Diagnóstico de Limitações Atuais: Identificação sistemática de que, embora os modelos dominem o alinhamento semântico, eles falham consistentemente na modelagem temporal precisa das consequências físicas das ações.

4. Resultados Chave

• Desempenho Geral: Os modelos proprietários (especialmente Veo-3.1-Fast e Kling-2.5-Turbo) superaram os modelos open-source, mas todos apresentaram dificuldades significativas na dimensão de OSC.
• Discrepância Semântica vs. Estado: Os modelos obtiveram pontuações altas em Adesão Semântica (sujeito e objeto presentes) e Alinhamento de Cena, mas pontuações drasticamente menores em Precisão e Consistência da Mudança de Estado. Isso indica que os modelos entendem "o que" deve acontecer, mas não conseguem simular "como" o objeto se transforma fisicamente ao longo do tempo.
• Dificuldade por Cenário:
  • Regulares: Melhor desempenho, sugerindo dependência de memorização de padrões de treinamento.
  • Novos: Queda severa de desempenho, indicando incapacidade de generalizar o raciocínio de mudança de estado para combinações não vistas.
  • Compostos: Desempenho intermediário, mas com falhas na manutenção de estados intermediários coerentes.
• Correlação Humano-MLLM: A avaliação baseada em MLLMs com estratégia CoT (especialmente GPT-5.2) apresentou alta correlação com julgamentos humanos, validando a eficácia da avaliação automática para tendências gerais, embora a avaliação de qualidade perceptiva (realismo estético) ainda seja subjetiva e difícil de automatizar totalmente.
• Exemplos de Falhas: Os modelos frequentemente geram objetos que não mudam de forma (ex: uma maçã fatiada que volta a ficar inteira), interações físicas implausíveis (faca atravessando objetos) ou inconsistências temporais (partes de objetos aparecendo e desaparecendo).

5. Significado e Impacto

O OSCBench estabelece que a modelagem de mudança de estado do objeto é um gargalo fundamental para o avanço da geração de vídeo a partir de texto.

• Para a Pesquisa: O benchmark fornece uma ferramenta diagnóstica para desenvolver modelos que raciocinem melhor sobre as consequências das ações, essencial para aplicações em Robótica, IA Corporal (Embodied AI) e Geração de Vídeos Instrucionais.
• Para a Indústria: Os resultados mostram que, para aplicações práticas onde a precisão da transformação física é crucial (ex: simulações de treinamento), os modelos atuais ainda não são totalmente confiáveis, exigindo avanços na compreensão causal e na consistência temporal.
• Método de Avaliação: A proposta de usar CoT em MLLMs para avaliação de vídeo oferece um novo paradigma para benchmarks futuros, permitindo uma análise mais profunda e justificada do que simples métricas de similaridade.

Em suma, o trabalho desloca o foco da geração de vídeo de "parecer real" para "agir realisticamente", apontando a necessidade de modelos que compreendam a física e a causalidade das transformações de objetos.