Resumo Técnico: Artifact-Bench

Declaração do Problema

Apesar dos avanços significativos nos modelos generativos de vídeo, os vídeos gerados por IA (AIGC) ainda exibem artefatos perceptíveis, incluindo inconsistências temporais, distorções estruturais e incoerência semântica. Embora os Modelos de Linguagem Multimodal Grandes (MLLMs) tenham demonstrado fortes capacidades de compreensão visual, sua habilidade de perceber e raciocinar sobre esses artefatos generativos específicos permanece incerta. Benchmarks existentes frequentemente carecem de avaliação sistemática da percepção consciente de artefatos e do raciocínio diagnóstico de alta granularidade, particularmente em domínios diversos além de conteúdo fotorrealista (por exemplo, vídeos animados ou no estilo CG). Além disso, as avaliações atuais frequentemente dependem de tarefas isoladas ou cenários limitados, tornando difícil determinar se os MLLMs dependem de detecção genuína de artefatos ou de priores semânticos superficiais e vieses de conjunto de dados.

Metodologia

1. Taxonomia Hierárquica de Artefatos de Realismo

Os autores estabelecem uma taxonomia hierárquica de três níveis para organizar artefatos de vídeo AIGC, avançando de anomalias visuais grosseiras para inconsistências estruturais e temporais de alta granularidade:

• Domínios de Nível Superior:
  • Artefatos de Superfície: Defeitos visuais de baixo nível identificáveis por meio de pistas de aparência local (por exemplo, cor, exposição, textura).
  • Defeitos Estruturais: Falhas que exigem compreensão da organização de objetos/cenas (por exemplo, identidade, morfologia, profundidade espacial).
  • Violações Temporal-Semânticas: Falhas de alto nível que exigem integração entre quadros e raciocínio de senso comum/causal (por exemplo, movimento, causalidade, continuidade da cena).
• Famílias de Falhas de Nível Intermediário: Decompõe os domínios de nível superior em fontes específicas de falha (por exemplo, "Câmera e Lente", "Estrutura Funcional", "Violação de Causalidade").
• Rótulos de Alta Granularidade: Um conjunto de 30 modos de falha concretos e visualmente observáveis (por exemplo, "Inconsistência de Textura", "Violação de Irreversibilidade", "Descompasso Ação-Contexto").

2. Design do Benchmark (Artifact-Bench)

O Artifact-Bench introduz três tarefas complementares para avaliar os MLLMs progressivamente, desde o reconhecimento grosseiro até o raciocínio diagnóstico:

• Tarefa 1: Classificação de Vídeo Real vs. Gerado por IA (RVAC): Uma tarefa de classificação binária onde os modelos determinam se um vídeo é real ou sintético. Vídeos reais são emparelhados com contrapartes geradas por IA semanticamente alinhadas para isolar pistas de realismo de diferenças semânticas.
• Tarefa 2: Comparação de Realismo de Vídeo em Pares (PVRC): Os modelos comparam dois vídeos gerados por IA com semântica similar, mas níveis de realismo variados, selecionando o mais realista. Isso avalia o julgamento de realismo relativo.
• Tarefa 3: Identificação de Artefatos (AID): Uma tarefa diagnóstica de alta granularidade onde os modelos devem identificar artefatos específicos que causam irrealismo a partir de um conjunto de 6 candidatos (derivados dos 30 tipos de alta granularidade). Isso requer seleção multirrotulada e raciocínio explícito sobre a causa da irrealidade.

3. Construção e Estratificação de Dados

• Pipeline de Dados Híbrido: O conjunto de dados combina vídeos do mundo real, geração controlada usando múltiplos modelos de última geração (por exemplo, Kling, Veo, HunyuanVideo) e síntese de artefatos direcionada por meio de prompts de falha intencionais.
• Estratificação de Dificuldade: As amostras são categorizadas em três níveis de dificuldade (L1–L3) com base no realismo visual e na sutileza dos artefatos. O L1 contém artefatos óbvios, enquanto o L3 apresenta vídeos altamente realistas com inconsistências sutis.
• Protocolo de Anotação: Um processo rigoroso de anotação humana envolvendo múltiplas rodadas de revisão por anotadores experientes e verificação por especialistas garante rótulos de alta qualidade e consistência.

Contribuições Principais

1. Taxonomia Sistemática: O artigo fornece a primeira taxonomia hierárquica abrangente de três níveis de artefatos de vídeo AIGC, cobrindo 30 tipos de alta granularidade em domínios fotorrealistas, animados e no estilo CG.
2. Benchmark Abrangente: O Artifact-Bench é introduzido como um framework de avaliação de multigranularidade com três tarefas progressivas (RVAC, PVRC, AID) e um conjunto de dados estratificado por dificuldade de 1.350 vídeos (1.100 amostras anotadas).
3. Descobertas Empíricas: Experimentos extensivos em 19 MLLMs líderes (incluindo modelos proprietários, de código aberto de propósito geral e especializados) revelam limitações fundamentais na capacidade atual dos modelos de perceber e raciocinar sobre artefatos generativos.

Resultados Experimentais

• Limitações de Desempenho: Mesmo o modelo proprietário de melhor desempenho (Gemini 3.1 Pro) alcançou uma pontuação geral de 47,5% no Artifact-Bench. Muitos modelos performaram em níveis próximos ou iguais ao chute aleatório (50% para tarefas binárias), particularmente na tarefa AID, onde a precisão média caiu abaixo de 10% para a maioria dos modelos.
• Dificuldade da Tarefa: O desempenho degradou-se significativamente à medida que a complexidade da tarefa aumentava. Embora os modelos mostrassem alguma capacidade em classificação grosseira (RVAC), lutaram severamente com comparação em pares (PVRC) e diagnóstico de alta granularidade (AID).
• Escala de Modelo e Raciocínio: Aumentar o tamanho do modelo (por exemplo, de 8B para 38B parâmetros) ou habilitar variantes de "pensamento" (com aprimoramento de raciocínio) não melhorou consistentemente o desempenho. Em alguns casos, modelos maiores ou com raciocínio habilitado tiveram desempenho inferior às suas contrapartes ajustadas por instrução.
• Desalinhamento Humano: Existe uma lacuna significativa entre os julgamentos dos MLLMs e as preferências perceptivas humanas. Diferentemente dos humanos, cujo desempenho declina consistentemente com o aumento da dificuldade (de L1 a L3), os MLLMs frequentemente mostraram flutuações irregulares ou falharam em degradar, sugerindo dependência de pistas estatísticas superficiais em vez de percepção genuína de artefatos.

Significado e Alegações

O artigo afirma que o Artifact-Bench expõe uma lacuna crítica nas capacidades atuais dos MLLMs: embora eles se destaquem na compreensão semântica geral, carecem da sensibilidade perceptiva de alta granularidade e do raciocínio espaço-temporal necessários para detectar e diagnosticar artefatos generativos.

Os autores enfatizam que os MLLMs atuais ainda não são confiáveis como avaliadores gerais ou provedores de recompensa para otimizar modelos generativos de vídeo, pois seus julgamentos frequentemente não se alinham com as preferências humanas e falham em seguir a hierarquia de dificuldade. As descobertas destacam a necessidade urgente de futuros MLLMs desenvolverem uma compreensão de realismo alinhada aos humanos mais forte, raciocínio perceptivo de alta granularidade e modelagem robusta de consistência temporal para efetivamente fechar a lacuna entre avaliação e geração.