Resumo Técnico: VideoASMR-Bench

Declaração do Problema

A fronteira entre vídeos reais e sintéticos está cada vez mais difusa devido ao advento de modelos de geração de vídeo de ponta (VGMs) como Sora e Veo. Embora os benchmarks atuais (por exemplo, VBench, VideoPhy) avaliem o alinhamento semântico e a consistência física grosseira (por exemplo, desaparecimento de objetos, gravidade), eles carecem do poder discriminativo para avaliar a percepção audiovisual de alta granularidade e a imersão sensorial. As suites de avaliação existentes frequentemente tratam o áudio como uma modalidade secundária ou o ignoram completamente, falhando em capturar os artefatos sutis necessários para distinguir conteúdo gerado por IA de alta fidelidade da realidade. Essa lacuna exige um framework de avaliação de alta sensibilidade para orientar a próxima etapa da pesquisa em percepção e geração de vídeo.

Metodologia

Os autores introduzem o VideoASMR-Bench, um benchmark projetado para testar a resistência de modelos de vídeo utilizando conteúdo de Resposta Sensorial Meridiana Autônoma (ASMR). Vídeos de ASMR (por exemplo, batidas, escovação, sussurros) são selecionados porque exigem alinhamento temporal-rítmico preciso, interações materiais de alta granularidade e imersão sensorial sustentada, tornando-os um campo de testes ideal para detectar falhas sutis de geração.

Construção do Benchmark

O benchmark consiste em três componentes principais:

1. Suite de Vídeos ASMR: 1.500 vídeos ASMR reais de alta qualidade curados de redes sociais (YouTube), filtrados por contagem de visualizações (>900k) e processados para remover marcas d'água e fundos artificiais. A suite é dividida em níveis "fácil" (ações curtas e de passo único em cenas uniformes) e "difícil" (atividades mais longas e de múltiplos passos em ambientes complexos).
2. Suite de Prompts ASMR: Descrições de texto geradas para cada vídeo, detalhando ambientes, sujeitos, ações, dinâmicas temporais e sons correspondentes. Estes servem como sinais de condicionamento para síntese.
3. Suite de Imagens ASMR: Imagens de referência de alta qualidade (primeiros quadros dos vídeos reais) usadas como entradas de condicionamento para geração de imagem para vídeo.

Utilizando essas suites, os autores sintetizaram 2.235 vídeos ASMR falsos em nove VGMs de última geração (incluindo Sora2, Veo3.1, HunyuanVideo, Wan2.2 e OpenSora-V2) sob quatro configurações de geração diferentes:

• Imagem para Vídeo (Img2Vid)
• Texto para Vídeo (Text2Vid)
• Texto para Imagem para Vídeo (Text2Img2Vid)
• Geração apenas com imagem e prompts mínimos

Framework de Avaliação

O artigo propõe uma avaliação adversarial de compreensão–geração onde os VGMs tentam produzir vídeos falsos realistas para enganar Modelos de Compreensão de Vídeo (VLMs), enquanto os VLMs tentam detectá-los.

• Avaliação de VLMs: 11 VLMs (incluindo GPT-4o, Gemini-3-Pro e vários modelos Qwen/GLM) são avaliados em sua capacidade de classificar vídeos como reais ou falsos. Os modelos são obrigados a fornecer raciocínio passo a passo (Cadeia de Pensamento) antes de emitir uma decisão binária.
• Avaliação de VGMs: Os VGMs são pontuados com base na proporção de seus vídeos gerados que são incorretamente classificados como reais pelos VLMs (Pontuação de Realismo).
• Linha de Base Humana: 10 anotadores humanos (mistura de especialistas e não especialistas) fornecem rótulos de verdade fundamental.

Resultados Principais

A avaliação revela limitações significativas nos modelos de última geração atuais em relação à detecção de ASMR de alta granularidade:

1. VLMs Têm Dificuldade com Detecção: Mesmo VLMs proprietários de alto nível falham em detectar vídeos de ASMR gerados por IA de forma confiável.

   • Gemini-3-Pro, o VLM de melhor desempenho, alcançou uma precisão média de 70,57%, ficando significativamente atrás da linha de base humana de 87,50%.
   • A maioria dos modelos de código aberto teve desempenho pobre, com muitos alcançando precisão abaixo de 60%.
   • Os VLMs exibem um forte viés em classificar vídeos como "reais", classificando erroneamente até ~71% dos vídeos falsos.

2. VGMs Produzem Conteúdo Indistinguível para Máquinas: Os VGMs de fronteira atuais podem gerar vídeos de ASMR que são amplamente indistinguíveis dos reais para os VLMs.

   • Veo3.1-fast foi o gerador mais bem-sucedido, com apenas 12,54% de seus vídeos corretamente identificados como falsos pelo conjunto de VLMs.
   • Modelos de código aberto como HunyuanVideo e Wan2.2 também alcançaram baixas taxas de detecção (14,77% e 16,10% respectivamente), superando o Sora2 em algumas métricas quando as marcas d'água foram removidas.

3. Observações Críticas:

   • Dependência de Marca D'água: Os VLMs frequentemente dependem de marcas d'água como um "atalho de detecção". Quando as marcas d'água do Sora2 foram removidas, a precisão de detecção de modelos como Gemini-2.5-Pro e GPT-5 caiu aproximadamente 30 pontos percentuais.
   • Importância do Áudio: Incorporar pistas de áudio melhorou significativamente a precisão de detecção (ganho médio de ~5 pontos), destacando que os VGMs atuais frequentemente falham em alcançar sincronização audiovisual de alta fidelidade, particularmente em contextos de ASMR.
   • Raciocínio e Preferência: Rastros de raciocínio explícito e avaliação baseada em preferência (comparando um vídeo real vs. falso) geralmente melhoraram a precisão e a estabilidade de detecção em comparação com o julgamento binário direto.

Significado e Contribuições

O artigo reivindica as seguintes contribuições:

• Primeiro Estudo no Domínio ASMR: Até onde se sabe dos autores, este é o primeiro trabalho a investigar sistematicamente tanto a geração quanto a compreensão de vídeo dentro do domínio ASMR, utilizando-o como um campo de testes rigoroso para realismo físico de alta granularidade e imersão sensorial.
• Benchmark Escalável: O VideoASMR-Bench fornece um conjunto de dados de alta qualidade e diverso (1.500 vídeos reais) acoplado a uma suite de prompts e imagens extensível, permitindo que o benchmark escale dinamicamente com futuros modelos de vídeo via síntese condicional.
• Framework Adversarial: A introdução de um protocolo de avaliação adversarial abrangendo 11 VLMs e 9 VGMs demonstra que, embora os VGMs estejam se aproximando rapidamente do realismo em nível humano em domínios sensoriais específicos, os VLMs permanecem detectores pouco confiáveis, frequentemente dependendo de pistas superficiais como marcas d'água em vez de análise perceptiva intrínseca.

Os autores concluem que, embora os modelos atuais possam enganar máquinas, eles ainda falham em enganar completamente os anotadores humanos, sugerindo que a próxima fronteira na pesquisa de geração de vídeo reside em alcançar verdadeira imersão sensorial e coerência audiovisual perfeita.