Resumo Técnico: Auditoria de Generalização na Detecção de Vídeo Gerado por IA

1. Declaração do Problema

Os benchmarks atuais para detecção de vídeo gerado por IA (AIGV), como GenVidBench e AIGVDBench, servem como tabelas de classificação de facto, mas frequentemente falham em medir o que pretendem medir. O artigo identifica que as métricas de generalização reportadas (ex: Área Sob a Curva, AUC) são frequentemente infladas por confundidores não controlados — propriedades incidentais dos dados, como comprimento do clipe, configurações de codec ou identidade do dataset — em vez da detecção genuína de artefatos de geração.

Os autores demonstram a gravidade deste problema com uma prova de existência: um classificador trivial usando apenas três características de comprimento de clipe atinge um AUC de Leave-One-Generator-Out (LOGO) de 0,998 no GenVidBench sob uma avaliação não auditada. Este classificador não detecta nada sobre movimento ou conteúdo, mas parece indistinguível de detectores de última geração. Um levantamento de 20 artigos de detecção recentes (2024–2026) revela que nenhum aplica um conjunto abrangente de controles para excluir estes confundidores, levando a pontuações não normalizadas e incomparáveis entre diferentes protocolos de avaliação.

2. Metodologia: O Protocolo de Auditoria de Seis Controles

Para abordar estas questões, os autores propõem um protocolo de avaliação auditado unificado, composto por seis controles padrão (C1–C6) aplicados uniformemente a todos os detectores avaliados. Este protocolo garante que as AUCs reportadas reflitam capacidades de detecção em vez de artefatos de dados.

Os seis controles são:

1. C1 (Re-codificação Canónica): Todos os inputs são re-codificados através de um pipeline H.264 único e fixo antes da extração de características para remover impressões digitais do lado do codec.
2. C2 (Auditoria de Vazamento): Um baseline trivial (ex: um classificador usando contagens de frames brutos) é ajustado num pipeline não controlado para medir o limite superior de vazamento. A avaliação aplica então um filtro (mantendo um número fixo de não-I-frames, $K=12$) para equalizar o comprimento do clipe e remover o confundidor de contagem de frames explorado pelo baseline.
3. C3 (Sonda de Coerência Real-vs-Real): Um classificador é treinado para distinguir entre duas fontes de vídeo do mundo real. A AUC resultante estabelece um "piso de identidade de dataset", representando a contribuição de viés do próprio dataset. Um detector válido deve performar significativamente acima deste piso.
4. C4 (Re-treino de Harness Correspondente): Todos os detectores comparados são re-ajustados usando o mesmo readout (uma regressão logística com regularização L2), a mesma divisão de dados (80/20) e o mesmo protocolo LOGO num subset correspondente de 27.000 clipes. Isto elimina diferenças causadas por variações nos cabeçotes de treinamento ou hiperparâmetros.
5. C5 (Estabilidade de Multi-Seed & Bootstrap CIs): Todas as métricas principais são reportadas com verificações de estabilidade de multi-seed e intervalos de confiança de bootstrap (5 seeds, $B=1000$) para garantir robustez estatística.
6. C6 (Validação Cross-Dataset): A auditoria é executada novamente num benchmark separado e curado independentemente (AIGVDBench) para verificar a generalização além do elenco de geradores e do pool de fontes reais do dataset original.

3. Contribuições Principais e Ferramentas

A. O Toolkit VidAudit

Os autores lançam o VidAudit, a maior coleção de detectores unificada e auditada para esta tarefa. Ele fornece:

• 14 Detectores: Cobrindo famílias forenses, de aparência, movimento, codec, fusão e modelos de linguagem multimodal (LLM), acessíveis via uma única API de plugin.
• Capacidade de Re-pontuação: Um ponto de entrada padronizado para pontuar novos métodos sob a auditoria total de seis controles com um único comando.
• Metadados: Metadados compatíveis com Croissant e uma tabela de classificação unificada.

B. TemporalSpec e XSFF

Como um "controle positivo de caixa-branca", os autores introduzem o TemporalSpec, um detector construído a partir de 13 características interpretáveis de vetor de movimento (MV) de codec.

• Substrato: Opera em vetores de movimento de codec (H.264/HEVC) extraídos do bitstream, um domínio distinto das características de aparência profunda.
• Família de Características:
  • Tier 0: Estatísticas de magnitude (média, esparsidade, variância, diferença temporal).
  • Tier 1: Estruturas espectrais-temporais (inclinação espectral, achatamento, decaimento ACF, curtose de aceleração) computadas sobre uma malha de macroblocos.
• Fusão de Características Cross-Substrate (XSFF): Os autores fundem o canal de codec-MV do TemporalSpec com a trajetória de característica profunda do detector ReStraV (baseado em DINOv2). Esta fusão demonstra complementaridade genuína, pois os dois substratos fornecem informações ortogonais que sobrevivem à auditoria.

4. Resultados Principais

Desmistificação e Certificação

A aplicação da auditoria a detectores representativos produz veredictos distintos:

• Colapso de Baselines Triviais: O classificador de três características de comprimento de clipe, que pontuou 0,998 não auditado, colapsa para próximo do acaso (0,529) sob o filtro C2.
• Vazamento de Identidade de Dataset: Um baseline de aparência CLIP (0,852 AUC) e uma sonda de característica bruta de 768-d de WaveRep (0,999 AUC) são capturados carregando identidade de dataset. O seu desempenho cai significativamente quando o piso "Real-vs-Real" (C3) é considerado, revelando que grande parte do seu sinal vem da distinção entre fontes de vídeo reais em vez da detecção de geração por IA.
• Certificação: O detector forense WaveRep (LLR nativo) supera o piso com uma margem ampla, alcançando um AUC OOD de LOGO de 0,996 com um score Real-vs-Real (RvR) de 0,534 (próximo do acaso), confirmando que mede artefatos de geração em vez de viés de dataset.
• Performance do TemporalSpec: O proposto detector de codec-MV alcança um AUC OOD de LOGO de 0,832 com um RvR de 0,643, superando o piso por uma margem de +0,189. Opera a um baixo custo (~14 ms/clipe em CPU).

Além da AUC: A Tupla de Métricas Auditada

O artigo argumenta que uma única métrica AUC é insuficiente para implementação. Num ponto de operação de Taxa de Falsos Positivos (FPR) de 0,1%:

• Vários métodos de alta AUC (ex: FVMD, RAFT) colapsam para recall de um dígito (TPR $\le$ 3%).
• A ordem da tabela de classificação muda significamente; por exemplo, o CLIP retém um recall uma ordem de magnitude maior que o FVMD neste ponto de operação, apesar da menor AUC.
• Recomendação: Os autores propõem reportar uma tupla auditada consistindo em: (1) AUC, (2) Margem acima do piso Real-vs-Real, (3) Recall do ponto de operação (TPR em FPR fixo) e (4) Métricas de calibração (Brier score, ECE).

Replicação Cross-Dataset

No AIGVDBench (geradores da era de 2025), a auditoria expõe a dificuldade de detectar modelos mais recentes. Embora o desempenho absoluto caia (ex: o OOD do TemporalSpec cai para 0,602), a complementaridade da fusão XSFF persiste. A fusão das características de codec-MV e ReStraV melhora o desempenho OOD em +1,6 pontos de AUC sobre o ReStraV sozinho, replicando o ganho de +1,4 pontos visto no GenVidBench.

5. Significância e Alegações

O artigo afirma que as práticas atuais de avaliação em detecção de AIGV frequentemente obscurecem como a detecção está a funcionar, levando a pontuações de generalização infladas. Ao introduzir o protocolo de auditoria de seis controles, os autores fornecem um framework para:

1. Desmistificar métodos que dependem de artefatos de dados (como comprimento de clipe ou identidade de dataset).
2. Certificar métodos que genuinamente detectam artefatos de geração (como WaveRep e TemporalSpec).
3. Construir melhores detectores ao identificar canais de sinal ortogonais (ex: fundindo movimento de codec com aparência profunda).

Os autores enfatem que o seu trabalho move o campo de "rank de leaderboard" para "se um resultado mede o que afirma medir". Eles lançam o protocolo e o toolkit como recursos open-source para permitir uma avaliação reprodutível, comparável e confiável, observando que, embora a auditoria cubra confundidores conhecidos, não garante imunidade contra futuras estratégias de evasão não testadas. A escolha de lançar controles de avaliação em vez de ferramentas de evasão é uma decisão deliberada para apoiar a segurança de duplo uso.