Resumo Técnico: CoCoVideo e CoCoDetect

1. Declaração do Problema

O avanço rápido do Conteúdo Gerado por Inteligência Artificial (AIGC) levou a falsificações de vídeo cada vez mais sofisticadas, impondo desafios significativos ao discurso público e à segurança social. Embora a detecção de deepfakes tenha progredido, os métodos atuais enfrentam duas limitações críticas:

1. Lacuna de Qualidade do Conjunto de Dados: Os benchmarks existentes (ex: GenBuster, GenVidBench) dependem fortemente de modelos de geração de vídeo de código aberto. Esses modelos produzem saídas com menor fidelidade visual e menor consistência de movimento/cena em comparação com sistemas comerciais de última geração. Consequentemente, modelos treinados nesses dados tendem a sofrer overfitting de padrões generativos de baixa qualidade e falham em generalizar para vídeos AIGC comerciais de alta fidelidade.
2. Limitações Metodológicas: Os métodos de detecção tradicionais frequentemente focam em arquiteturas generativas específicas ou pistas de manipulação de baixo nível (ex: artefatos visuais, anomalias de frequência). Eles têm dificuldade em aproveitar pistas semânticas de alto nível, como lógica física e coerência de cena, que são cruciais para distinguir falsificações de alta qualidade que carecem de artefatos óbvios de baixo nível.

2. Metodologia

O artigo introduz uma solução de duas frentes: um novo conjunto de dados de alta qualidade (CoCoVideo-26K) e um novo framework de detecção (CoCoDetect).

2.1. Conjunto de Dados CoCoVideo-26K

O CoCoVideo-26K é um benchmark contrastivo baseado em modelos comerciais projetado para preencher a lacuna de qualidade entre os dados de pesquisa e as ameaças do mundo real.

• Composição dos Dados: O conjunto de dados compreende 26.000 clipes de vídeo organizados em pares "real–fake" semanticamente alinhados.
  • Vídeos Reais: Obtidos do OpenVid-1M, filtrados para cenas do mundo real de alta fidelidade (~13.000 clipes).
  • Vídeos Falsos: Gerados usando 13 modelos distintos de geração de vídeo comercial de última geração (ex: Sora, Kling, Runway Gen4, Jimeng 3.0, Midjourney v7). Cada modelo contribui com 1.000 vídeos.
• Estrutura Contrastiva: Cada vídeo real é pareado com um contraparte sintética gerada a partir do mesmo primeiro quadro e do mesmo prompt de texto. Isso garante um alinhamento semântico estrito, permitindo uma análise detalhada das diferenças em textura, movimento e consistência de cena sob condições de conteúdo correspondentes.
• Escala e Diversidade: O conjunto de dados cobre diversas categorias, incluindo interações humanas, preparação de alimentos, crescimento de plantas e paisagens naturais, com uma duração consistente de ~5 segundos e taxas de quadros de 24–30 FPS.

2.2. Framework CoCoDetect

O CoCoDetect é um framework de detecção que integra aprendizado contrastivo com um mecanismo de raciocínio de Modelo de Linguagem de Grande Escala Multimodal (MLLM) com portão de confiança.

• Backbone: O sistema utiliza uma rede R3D-18 para extrair representações espaço-temporais de lotes de vídeo de entrada.
• Arquitetura de Cabeça Dupla:
  1. Cabeça de Confiança: Um MLP de três camadas seguido por uma ativação Sigmoid produz um escore de confiança ($p \in [0, 1]$) indicando a probabilidade de um vídeo ser real.
  2. Cabeça de Projeção: Um MLP de duas camadas mapeia as características para um espaço de incorporação (embedding) de 128 dimensões para aprendizado contrastivo.
• Função de Perda:
  • Perda de Confiança: Entropia Cruzada Binária (BCE) para classificação de autenticidade.
  • Perda Contrastiva Pareada: Diferente do aprendizado contrastivo supervisionado tradicional que agrupa todos os exemplos da mesma classe, esta perda impõe especificamente a separação entre pares real–fake semanticamente alinhados (que compartilham o mesmo primeiro quadro e prompt). Ela utiliza uma penalidade de dobradiça (hinge penalty) para garantir que a similaridade de cosseno entre um par real–fake permaneça abaixo de um limite específico, sem restringir amostras não pareadas.
• Inferência de MLLM com Portão de Confiança:
  • Mecanismo de Roteamento: Durante a inferência, se o escore de confiança $p$ cair dentro de uma faixa de incerteza (definida pelo limiar $\tau$), a amostra é roteada para um MLLM (LLaVA-NeXT-Video-7B). Amostras de alta confiança são classificadas diretamente pelo backbone.
  • Raciocínio de MLLM: Para casos incertos, o MLLM analisa quadros-chave e o escore de confiança para raciocinar sobre a plausibilidade física e a coerência da cena. Ele produz um JSON estruturado contendo um julgamento binário, um escore de confiança semântica e uma explicação em linguagem natural.
  • Fusão de Decisão: A saída do MLLM é mapeada para o mesmo espaço semântico que a confiança do backbone e fundida via uma estratégia de ponderação adaptativa para produzir a classificação final.

3. Principais Contribuições

1. Benchmark CoCoVideo-26K: O estabelecimento de um conjunto de dados de alta qualidade apresentando pares contrastivos real–fake de 13 modelos comerciais, fornecendo um novo padrão para avaliar a detecção de AIGC sob condições de alta fidelidade e realistas.
2. Framework CoCoDetect: Uma arquitetura inovadora que combina aprendizado contrastivo de cabeça dupla (para discriminação de nível de textura) com um mecanismo de MLLM com portão de confiança (para raciocínio de nível semântico), permitindo o julgamento sistemático em ambos os níveis de características.
3. Validação Empírica: Experimentos abrangentes demonstrando desempenho de estado da arte no conjunto de teste CoCoVideo e fortes capacidades de generalização em múltiplos benchmarks públicos de código aberto.

4. Resultados Experimentais

4.1. Desempenho no CoCoVideo-26K

No conjunto de teste proposto, o CoCoDetect alcançou o melhor desempenho médio em Acurácia (90,69%), F1-score (90,62%), Recall (89,95%) e AUC (95,93%), superando bases fortes como DeMamba, VideoMAE e 3D ResNeXt.

• Observação: O método mostrou uma estratégia de decisão conservadora, priorizando a precisão sobre o recall em alguns modelos, reduzindo efetivamente os alarmes falsos ao acionar seletivamente o MLLM para casos incertos.
• Limitação: O desempenho degradou ligeiramente em modelos como Jimeng e Veo3, onde inconsistências de resolução entre os pares real e fake interromperam o alinhamento semântico.

4.2. Generalização entre Conjuntos de Dados

Avaliado em cinco benchmarks públicos (GVD, GVF, GenVideo, GenVidBench, GenBuster), o CoCoDetect demonstrou generalização robusta:

• Alcançou a maior acurácia em quatro dos cinco benchmarks.
• No GenBuster, que utiliza versões mais antigas dos mesmos modelos comerciais, o CoCoDetect manteve um desempenho forte, sugerindo que ele depende menos de artefatos de geração específicos e mais de pistas semânticas e de textura generalizáveis.
• No GenVideo, o desempenho caiu no F1-score devido à prevalência de clipes curtos e quase estáticos no dataset, o que interrompeu a coerência temporal necessária para a análise de movimento do MLLM.

4.3. Estudos de Ablação

Experimentos de ablação confirmaram a necessidade de ambos os componentes:

• Remover a Cabeça de Projeção (aprendizado contrastivo) reduziu o AUC de 95,93% para 91,39%.
• Remover o MLLM (dependendo apenas dos escores de confiança) reduziu o AUC para 95,46%.
• O modelo completo alcançou as pontuações mais altas, validando que as características contrastivas de baixo nível e o raciocínio semântico de alto nível trabalham sinergicamente.

4.4. Estudos de Caso

• Alta Confiança: A rede contrastiva identificou corretamente artefatos de textura óbvios sem intervenção do MLLM.
• Baixa Confiança (Resgatado): Em casos ambíguos, o MLLM identificou com sucesso erros semânticos (ex: uma ponte suspensa interpretada erroneamente como uma chaminé) que o backbone perdeu, corrigindo a previsão.
• Caso de Falha: Em cenas naturais simples com artefatos sutis e sem inconsistências semânticas óbvias, ambos os módulos falharam, destacando a dificuldade atual de detectar falsificações em ambientes de baixa complexidade.

5. Significância e Alegações

O artigo afirma que o CoCoVideo-26K aborda a lacuna crítica entre os conjuntos de dados de pesquisa e as ameaças de AIGC comercial do mundo real, fornecendo um benchmark mais confiável para treinamento e avaliação. O CoCoDetect é apresentado como um framework robusto que supera as limitações da detecção puramente baseada em textura ao integrar o raciocínio semântico para casos incertos.

Os autores enfatizam que sua abordagem valida a eficácia da combinação de aprendizado contrastivo de grão fino com verificação semântica de alto nível. Eles concluem que, embora o método demonstre desempenho de estado da arte e forte generalização, o trabalho futuro se concentrará em expandir o conjunto de dados com modalidades de áudio e anotações semânticas mais ricas para aumentar ainda mais a detecção de conteúdo AIGC confiável.