Resumo Técnico: VendorBench-100

Declaração do Problema

A rápida democratização da geração de mídia sintética deslocou o fardo da detecção de deepfakes de laboratórios forenses especializados para plataformas gerais e indivíduos. Atualmente, três paradigmas distintos competem para preencher essa lacuna de detecção, mas raramente são avaliados sob um protocolo comum, tornando a comparação direta impossível:

1. APIs Comerciais: Serviços proprietários que oferecem detecção de "caixa-preta" com alegações de precisão não verificadas.
2. Modelos de Visão-Linguagem Zero-Shot (LLMs): Modelos multimodais de propósito geral acionados via prompt de forma ad hoc para detecção de falsificação sem treinamento específico.
3. Detectores de Código Aberto: Um ecossistema fragmentado de checkpoints acadêmicos e classificadores comunitários que exigem infraestrutura local.

Benchmarks existentes tipicamente avaliam esses paradigmas isoladamente, frequentemente usando conjuntos de dados grandes e homogêneos que falham em refletir o "conteúdo de combate, adversário" que circula no mundo real. Além disso, métricas de avaliação padrão como a precisão bruta são enganosas em conjuntos de dados desbalanceados, e há uma falta de frameworks unificados para avaliar se a capacidade de classificação de um modelo (poder discriminativo) se traduz em decisões de ponto de operação confiáveis (precisão do limiar padrão).

Metodologia

Os autores introduzem o VendorBench-100, um benchmark unificado trans-paradigma projetado para avaliar 36 modelos representativos através dos três paradigmas (5 APIs Comerciais, 7 Vision LLMs Zero-Shot e 24 detectores de Código Aberto) usando um único corpus adversário fixo.

O Corpus

• Composição: Um conjunto curado de 100 imagens (79 falsas, 21 reais).
• Filosofia de Design: Otimizado para dificuldade em vez de escala. Cada imagem foi selecionada manualmente para investigar modos de falha distintos e subatendidos, em vez de fornecer poder estatístico para treinamento.
• Taxonomia de Casos Limite (Edge-Case): As 79 imagens falsas abrangem oito famílias distintas:
  1. Borramento de face-swap ao vivo (entrelaçado com desfoque de movimento de webcam).
  2. Face swaps online quase duplicados (estatísticas globais permanecem autênticas).
  3. Imagens estáticas de texto-para-vídeo com letterboxing (a gradação cinematográfica mimetiza o pós-processamento).
  4. Costuras de composição de avatar de IA (contornos brilhantes ignorados por detectores de frequência).
  5. Saída de texto-para-imagem totalmente sintética (alta resolução, fotorealista).
  6. Edições de foto de IA em cenas reais (síntese localizada em fundos autênticos).
  7. Manipulações de proveniência opaca (ferramentas desconhecidas).
  8. Frames de datasets de pesquisa comprimidos (pele cerosa, baixa resolução).

8. Anti-Vazamento (Anti-Leakage): As imagens são servidas com nomes de arquivos numéricos neutros para evitar que os modelos (especialmente LLMs) infiram rótulos a partir de metadados.

Protocolo de Avaliação

• Esquema Unificado: Todos os modelos são normalizados para um registro de saída compartilhado contendo um rótulo rígido (FAKE/REAL), um escore de confiança $P(fake) \in [0, 1]$ e uma flag de sucesso.
• Métricas:
  • Métrica Primária: Coeficiente de Correlação de Matthews (MCC). Escolhido porque o desbalanceamento de classe de 79:21 torna a precisão bruta trivialmente manipulável (ex: um preditor "sempre falso" pontua ~79% de precisão, mas 0,00 de MCC). O MCC considera o equilíbrio de classes e exige que o desempenho em ambas as classes seja alto.
  • Desempate: ROC-AUC. Uma medida independente de limiar para a capacidade de classificação (ranking).
  • Métricas Secundárias: Precisão (Accuracy), F1, Precisão (Precision), Recall, Especificidade e Cobertura.
• Execução: As APIs comerciais foram consultadas ao vivo; os Vision LLMs foram acionados via zero-shot com um esquema forense compartilhado; os detectores de código aberto foram executados localmente em GPU.

Principais Contribuições

1. Benchmark Trans-Paradigma: A primeira avaliação unificada de 36 modelos através de trilhas comerciais, de LLM e de código aberto usando um único corpus adversário e um esquema de normalização.
2. Construção de Corpus Adversário: Um conjunto de dados deliberadamente difícil organizado em torno de oito famílias de modos de falha, acompanhado de um registro de proveniência e protocolos anti-vazamento.
3. Análise de Divergência de Métricas: A identificação de uma divergência consistente e crítica entre o poder de classificação (ROC-AUC) e a qualidade do ponto de operação (MCC), demonstrando que uma forte discriminação de escore não garante decisões confiáveis no limiar padrão.
4. Reprodutibilidade: Lançamento do framework de avaliação completo, evidência por imagem e resultados agregados.

Resultados

A avaliação revela um cenário complexo onde a participação no paradigma prevê o desempenho típico, mas falha em prever a capacidade individual do modelo:

• Ordenação de Paradigma: As APIs comerciais geralmente alcançam o melhor desempenho mediano, seguidas pelos Vision LLMs, com a trilha de código aberto ficando atrás no desempenho mediano.
• Exceções: Modelos individuais de código aberto podem superar os melhores Vision LLMs em puro poder de classificação. Especificamente, o modelo de código aberto DRCT alcançou um ROC-AUC de 0,866, superando todos os Vision LLMs (o melhor sendo o Claude Opus 4.8 com 0,791).
• A "Armadilha da Precisão": Vários modelos alcançaram precisão ou F1 decepcionantemente altos ao assumir por padrão a classe majoritária ("fake"). Por exemplo, o zai_glm52 (Vision LLM) obteve 71% de precisão e 0,83 de F1, mas teve 0% de especificidade e um MCC negativo (-0,152), indicando que marcou todas as imagens reais como falsas.
• O Achado da Divergência: O achado empírico central do artigo é o descompasso entre ROC-AUC e MCC:
  • TruthScan (Comercial): Alcançou o maior ROC-AUC (0,915), mas o pior MCC entre as APIs comerciais (-0,130) porque seu limiar padrão marcou quase todas as imagens como falsas.
  • Neural Defend (Comercial): Alcançou o maior MCC (0,876) mas um ROC-AUC próximo ao acaso (0,516), indicando excelente calibração de decisão apesar de uma separação de escore subjacente fraca.
  • Implicação: Um modelo pode ser um excelente classificador (alto AUC), mas um decisor ruim (baixo MCC) em seu limiar de entrega, e vice-versa.

Significância e Alegações

O artigo afirma que o VendorBench-100 altera fundamentalmente o foco da avaliação de rankings isolados de leaderboards para uma compreensão mais matizada do comportamento do detector.

• O Desacordo de Métricas é Central: A divergência entre a capacidade de classificação e a qualidade do ponto de operação é apresentada como um achado mais significativo do que qualquer ranking individual de modelo. Demonstra que reportar apenas uma métrica (ex: AUC ou Precisão) pode caracterizar sistematicamente mal a utilidade real de um modelo.
• Orientação Prática: Para profissionais, o benchmark sugere que as decisões de aquisição devem pesar tanto o MCC quanto o ROC-AUC. Confiar em uma única métrica pode levar à implantação de um modelo que é ou pouco confiável (alto AUC, baixo MCC) ou conservador ao ponto da inutilidade (baixo AUC, alta especificidade, mas baixo recall).
• Nuance de Paradigma: Embora as APIs comerciais liderem na média, o estudo refuta a noção de que os detectores de código aberto são universalmente inferiores, mostrando que métodos acadêmicos cuidadosamente desenhados (como o DRCT) permanecem competitivos com modelos de fundação de propósito geral.
• Limitações: Os autores declaram explicitamente que os resultados são sinais diagnósticos de um único e pequeno corpus adversário (100 imagens). Eles não alegam que esses resultados representam estimativas de precisão de nível populacional ou que testes de significância estatística foram realizados para todas as 630 comparações pareadas possíveis. O corpus é destinado a ser um teste de estresse para revelar modos de falha, em vez de um benchmark populacional.

Em conclusão, o artigo argumenta que o campo deve se mover em direção a avaliações unificadas, reproduzíveis e de múltiplas métricas que priorizem comparações justas entre paradigmas em vez de scores isolados de leaderboards.