Resumo Técnico: O Score de Confiança de Deepfake Calibrado (CDTS)

1. Definição do Problema

Os detectores de deepfake modernos são cada vez mais implementados não como classificadores binários, mas como sinais de confiança dentro de pipelines operacionais para moderação de conteúdo, verificação de procedência e autenticação de identidade. Nesses contextos, a probabilidade de saída de um detector é interpretada como um grau de confiança; um ativo erroneamente rotulado com alta confiança (probabilidade alta, rótulo incorreto) propaga-se silenciosamente através de um sistema sem disparar uma revisão. Consequentemente, a calibração — a confiabilidade da estimativa de probabilidade — é tão crítica quanto a acurácia discriminativa.

No entanto, a literatura existente otimiza primariamente a acurácia (AUC, taxas de detecção) e trata a calibração como um problema de melhoria estática em benchmarks fixos. Essa abordagem falha em abordar como os sinais de confiança degradam quando os detectores encontram novos geradores, artefatos de compressão ou subgrupos demográficos. O artigo postula que os instrumentos de confiança atuais carecem de "Degradação Graciosa da Confiança" (GTção - Graceful Trust Degradation): a capacidade de permanecer calibrado, fornecer explicações fiéis e evitar falhas silenciosas à medida que a capacidade subjacente do detector diminui.

2. Metodologia

Os autores introduzem o Score de Confiança de Deepfake Calibrado (CDTS), um mecanismo de wrapper que transforma o logit bruto de qualquer detector em um score de confiança calibrado ($T$), aumentado com um monitor de competência livre de rótulos (label-free).

Configuração Experimental

• Detectores: Três arquiteturas foram avaliadas: Xception e EfficientNet-B4 (Redes Neurais Convolucionais) e um Vision Transformer CLIP. Todos foram treinados em falsificações de face-swap.
• Datasets: FaceForensics++ (c23), Celeb-DF v2, a suíte de geradores DF40 (abrangendo as eras de GAN a difusão) e um conjunto externo de FaceForensics DeepFakeDetection (DFD) para validação fora de distribuição (out-of-distribution).
• Manipulação de Competência: Para isolar a competência da identidade do dataset, os autores utilizaram um checkpoint de Xception treinado em reencenação (FR) aplicado a dados de face-swap. Isso induziu uma baixa competência discriminativa (AUC < 0,67) em falsificações que seriam detectáveis de outra forma, criando um regime controlado de "baixa competência".
• Protocolo de Calibração: O estudo emprega um protocolo oráculo, onde um calibrador é ajustado em uma metade de dados de cada gerador alvo, com identidades distintas, para cada um. Isso isola a questão de se um score é calibrável dada a competência do detector, separadamente da transferibilidade de um único calibrador.
• Métricas:
  • Competência: Área Sob a Curva ROC (AUC).
  • Calibração: Erro de Calibração Esperado de Massa Igual (ECE) para evitar o viés de agrupamento (binning bias).
  • Fidelidade da Explicação: Uma métrica de ranking por região livre de saturação (correlação de Spearman entre a importância do Grad-CAM e a queda real de probabilidade após a remoção de patches) para evitar confusões causadas pela saturação de score em detectores competentes.
  • Sinais Livres de Rótulos: Entropia preditiva, dispersão de score e divergência de referência (KS, Wasserstein) computadas sem rótulos de verdade fundamental (ground-truth).

3. Principais Contribuições e Descobertas

C1: O Acoplamento Competência–Calibração

A descoberta central é uma forte correlação negativa entre a competência discriminativa de um detector e seu erro de calibração. À medida que a competência (AUC) cai, o erro de calibração (ECE) aumenta.

• Evidência: Este acoplamento mantém-se em 32 configurações (Pearson $r$ agrupado = $-0,81$), abrangendo dois CNNs e um transformer.
• Causalidade: A relação não é meramente temporal ou específica de um dataset. Quando a competência é diretamente manipulada (usando o checkpoint FR nos dados de FS), o acoplamento se fortalece ($r = -0,94$).
• Validade Externa: O acoplamento se replica em um quarto dataset, o DFD, no qual os detectores nunca treinaram, com correlações por ator permanecendo significativas ($r = -0,89$ para Xception).
• Realidade Implementável: Um único calibrador congelado em dados in-domain falha precisamente em geradores de baixa competência. O erro deste calibrador implantado rastreia a competência ainda mais rigidamente ($r = -0,98$) do que o protocolo oráculo, confirmando que os scores de confiança são não confiáveis exatamente onde novos geradores aparecem.

C2: Equidade de Calibração vs. Equidade de Acurácia

O artigo demonstra que a equidade de calibração é distinta da equidade de acurácia.

• Descoberta: Subgrupos podem ser igualmente acurados (AUC similar), mas desigualmente calibrados. Por exemplo, subgrupos de tons de pele mostraram um gap de AUC de 0,0006, mas um gap de ECE par a par de 0,0151.
• Implicação: Auditorias de justiça padrão focadas apenas em taxas de erro perdem disparidades materiais na confiabilidade dos scores de confiança entre grupos demográficos.

C3: A Fidelidade da Explicação é Acoplada à Competência

Usando uma métrica livre de saturação, os autores mostram que a fidelidade da explicação aumenta com a competência ($r = +0,94$).

• Mecanismo: Detectores competentes produzem mapas de saliência que genuinamente impulsionam decisões. Detectores incompetentes produzem mapas de saliência que não são correlacionados com a evidência usada, tornando as explicações não fiéis.

C4: Monitoramento de Competência Livre de Rótulos

O artigo identifica a entropia preditiva como um sinal robusto e livre de rótulos para estimar a competência.

• Portabilidade: Diferente dos sinais de divergência de referência (ex: distância KS), que invertem o sinal entre arquiteturas (positivo no Xception, negativo no EfficientNet), a entropia preditiva mantém uma correlação negativa consistente com a competência em todas as três arquiteturas ($r = -0,84, -0,38, -0,95$).
• Utilidade: Isso permite a detecção de risco de calibração em geradores não vistos sem a necessidade de rótulos de verdade fundamental.

C5: Unificação de Sinais de Confiança

Em detectores convolucionais, os sinais intrínsecos de confiança (calibração e fidelidade da explicação) colapsam em um único fator alinhado à competência (explicando ~90% da variância). Embora a estrutura completa de múltiplos sinais (incluindo sinais de monitoramento) seja específica da arquitetura, a descoberta central — que a competência é o driver compartilhado da degradação da confiança — generaliza-se entre CNNs e transformers.

C6: Roteamento Consciente da Competência

O roteamento de lotes de origem baseado em uma estimativa de competência livre de rótulos (dispersão de score) supera o roteamento baseado em confiança.

• Resultado: O roteamento consciente da competência reduz a curva geral da Área Sob o Risco-Cobertura (AURC), especificamente melhorando o desempenho na região de cobertura baixa-a-média, onde sistemas de verificação devem decidir se devem se abster.

4. Significância e Alegações

O artigo argumenta que a confiabilidade do detector não é uma coleção de cinco garantias independentes (calibração, equidade, fidelidade, etc.), mas está organizada por um único fator mensurável: a competência.

• Reenquadramento do Problema: Os autores rejeitam a "conjectura temporal" (que a confiança degrada simplesmente com o tempo). Em vez disso, afirmam que o tempo é apenas um proxy para a distância da fronteira de competência do detector. Os sinais disparam juntos porque compartilham um driver de competência.
• Insight Acionável: A pontuação de confiança deve ser consciente da competência. Sistemas devem estimar a competência (via entropia livre de rótulos) e condicionar a confiança a ela.
• Escopo e Modéstia: Os autores limitam explicitamente suas alegações quanto ao "fator unificador". Embora o acoplamento competência-calibração e o monitoramento livre de rótulos se generalizem para as três arquiteturas, a unificação total de todos os sinais de confiança em um único fator é específica para backbones convolucionais. O artigo não afirma que a competência é um fator único universal para todas as possíveis arquiteturas ou métodos de fidelidade, mas sim que é o driver compartilhado demonstrado entre os CNNs e o transformer testados.

O wrapper CDTS é proposto como o mecanismo para operacionalizar este insight, permitindo que os sistemas "saibam, mostrem, alertem, não discriminem e rotem" com base na capacidade real do detector, em vez da confiança bruta.