SPARK-IL: Spectral Retrieval-Augmented RAG for Knowledge-driven Deepfake Detection via Incremental Learning

Resumo Técnico: SPARK-IL

1. O Problema

A detecção de imagens geradas por Inteligência Artificial (Deepfakes) enfrenta desafios críticos devido à rápida evolução dos modelos generativos (GANs, modelos de difusão, etc.).

• Falta de Generalização: Detectores treinados em geradores específicos frequentemente falham ao encontrar modelos não vistos anteriormente ("out-of-distribution").
• Limitações Espaciais: A maioria dos métodos atuais baseia-se em artefatos espaciais (textura, ruído) que variam drasticamente entre diferentes pipelines de geração, tornando-os frágeis.
• Natureza Estática: Os classificadores paramétricos tradicionais não conseguem incorporar conhecimento sobre novos geradores sem retreinamento completo, levando ao "esquecimento catastrófico" (catastrophic forgetting) de técnicas anteriores.
• Inconsistência de Artefatos: Embora os artefatos no domínio espacial variem, as assinaturas no domínio da frequência tendem a ser mais consistentes entre diferentes famílias de geradores.

2. Metodologia (SPARK-IL)

O SPARK-IL (Spectral Retrieval-Augmented RAG for Knowledge-driven Deepfake Detection via Incremental Learning) é um framework que combina análise espectral de dupla via com inferência aumentada por recuperação (RAG) e aprendizado incremental.

Arquitetura Principal:

1. Caminho Duplo (Dual-Path):
   • Caminho Semântico: Utiliza um codificador ViT-L/14 (Vision Transformer) parcialmente congelado (blocos 0-21 fixos, 22-23 ajustados) para extrair representações de alto nível.
   • Caminho de Pixels: Projeta os pixels RGB brutos para a mesma dimensão de embedding.
2. Processamento Espectral Multi-banda (KAN-FFT):
   • Ambos os caminhos passam por blocos de Transformada Rápida de Fourier (FFT) para converter características no domínio da frequência.
   • O espectro é dividido em 4 bandas de frequência distintas.
   • Cada banda é processada por Redes de Kolmogorov-Arnold (KAN) com um mecanismo de "Mixture-of-Experts" (MoE). As KANs aprendem transformações não lineares específicas para cada banda, capturando padrões de ruído e inconsistências estruturais.
3. Fusão por Atenção Cruzada:
   • Os embeddings espectrais dos dois caminhos são fundidos usando atenção cruzada (Cross-Attention) com conexões residuais, permitindo que o modelo correlacione anomalias de nível de pixel com inconsistências semânticas.
4. Inferência Aumentada por Recuperação (RAG):
   • Em vez de depender apenas de um classificador paramétrico fixo, o sistema armazena os embeddings fundidos em um banco de dados vetorial (Milvus).
   • Durante a inferência, o sistema recupera os K vizinhos mais próximos (baseado em similaridade de cosseno) e realiza uma votação majoritária para classificar a imagem como real ou falsa. Isso permite adaptação local à distribuição de consultas sem atualizar os pesos do modelo.
5. Aprendizado Incremental:
   • Para integrar novos geradores sem esquecer os antigos, o sistema utiliza:
     • Replay de Experiência: Buffer de amostras anteriores.
     • Distilação de Conhecimento: Regularização para manter embeddings e logits consistentes.
     • Consolidação de Pesos Elásticos (EWC): Penaliza a deriva de parâmetros em relação ao estado anterior do modelo.
     • Expansão contínua do banco de dados de recuperação com novos embeddings.

3. Principais Contribuições

• Arquitetura Espectral Dupla: Processamento paralelo de representações de pixels e características semânticas via FFT multi-banda, superando a dependência exclusiva de artefatos espaciais.
• Uso de KANs: Aplicação de Redes de Kolmogorov-Arnold para modelar transformações não lineares específicas de cada banda de frequência, superando camadas MLP tradicionais.
• Inferência Não Paramétrica (RAG): Substituição de fronteiras de decisão fixas por uma abordagem baseada em similaridade (vizinhos mais próximos), aumentando a robustez a geradores não vistos.
• Adaptação Incremental: Mecanismo que permite ao sistema aprender novos geradores continuamente sem degradação do desempenho em técnicas anteriores.

4. Resultados Experimentais

O modelo foi avaliado no benchmark UniversalFakeDetect, que abrange 19 modelos generativos diversos (incluindo GANs, face-swapping, manipulação de baixo nível e modelos de difusão como LDM, GLIDE e DALL·E).

• Precisão Média (mAcc): O SPARK-IL alcançou 94,60% de precisão média.
  • Superou o estado da arte anterior (REVEAL) em +0,70%.
  • Superou o ViT ajustado (baseline) em +13,22%.
• Desempenho por Categoria:
  • GANs: Alta precisão (>99% em ProGAN, BigGAN).
  • Modelos de Difusão: Desempenho consistente (LDM: 99,40%, DALL·E: 98,90%).
  • Deepfakes e Manipulação: Melhoria significativa sobre métodos anteriores.
• Eficiência Computacional:
  • O modelo possui 315M parâmetros e 60,33 GFLOPs.
  • É mais eficiente que modelos maiores como FatFormer (493M parâmetros) e RINE (434M parâmetros), alcançando maior precisão com menos recursos.
• Estudo de Ablação:
  • A adição da recuperação baseada em vizinhos (RAG) foi o componente que trouxe o maior ganho individual (+4,3% de precisão).
  • A combinação de FFT de pixels e características foi crucial para capturar assinaturas complementares.

5. Significado e Impacto

O SPARK-IL representa um avanço significativo na detecção de Deepfakes ao abordar a generalização cruzada e a adaptação contínua.

• Paradigma de Detecção: Desloca o foco da detecção baseada em "assinaturas fixas" para uma abordagem baseada em evidência e similaridade espectral, que é mais robusta contra a evolução dos geradores.
• Viabilidade Prática: A capacidade de expandir o banco de conhecimento sem retreinar o modelo do zero torna a solução viável para ambientes do mundo real, onde novos geradores surgem constantemente.
• Validação de Hipótese: O trabalho confirma que as estatísticas do domínio da frequência oferecem pistas mais consistentes para detecção de falsificações do que os artefatos espaciais tradicionais, especialmente quando analisados em múltiplas bandas com arquiteturas adaptativas (KAN).

Em suma, o SPARK-IL estabelece um novo estado da arte ao integrar análise espectral profunda, aprendizado incremental e recuperação de conhecimento, oferecendo uma solução robusta e escalável para a detecção de conteúdo sintético.