SurFITR: A Dataset for Surveillance Image Forgery Detection and Localisation

1. Problema e Motivação

O avanço recente de modelos de geração de imagem de código aberto (como Stable Diffusion, Flux, etc.) permitiu a criação de edições fotorealistas e controladas, levantando preocupações sérias sobre a falsificação de evidências visuais. Embora existam muitos conjuntos de dados e métodos para detecção de falsificação, eles são predominantemente focados em imagens centradas em objetos ou rostos (ex: FaceForensics++, GenImage).

O artigo identifica uma lacuna crítica: a detecção de falsificação em imagens de vigilância. Diferente das imagens naturais, as cenas de vigilância apresentam:

• Ângulos de visão mais amplos e variados.
• Sujeitos pequenos, oclusos ou de baixa resolução.
• Manipulações que são tipicamente locais, sutis e discretas (ex: remover uma pessoa específica de uma multidão, adicionar um objeto), em vez de síntese de imagem completa.
• Modelos treinados em benchmarks existentes falham ao generalizar para esses cenários, pois as pistas forenses são mais fracas e o domínio é diferente.

2. Metodologia: O Dataset SurFITR

Para preencher essa lacuna, os autores introduzem o SurFITR (Surveillance Forgery Image Test Range), um novo conjunto de dados especializado.

Estrutura do Dataset

• Escala: Contém mais de 137.000 imagens adulteradas (e suas máscaras de pixel correspondentes), geradas a partir de 6 corpora de vigilância populares (UCF-Crime, NTU-Fight, ShanghaiTech, etc.).
• Tipos de Manipulação: O dataset cobre quatro operações de edição principais:
  1. Remoção (RM): Deletar uma entidade existente.
  2. Substituição Direcionada (RE(E)): Substituir uma entidade por uma alternativa específica e consistente com o contexto.
  3. Substituição Aberta (RE(O)): Substituir por um objeto semanticamente relacionado, mas não idêntico.
  4. Adição (ADD): Inserir uma nova entidade na cena.
• Alvos: Manipulações aplicadas tanto em humanos quanto em objetos.
• Divisão: O dataset é dividido em duas coleções:
  • SurFITR-Base: Gerado com o modelo FLUX.1-Fill, usado para treino e avaliação principal.
  • SurFITR-Transfer: Gerado com 4 outros modelos SOTA (Qwen-Image-Edit, SD3.5, etc.) para avaliar a generalização entre diferentes modelos de geração.

Pipeline de Geração Automatizada

O dataset foi criado utilizando um pipeline automatizado de três etapas, impulsionado por LLMs Multimodais (MLLMs):

1. Seleção de Quadros e Compreensão: Um detector de vocabulário aberto (YOLO-World) e um modelo de segmentação (SAM 2.1) localizam objetos. Um MLLM (Qwen2.5-VL) gera descrições estruturadas da cena (atributos, relações espaciais, iluminação) e atribui uma "pontuação de valor forense" para selecionar os quadros mais adequados.
2. Geração de Instruções: O MLLM gera instruções textuais e visuais para a adulteração. Para substituições direcionadas, um LLM de texto raciocina sobre as descrições para propor substituições contextualmente consistentes. Para adições, o sistema garante plausibilidade física (superfícies de apoio, consistência de perspectiva) e gera máscaras de silhueta realistas.
3. Adulteração Localizada e Composição: A manipulação é restrita a máscaras de nível de pixel e suas bordas. Um modelo de geração de imagem processa apenas o "patch" local, e o resultado é composto de volta à imagem original com técnicas de mistura (blending) ao longo do contorno do objeto, garantindo realismo e gerando ground truth preciso.

Garantia de Qualidade

O pipeline inclui etapas de verificação rigorosas:

• Verificação Automática: Detectores revalidam a ausência/presença de objetos e medem a mudança de pixels.
• Seleção de Qualidade: MLLMs avaliam as imagens adulteradas em duas escalas (1-10): Realismo (plausibilidade visual) e Detectabilidade (quantos artefatos visíveis existem). Imagens com baixo realismo ou alta detectabilidade são descartadas.
• Subconjunto Verificado: Uma pequena fração (cerca de 5%) foi verificada manualmente para validar a eficácia do controle de qualidade automatizado.

3. Contribuições Principais

1. Novo Dataset Especializado: O SurFITR é o primeiro grande conjunto de dados focado especificamente em detecção e localização de falsificações em imagens de vigilância, com manipulações sutis e localizadas.
2. Pipeline de Geração Semântica: Desenvolvimento de um pipeline automatizado que utiliza MLLMs para garantir que as edições sejam semanticamente fundamentadas e visualmente realistas, simulando falsificações do mundo real em escala.
3. Avaliação de Generalização: O dataset permite estudar cenários de cross-domain (entre cenas diferentes) e cross-model (entre diferentes geradores de imagem), algo que benchmarks anteriores não ofereciam de forma abrangente.

4. Resultados Experimentais

Os autores realizaram extensos experimentos com 13 modelos de base (detectores forenses especializados e MLLMs pré-treinados).

• Desempenho "Zero-Shot" (Sem Treino):

  • Os modelos existentes (treinados em dados de objetos/rostos) degradaram-se significativamente no SurFITR.
  • Métricas de detecção (AUROC) foram moderadas, mas as métricas de localização (P-IoU, P-F1) foram extremamente baixas (muitas vezes próximas de zero), indicando que os modelos não conseguem identificar onde a manipulação ocorreu.
  • MLLMs comerciais e open-weight também falharam em detectar essas adulterações sutis.

• Treino no SurFITR:

  • Ao ajustar (fine-tuning) os modelos no SurFITR, houve melhorias substanciais tanto na detecção quanto na localização.
  • Modelos como PSCC-Net, HiFi-Net e o MLLM Qwen3-VL-8B alcançaram desempenho muito alto no domínio de treino (Base).
  • Generalização: O treino no SurFITR também melhorou o desempenho em cenários de cross-domain (outros datasets de vigilância) e cross-model (outros geradores de imagem), embora ainda existam lacunas.

• Limitações Identificadas:

  • A variação da cena (diferentes locais de vigilância) continua sendo uma causa principal de instabilidade na detecção.
  • A localização de manipulações muito pequenas ou sutis permanece um desafio difícil, mesmo após o treino.

5. Significado e Conclusão

O SurFITR estabelece um novo padrão para a pesquisa forense em vigilância. Ele demonstra que:

1. Os métodos atuais são insuficientes para lidar com falsificações sutis em ambientes de vigilância.
2. Dados específicos de domínio são essenciais para treinar modelos robustos.
3. Existe uma necessidade urgente de desenvolver modelos que aprendam pistas invariantes à cena e que sejam capazes de realizar localização de alta precisão em manipulações finas.

O dataset é disponibilizado publicamente no GitHub, servindo como um benchmark e um recurso de treino fundamental para o desenvolvimento de futuros sistemas de detecção de falsificação em vigilância, com licenças restritas apenas para pesquisa para mitigar riscos de uso indevido.