Tracing Copied Pixels and Regularizing Patch Affinity in Copy Detection

Este artigo apresenta o PixTrace e o CopyNCE, duas inovações que utilizam o rastreamento explícito de coordenadas de pixels e uma perda de contraste geometricamente guiada para melhorar a detecção de cópias em imagens, alcançando desempenho superior e maior interpretabilidade em comparação com métodos existentes.

O essencial

Imagine que você tem uma foto de um gato muito fofo. Alguém pega essa foto, corta o gato, muda a cor do pelo, gira a imagem e cola em um novo fundo. Agora, como um computador consegue dizer: "Ei, esse novo gato é, na verdade, o mesmo gato da foto original, só que editado"?

Esse é o problema que o Image Copy Detection (Detecção de Cópia de Imagem) tenta resolver. O artigo que você enviou apresenta uma nova solução chamada CopyNCE, criada por pesquisadores do Ant Group.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O Detetive Confuso

Antes dessa pesquisa, os sistemas de detecção de cópias funcionavam como um detetive que olha para a foto inteira e diz: "Essa parece parecida com aquela".

• O problema: Se a edição for complexa (como mudar a cor, cortar e colar pedaços), o detetive se perde. Ele tenta adivinhar qual parte da foto nova corresponde a qual parte da foto antiga, mas muitas vezes ele chuta errado. É como tentar encontrar um amigo em uma multidão usando apenas uma foto borrada; você pode confundir com outra pessoa que tem o mesmo cabelo.

2. A Solução: O "Mapa do Tesouro" (PixTrace)

Os autores criaram uma ferramenta chamada PixTrace. Pense nela como um mapa de tesouro digital ou um rastro de pegadas.

• Como funciona: Quando a foto original é editada, o PixTrace não apenas vê a imagem final; ele registra exatamente onde cada pixel (cada pontinho de cor) foi.
• A analogia: Imagine que você tem um quebra-cabeça. Se alguém tirar uma peça, girá-la e colar em outro lugar, o PixTrace é como um anotação que diz: "A peça que estava no canto superior esquerdo agora está no centro, virada para a direita".
• Por que é importante: Isso elimina as "chutes". O sistema sabe com 100% de certeza qual parte da imagem nova veio de qual parte da imagem antiga.

3. O Treinamento: O Professor Rigoroso (CopyNCE)

Com esse mapa de tesouro em mãos, eles criaram uma nova forma de ensinar o computador, chamada CopyNCE.

• O método antigo: Era como ensinar um aluno mostrando duas fotos e dizendo: "Essas são parecidas". O aluno tentava adivinhar, mas muitas vezes aprendia coisas erradas porque as fotos tinham muitas partes diferentes.
• O método CopyNCE: Agora, o professor (o algoritmo) usa o mapa de tesouro (PixTrace) para dizer: "Olhe! A orelha esquerda do gato na foto nova corresponde exatamente a este pedaço da foto antiga. A cauda corresponde àquele outro pedaço".
• A regularização: O sistema é forçado a aprender que, se dois pedaços de imagem se sobrepõem no mapa, eles devem ser tratados como "irmãos gêmeos". Se não se sobrepõem, são "estranhos". Isso limpa a confusão e faz o computador aprender muito mais rápido e com mais precisão.

4. Os Resultados: O Campeão

Quando testaram esse sistema em competições reais (como o desafio DISC21), os resultados foram impressionantes:

• Precisão: O sistema conseguiu identificar cópias editadas com uma precisão muito superior aos métodos anteriores (quase 89% de precisão no melhor cenário).
• Interpretabilidade: Além de ser mais preciso, ele é mais "honesto". Se você perguntar "por que você achou que essas fotos são cópias?", o sistema consegue mostrar exatamente quais partes da imagem ele comparou (graças ao mapa de tesouro), em vez de apenas dar um "sim" ou "não" misterioso.

Resumo em uma frase

Enquanto os métodos antigos tentavam adivinhar se duas fotos eram parecidas olhando para o todo, o CopyNCE usa um GPS de pixels para rastrear cada pedacinho da imagem original até a cópia editada, garantindo que o computador aprenda a verdade sobre a semelhança, sem se confundir com truques visuais.

É como passar de um detetive que chuta para um detetive que tem um scanner de DNA que prova a origem de cada partícula da imagem!

Resumo técnico

1. Problema e Motivação

A Detecção de Cópia de Imagem (ICD) visa identificar conteúdo manipulado entre pares de imagens, sendo crucial para sistemas de recuperação e anti-pirataria. Embora o Aprendizado Auto-Supervisionado (SSL) tenha avançado significativamente a ICD, os métodos atuais baseados em aprendizado contrastivo de nível de visão (view-level) enfrentam dificuldades com edições sofisticadas.

O principal gargalo identificado pelos autores é a insuficiência no aprendizado de correspondências em nível fino (fine-grained). Métodos existentes frequentemente negligenciam correspondências em nível de região ou "patch", dependendo de estratégias de vizinho mais próximo (Nearest-Neighbor - NN) que são heurísticas e ruidosas. Essas estratégias podem gerar:

• Falsos positivos: Identificar patches negativos como positivos.
• Correspondências parciais: Perder patches positivos válidos.
• Ruído de supervisão: Gradientes conflitantes que prejudicam a convergência do modelo.

A questão central é: Como estabelecer correspondências confiáveis pixel a pixel entre imagens editadas e integrar essa consciência geométrica em frameworks de SSL para melhorar a robustez da ICD?

2. Metodologia Proposta

Os autores propõem uma abordagem que explora a rastreabilidade geométrica inerente ao conteúdo editado. A metodologia baseia-se em dois pilares principais: PixTrace e CopyNCE.

A. PixTrace (Rastreamento de Pixels)

O PixTrace é um módulo de rastreamento de coordenadas de pixels que mantém mapeamentos espaciais explícitos através de transformações de edição.

• Funcionamento: Em vez de depender de heurísticas para encontrar correspondências, o sistema utiliza uma tabela de coordenadas (estrutura de dados baseada em dicionário) que é atualizada sequencialmente por funções de transformação determinísticas associadas a cada operação de edição (ex: rotação, matting, jitter de cor, transformação afim).
• Mecanismo: Começa com uma imagem original $I_o$ e uma tabela inicial onde cada coordenada mapeia para si mesma. À medida que as edições são aplicadas para criar uma cópia $I_a$, a tabela é transformada. Se houver uma segunda cópia $I_b$ baseada em $I_o$, a tabela original atua como uma "ponte" para rastrear pixels entre $I_a$ e $I_b$ com precisão absoluta.
• Benefício: Elimina a ambiguidade das correspondências, fornecendo um sinal de supervisão "ground-truth" pixel a pixel, mesmo em edições complexas.

B. CopyNCE (Loss Contrastiva Guiada Geometricamente)

Combinado com o PixTrace, os autores introduzem o CopyNCE, uma função de perda contrastiva que regulariza a afinidade entre patches.

• Conceito: Baseado no InfoNCE, mas modificado para incorporar a razão de sobreposição de áreas entre patches.
• Distribuição Priori: O método calcula a probabilidade de um patch na imagem de consulta corresponder a um patch na imagem de referência com base na proporção de pixels compartilhados (derivada do PixTrace).
• Regularização: A perda não trata todos os patches positivos igualmente. Ela introduz um parâmetro de "afinamento" ($\gamma$) que ajusta a certeza da distribuição priori. Isso força o modelo a aprender que patches com maior sobreposição geométrica devem ter maior afinidade, transferindo a rastreabilidade do nível de pixel para o nível de patch.
• Arquitetura: O método é aplicado tanto para Descritores (extração de características) quanto para Matchers (classificação binária de pares), utilizando arquiteturas baseadas em Vision Transformer (ViT).

3. Principais Contribuições

1. Pipeline PixTrace: Desenvolvimento de um pipeline completo de mapeamento de coordenadas que mantém a rastreabilidade de pixels editados, superando as limitações de métodos heurísticos de correspondência de vizinhos.
2. Loss CopyNCE: Proposta de uma função de perda que utiliza supervisão de nível de pixel para regularizar a afinidade entre patches, melhorando a detecção e localização de cópias.
3. Desempenho de Estado da Arte (SOTA): Alcançou resultados recordes no conjunto de dados DISC21, superando métodos existentes tanto em precisão quanto em eficiência e interpretabilidade.

4. Resultados Experimentais

Os experimentos foram conduzidos principalmente no conjunto de dados DISC21 (NeurIPS'21 Image Similarity Challenge) e validados no NDEC.

• Desempenho do Matcher (Classificador):
  • 88.7% µAP (Average Precision Unificado) e 83.9% RP90 (Recall na Precisão de 90%).
  • Superou a solução anterior líder (D2LV) em 0.1% de µAP e 3.8% de RP90, utilizando um modelo ViT-S (menor) em comparação com ensembles massivos de outros métodos.
• Desempenho do Descritor (Extrator de Características):
  • 72.6% µAP e 68.4% RP90.
  • Superou métodos como SSCD e Lyakaap, mesmo sem utilizar dados adicionais de treinamento (fine-tuning) em algumas configurações.
• Interpretabilidade: Visualizações de mapas de calor de afinidade mostram que o CopyNCE consegue identificar claramente as regiões copiadas (ex: um esquilo em uma imagem), enquanto métodos base-line produzem mapas caóticos. A entropia de afinidade é significativamente menor para patches copiados, indicando foco preciso.
• Generalização: O método demonstrou robustez em conjuntos de dados desafiadores como NDEC e AnyPattern, lidando bem com edições agressivas e não vistas durante o treinamento.

5. Significado e Impacto

Este trabalho é significativo por várias razões:

• Ponte entre Níveis de Granularidade: Conecta efetivamente a rastreabilidade de nível de pixel (geometria exata) com o aprendizado de similaridade de nível de patch (representação semântica), resolvendo o problema de ruído na supervisão auto-supervisionada.
• Eficiência vs. Performance: Demonstra que é possível alcançar desempenho superior sem depender de ensembles massivos de modelos ou pipelines complexos de detecção de objetos, utilizando uma supervisão geometricamente precisa.
• Interpretabilidade: Ao contrário de "caixas pretas" comuns em SSL, o CopyNCE oferece uma explicação clara de por que duas regiões são consideradas cópias (baseado na sobreposição geométrica verificada), o que é crucial para aplicações forenses e de segurança.
• Viabilidade Prática: Embora o rastreamento de coordenadas exija processamento de CPU durante o treinamento, a inferência é eficiente e o método supera soluções que dependem de grandes quantidades de dados rotulados ou heurísticas imprecisas.

Em resumo, o artigo redefine o estado da arte na detecção de cópias de imagem ao substituir heurísticas de correspondência por um mecanismo de rastreamento geométrico determinístico, resultando em modelos mais robustos, precisos e interpretáveis.