Tracing Copied Pixels and Regularizing Patch Affinity in Copy Detection

Deze paper introduceert PixTrace en CopyNCE, twee innovaties die de prestaties van beeldkopie-detectie verbeteren door pixelcoördinaten te traceren en geometrisch geleide contrastieve verliesfuncties te gebruiken voor het regulariseren van patch-affiniteit.

De kern

Stel je voor dat je een foto van een vriend hebt. Iemand anders neemt die foto, knipt er een stukje uit, draait het een beetje, verandert de kleuren en plakt het ergens anders op. Vervolgens probeert hij te beweren dat het zijn eigen originele foto is.

Hoe kun je bewijzen dat het een kopie is? Dat is precies wat dit onderzoek doet. De auteurs van dit paper, afkomstig van Ant Group, hebben een slimme manier bedacht om te zien of twee foto's met elkaar verbonden zijn, zelfs als ze er heel anders uitzien.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Verkeerde Gids"

Vroeger probeerden computers foto's te vergelijken door te kijken naar kleine stukjes (zoals een stukje van de lucht of een stukje van een boom). Ze zeiden: "Oh, dit stukje in foto A lijkt op dat stukje in foto B, dus het zijn waarschijnlijk kopieën."

Het probleem hiermee is dat dit vaak fout gaat. Stel je voor dat je twee foto's hebt van een bos. In foto A zie je een boom, en in foto B zie je ook een boom. De computer denkt: "Ah, die lijken op elkaar!" Maar dat is geen bewijs dat foto B een kopie is van foto A; het zijn gewoon twee verschillende foto's van bomen.

De oude methoden waren als een detective die alleen naar de kleding van verdachten kijkt. Als twee mensen dezelfde blauwe jas dragen, denkt de detective dat ze dezelfde persoon zijn. Maar dat is niet waar. Ze missen de fysieke connectie.

2. De Oplossing: "PixTrace" (De Digitale GPS)

De auteurs zeggen: "Wacht even, als je een foto bewerkt, bewegen de pixels (de kleurtjes) zich op een voorspelbare manier."

Ze hebben een systeem bedacht genaamd PixTrace.

• De Analogie: Stel je voor dat je een foto maakt van een dansvloer. Iedere danser (pixel) heeft een nummer. Als je de foto nu draait, vergroot of kleurt, weet je precies welke danser waar naartoe is gegaan.
• Hoe het werkt: In plaats van te gissen of stukjes op elkaar lijken, houdt PixTrace een logboek bij. Het zegt: "Dit rode pixel op positie (10, 10) in de originele foto, is na het knippen en plakken verhuisd naar positie (50, 50) in de nieuwe foto."
• Het is alsof je op elke danser een onzichtbare GPS-chip hebt geplakt. Je kunt dus altijd terugsporen waar iemand vandaan komt, zelfs als ze vermomd zijn.

3. De "Rechter": "CopyNCE" (De Strikte Leraar)

Nu hebben ze een manier om de pixels te volgen, maar ze moeten de computer ook leren hoe hij dit moet gebruiken. Hiervoor hebben ze een nieuwe "leraar" bedacht genaamd CopyNCE.

• De Analogie: Stel je voor dat je een leraar hebt die een klasje leert om identieke foto's te vinden.
  • De oude leraar: Zei: "Kijk, deze twee stukjes lijken op elkaar. Dat is goed." (Zelfs als het toeval was).
  • De nieuwe leraar (CopyNCE): Die kijkt naar het logboek van PixTrace en zegt: "Nee, wacht! Dit stukje in de nieuwe foto komt niet overeen met dat stukje in de oude foto. Je moet niet denken dat ze hetzelfde zijn."
  • Maar als het wel overeenkomt, zegt hij: "Zie je? Dit stukje komt precies van daar vandaan. Dat is een echte match!"

Deze leraar corrigeert de computer voortdurend. Hij zorgt ervoor dat de computer niet wordt misleid door toevallige gelijkenissen, maar echt leert om de "sporen" van de bewerking te volgen.

4. Waarom is dit zo goed?

Dit systeem heeft twee grote voordelen:

1. Het is slimmer: Het kan zelfs heel ingewikkelde bewerkingen doorzien, zoals als iemand een stukje van een foto uitsnijdt en het op een andere achtergrond plakt. De oude methoden raakten hierdoor in de war, maar dit systeem ziet de sporen nog steeds.
2. Het is duidelijker: Omdat het systeem precies weet welke pixel waar vandaan komt, kan het ook laten zien waar de kopie zit. Het is alsof de computer een rood potlood pakt en de gemanipuleerde plek op de foto omcirkelt.

De Resultaten

In de grote wedstrijd voor beeldherkenning (DISC21) hebben ze laten zien dat hun methode de beste is. Ze scoorden hoger dan alle andere teams, zelfs die met veel grotere en complexere computers.

Kortom:
Ze hebben een systeem gebouwd dat niet alleen kijkt of twee foto's op elkaar lijken, maar dat de reis van elk kleurtje in de foto bijhoudt. Hierdoor kunnen ze met bijna 100% zekerheid zeggen: "Ja, dit is een kopie, en hier is precies wat er mee is gebeurd."

Het is alsof je van een detective die gissen moet, bent gegaan naar een detective die een onzichtbare lijn kan zien die de originele foto verbindt met de vervalsing.

Technische samenvatting

1. Het Probleem

Beeldkopie-detectie (Image Copy Detection - ICD) heeft als doel gemanipuleerde inhoud tussen afbeeldingsparen te identificeren. Hoewel Zelftoezichtend Leren (Self-Supervised Learning - SSL) de standaard is geworden voor het trainen van ICD-modellen, kampen bestaande methoden met een fundamenteel tekortkoming:

• Gebrek aan fijnmazige correspondentie: Bestaande SSL-methoden gebruiken voornamelijk "view-level" contrastief leren. Ze negeren correspondenties op het niveau van regio's of patches.
• Ruis in supervisie: Methoden die proberen lokale correspondenties te vinden (bijv. via Nearest Neighbor op features of locaties), zijn vaak onnauwkeurig. Dit leidt tot valse positieven (niet-overlappende patches die als positief worden gemarkeerd) of gedeeltelijke matches (waarbij positieve steekproeven worden gemist).
• Gevolg: Deze ruis veroorzaakt conflicterende gradiëntsignalen tijdens het trainen, wat de convergentie van het model en de uiteindelijke detectieprestaties bij complexe bewerkingen (zoals matting, affiene transformaties en kleurveranderingen) beperkt.

2. Methodologie

De auteurs stellen een nieuwe aanpak voor die de inherente geometrische traceerbaarheid van bewerkte pixels benut. De methode bestaat uit twee kerncomponenten:

A. PixTrace: Pixel-coördinaattracking

PixTrace is een module die expliciete ruimtelijke mapping behoudt tijdens een reeks bewerkingen.

• Werking: Het begint met een coördinatentabel ($T$) voor een originele afbeelding ($I_o$). Bij elke bewerking (bijv. roteren, bijsnijden, matting) wordt een transformatiefunctie toegepast die de coördinatentabel update.
• Doel: Hierdoor kan elk pixel in een bewerkte afbeelding ($I_a$) exact worden teruggespoord naar zijn oorsprong in $I_o$. Als twee afbeeldingen ($I_a$ en $I_b$) beide bewerkingen ondergaan op $I_o$, kan PixTrace de directe pixelcorrespondentie tussen $I_a$ en $I_b$ berekenen via $I_o$ als brug.
• Voordeel: Dit elimineert de onzekerheid en ruis van heuristische methoden (zoals Nearest Neighbor) en biedt een "ground truth" op pixelniveau voor het trainen.

B. CopyNCE: Geometrisch geleide contrastief verlies

CopyNCE is een nieuwe loss-functie die de patch-afhankelijkheid (affinity) regulariseert op basis van de traceerbare mapping van PixTrace.

• Principe: In plaats van aan te nemen dat een patch in de query-patch exact overeenkomt met één patch in de referentie, berekent CopyNCE de overlap-ratio tussen patches op basis van de PixTrace-mapping.
• Prior Distributie: De loss-functie definieert een prior-verdeling $q$ gebaseerd op het percentage overlappende pixels. Patches met een grotere overlap krijgen meer gewicht.
• Formulering: CopyNCE is een variant van InfoNCE die de mutual information maximaliseert, maar dan gewogen door de overlap-ratio. Het formuleert het probleem als het minimaliseren van de Kullback-Leibler (KL) divergentie tussen de voorspelde verdeling van de patches en de door PixTrace bepaalde prior-verdeling.
• Symmetrie: De loss wordt symmetrisch toegepast (query naar referentie en vice versa) om robuustheid te garanderen.

3. Belangrijkste Bijdragen

1. PixTrace Pipeline: Een compleet systeem voor het bijhouden van pixelcoördinaten door complexe bewerkingen heen, wat zorgt voor exacte, niet-heuristische pixelcorrespondenties.
2. CopyNCE Loss: Een nieuwe contrastief verliesfunctie die pixel-niveau traceerbaarheid vertaalt naar patch-niveau supervisie. Dit regulariseert de affiniteit tussen patches en onderdrukt supervisiestoringen.
3. State-of-the-Art Prestaties: De methode behaalt nieuwe records op de DISC21-dataset (een standaardbenchmark voor beeldkopiëring).
4. Interpreteerbaarheid: Het model biedt niet alleen betere prestaties, maar ook betere visuele interpretatie van welke gebieden als kopie worden herkend.

4. Resultaten

De methoden werden getest op de DISC21-dataset (1 miljoen afbeeldingen) en vergeleken met bestaande SOTA-methoden (zoals SSCD, D2LV, Lyakaap).

• Matcher (Binary Classification):
  • Bereikte 88.7% µAP en 83.9% RP90 (Recall at 90% Precision).
  • Dit is een significante verbetering ten opzichte van bestaande methoden (bijv. D2LV haalde 88.6% µAP).
  • Zelfs zonder lokale ensemble-technieken (LCE) presteerde de ViT-S variant al zeer sterk.
• Descriptor (Feature Extraction):
  • Bereikte 72.6% µAP en 68.4% RP90.
  • Overtrof methoden zoals SSCD en Lyakaap aanzienlijk, zelfs zonder gebruik van extra data of complexe post-processing.
• Generalisatie: De methoden presteerden ook goed op de NDEC-dataset (met extra harde negatieve voorbeelden) en in de tweede fase van de DISC21-competitie, wat aantoont dat het model robuust is tegen agressieve bewerkingen.

5. Significantie en Impact

• Overbrugging van schaal: Het paper slaagt erin de kloof te overbruggen tussen pixel-niveau traceerbaarheid en patch-niveau leermethoden. Dit is cruciaal omdat ICD vaak complexe, niet-lineaire bewerkingen omvat die niet goed worden gevangen door simpele transformaties.
• Efficiëntie en Interpretatie: In tegenstelling tot methoden die vertrouwen op complexe ensemble-methoden of heuristische regels, biedt CopyNCE een directer en interpreteerbaar mechanisme. De "affinity heatmaps" tonen duidelijk aan welke delen van een afbeelding als kopie worden herkend, wat het model transparanter maakt.
• Toekomstperspectief: De aanpak suggereert dat het expliciet modelleren van geometrische transformaties in SSL een krachtige richting is voor toekomstig onderzoek in multimedia-analyse en auteursrechtbescherming.

Kortom, dit paper introduceert een fundamentele verschuiving in hoe beeldkopiëring wordt aangepakt: van het gissen van overeenkomsten via heuristieken naar het exact volgen van de geometrische sporen van bewerkingen om een nauwkeurig en betrouwbaar leerproces te garanderen.