💻 computer science

Active Image Manipulation Detection and Localization using TransUNet for Fragile Watermarking

Dit artikel stelt een nieuw Active Image Manipulation Detection and Localization (AIMDL)-framework voor dat TransUNet gebruikt voor robuuste watermerkgeneratie en -herstel, gecombineerd met een multi-head UNet forensische module, om met hoge nauwkeurigheid manipulatie te detecteren en op pixelniveau te lokaliseren, terwijl de transparantie en robuustheid van het watermerk dynamisch worden gebalanceerd.

Oorspronkelijke auteurs: Zohaib Hamdule, Venkatanareshbabu Kuppili

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zohaib Hamdule, Venkatanareshbabu Kuppili

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de digitale wereld voor als een enorme, bruisende kunstgalerie waar iedereen naar binnen kan lopen, een meesterwerk kan oppakken en er stiekem een paar penseelstreken overheen kan schilderen voordat het weer wordt opgehangen. In ons moderne tijdperk maken krachtige fotobewerkingsprogramma's het ongelooflijk makkelijk om afbeeldingen aan te passen—het verwijderen van een persoon uit een menigte, het veranderen van een achtergrond, of het verwisselen van een gezicht—vaak zonder dat het voor het blote oog een spoor achterlaat. Dit creëert een lastig probleem: hoe weten we of een foto de originele waarheid is of een slimme vervalsing? Wetenschappers die dit bestuderen, worden "digitale forensische" experts genoemd. Zij proberen het puzzelstukje meestal op te lossen door te zoeken naar kleine, onzichtbare aanwijzingen die door het bewerkingsproces zijn achtergelaten, zoals een detective die op zoek is naar stof op een vensterbank. Dit wordt "passieve" detectie genoemd, en hoewel het goed is, is het vaak alsof je probeert te raden wie het glas heeft aangeraakt door alleen naar de vlek te kijken; het is niet altijd nauwkeurig.

Om een beter antwoord te krijgen, gebruiken sommige experts een andere strategie die "actieve" detectie wordt genoemd. In plaats van te wachten op aanwijzingen, plant ze een geheim, onzichtbaar "vingerafdruk" direct in de foto op het moment dat deze wordt gemaakt. Denk hierbij aan een beveiligingsbeambte die een klein, onzichtbaar inktmerk op een schilderij aanbrengt voordat het de studio verlaat. Als iemand later aan het schilderij probeert te rommelen, wordt die onzichtbare inkt uitgesmeerd of gebroken. Door de inkt te controleren, kan de bewaker niet alleen zeggen: "Dit schilderij is aangeraakt," maar kan hij ook precies aanwijzen waar de schade is ontstaan. De grote uitdaging is echter dat deze onzichtbare inkt een soort evenwichtsoefening is. Als de inkt te zwak is om gezien te worden, breekt deze gemakkelijk door compressie of het verkleinen van de foto voor het internet. Als de inkt te sterk is om deze veranderingen te overleven, wordt hij zichtbaar en verpest hij de schoonheid van het plaatje. Het doel is om de perfecte "Goldilocks"-zone te vinden waar de inkt onzichtbaar is voor mensen, maar taai genoeg is om het internet te overleven, en toch fragiel genoeg is om te versplinteren als een crimineel de afbeelding probeert te bewerken.

Dit artikel introduceert een nieuw, hoogtechnologisch systeem dat ontworpen is om dit evenwichtsprobleem op te lossen met behulp van een slim type kunstmatige intelligentie genaamd TransUNet. De onderzoekers, Zohaib Hamdule en Venkatanareshbabu Kuppili van het National Institute of Technology Goa, hebben een digitale pijplijn gebouwd die fungeert als een meestervervalser en een superdetective in één. Hun systeem neemt eerst een schone afbeelding en gebruikt de TransUNet-architectuur om een fragiele, onzichtbare watermerk in te bedden. Dit is geen statische stempel; het is een dynamisch signaal dat het systeem leert te beschermen tegen normaal internetverkeer (zoals JPEG-compressie), maar dat direct breekt als iemand probeert delen van de afbeelding te splitsen of te kopiëren en plakken.

De magie vindt plaats tijdens de trainingsfase. De onderzoekers hebben hun AI geleerd door een chaotische omgeving te simuleren. Ze namen een afbeelding, pasten "welwillende ruis" toe (zoals onschuldige aanpassingen in helderheid of het vergroten/verkleinen) om het watermerk taai te leren zijn, en pasten vervolgens "kwaadwillige manipulaties" toe (zoals het knippen en plakken van objecten) om het systeem te leren de misdaad te herkennen. Cruciaal was dat ze de AI ook leerden om eventuele bewerkingen te negeren die vóór het toevoegen van het watermerk zijn gemaakt, zodat het systeem alleen manipulaties volgt die plaatsvinden nadat de afbeelding is beveiligd. Zodra het watermerk is ingebed, fungeert een tweede deel van het systeem, een "Forensische Module", als de detective. Deze probeert het watermerk te herstellen en, als het watermerk gebroken of ontbrekend is op bepaalde plaatsen, wijst het exact aan waar de manipulatie heeft plaatsgevonden, tot op de individuele pixel nauwkeurig.

De resultaten van dit onderzoek tonen aan dat het systeem zeer effectief is. Bij tests behaalde het framework een authenticatie-nauwkeurigheid (weten of een afbeelding echt of nep is) en een detectienauwkeurigheid van meer dan 0,95 (of 95%). Nog indrukwekkender is dat wanneer het kwam op het lokaliseren van de exacte plek waar de manipulatie plaatsvond, het systeem een Intersection over Union (IoU)-score van meer dan 0,85 behaalde, wat betekent dat het gebied dat het als "gemanipuleerd" markeerde, zeer nauw overeenkwam met het werkelijke gemanipuleerde gebied. De onderzoekers ontdekten ook dat ze het systeem konden afstemmen op verschillende behoeften. Door een "watermerk schaleringsfactor" aan te passen (specifiek het testen van waarden van 0,10 en 0,05), konden ze een afweging maken tussen hoe onzichtbaar het watermerk is en hoe sterk de forensische bescherming is. Bijvoorbeeld, bij een schaleringsfactor van 0,10 bereikte het systeem een detectienauwkeurigheid van 0,9683 en een lokalisatie F1-score van 0,9123, hoewel de beeldkwaliteit (gemeten door PSNR) daalde naar 36,7034. Omgekeerd bood een lagere schaleringsfactor van 0,05 een betere balans voor sommige toepassingen, waarbij de piekforensische prestaties werden bereikt bij lagere testschalen terwijl de afbeelding er schoner uitzag.

Het artikel sluit expliciet de mogelijkheid uit dat dit systeem werkt op afbeeldingen die al bewerkt waren voordat het watermerk werd toegevoegd; het detecteert alleen wijzigingen die zijn gemaakt na het inbedden van het watermerk. Het verduidelijkt ook dat hoewel het systeem robuust is tegen routinematige internettransformaties zoals compressie en schaling, het is ontworpen om "semi-fragiel" te zijn, wat betekent dat het bedoeld is om te breken onder kwaadwillige bewerkingen. De auteurs beweren niet dat dit een perfecte, voor altijd onoplosbare oplossing is voor alles, maar eerder een robuust framework dat succesvol een hoog niveau van nauwkeurigheid en precieze lokalisatie demonstreert. Ze suggereren dat door gebruikers de mogelijkheid te geven de watermerksterkte dynamisch aan te passen, deze aanpak een betrouwbare manier biedt om digitale afbeeldingen te beveiligen tegen de groeiende dreiging van geavanceerde fotomanipulatie.

Technische Samenvatting: Actieve Detectie en Lokalisatie van Beeldbewerking met behulp van TransUNet voor Fragiele Watermerking

Probleemstelling
De proliferatie van geavanceerde fotobewerkingshulpmiddelen heeft gezorgd voor een kritieke behoefte aan robuuste digitale forensische technieken. Terwijl passieve forensische methoden (blind forensics) statistische artefacten analyseren om manipulatie te detecteren, missen zij vaak de precisie die vereist is voor nauwkeurige ruimtelijke lokalisatie. Actieve Detectie en Lokalisatie van Beeldbewerking (AIMDL) biedt een superieur alternatief door authenticatiegegevens te embedden op het moment van beeldcreatie. Echter, AIMDL staat voor een fundamentele afweging: watermerktransparantie (onzichtbaarheid) versus robuustheid. Hoog zichtbare watermerken zijn vaak fragiel en worden gemakkelijk vernietigd door onschuldige transformaties zoals JPEG-compressie, terwijl robuuste watermerken vaak zichtbare artefacten introduceren. Bovendien hebben bestaande systemen moeite met het onderscheid tussen reeds aanwezige beeldkenmerken en post-watermarking manipulaties, of met het effectief schalen naar media met hoge resolutie zonder de forensische nauwkeurigheid in gevaar te brengen.

Methodologie
De auteurs stellen een nieuw AIMDL-framework voor dat TransUNet-architecturen integreert voor watermerkgeneratie en -herstel met een Multi-Head UNet-gebaseerde Forensische Module voor authenticatie en lokalisatie. Het systeem werkt via de volgende pipeline:

Architectuur:
- Encoder/Recovery Modules: Maakt gebruik van TransUNet om de ruimtelijke extractiecapaciteiten van CNN's te combineren met de globale afhankelijkheidsmodellering van Transformers. Dit maakt de generatie van beeld-specifieke watermerken en de daaropvolgende herwinning mogelijk, zelfs na beeldverwerking.
- Forensische Module: Een Multi-Head UNet die het herstelde watermerk verwerkt om gelijktijdig drie taken uit te voeren: authenticatie (verificatie van de beeldbron), detectie van manipulatie (identificatie of er manipulatie heeft plaatsgevonden) en ruimtelijke lokalisatie (het aanwijzen van de exacte gemanipuleerde pixels).
Trainingsstrategie:
- Benigne Ruis- & Manipulatiemodules: Tijdens de training simuleert het systeem een realistische omgeving. Een "Benigne Ruis Module" past niet-kwaadwillende transformaties toe (compressie, aanpassingen in helderheid/contrast) om ervoor te zorgen dat het watermerk routinematige verwerking overleeft. Een "Manipulatiemodule" past kwaadwillige bewerkingen toe (splicing, copy-move, random erasing) na de embedding van het watermerk.
- Pre-Watermarking Manipulatie: Cruciaal is dat tijdens de training ook manipulaties worden toegepast vóór de watermarking. Dit zorgt ervoor dat het model leert om reeds aanwezige beeldkenmerken te negeren en zich strikt richt op de stemming die optreedt na de embedding van het watermerk.
- Verliesfuncties (Loss Functions): De training wordt gestuurd door een gecureerde set van 12 verliesfuncties, gecategoriseerd in vier groepen:
  - Encoder Losses: Zorgen voor structurele en visuele gelijkenis tussen het originele en het watermerk-voorziene beeld (SSIM, MAE).
  - Watermark Quality Losses: Voorkomen artefacten zoals "blobs" of banden, waarborgen frequentiediversiteit en handhaven de kanaalbalans.
  - Recovery Losses: Maximaliseren de gelijkenis tussen het ingebedde en het herstelde watermerk in zowel het ruimtelijke als het frequentiedomein.
  - Forensic Losses: Optimaliseren de nauwkeurigheid van authenticatie, detectie en lokalisatie (Binary Cross Entropy, IoU Loss).
Dynamische Schaling:
Het framework introduceert een watermerk schalingsfactor ( $wm\_scale$ ). Deze parameter stelt gebruikers in staat om tijdens de testfase dynamisch de afweging te balanceren tussen onzichtbaarheid en forensische kracht. Twee modellen werden getraind met $wm\_scale$ -waarden van 0,10 en 0,05 om deze flexibiliteit te evalueren.

Belangrijkste Bijdragen

Verenigd Framework: Het paper presenteert een verenigde pipeline die authenticatie, detectie en lokalisatie uitvoert met één enkele neurale architectuur, waarbij wordt afgestapt van black-box lokalisatiemethoden die niet expliciet vertrouwen op watermerkintegriteit.
TransUNet Integratie: De toepassing van TransUNet voor zowel het embedden als het herstellen van het watermerk benut de globale context om robuuste, beeld-specifieke signatures te creëren.
Gecontroleerde Trainingsomgeving: Door expliciet benigne ruis en pre-watermarking manipulaties te modelleren, vermijdt het systeem het leren van foutieve correlaties en focust het strikt op post-embedding manipulatie.
Aanpasbare Afweging: Het framework biedt een mechanisme waarmee gebruikers de balans tussen visuele kwaliteit (PSNR/SSIM) en forensische prestaties (Nauwkeurigheid/IoU) kunnen afstemmen op basis van specifieke applicatie-eisen.

Resultaten
Experimentele resultaten werden geëvalueerd op een dataset afgeleid van MSCOCO en OpenImageV7, verdeeld in trainingssets (2100), validatiesets (300) en testsets (600).

Prestaties: De voorgestelde pipeline behaalde een hoge authenticatie- en detectienauwkeurigheid (> 0,95) en een precieze lokalisatie op pixelniveau met een IoU > 0,85 bij het gebruik van optimale schalingsfactoren.
Robuustheid: Het systeem bleef robuust tegen benigne transformaties (compressie, schaling) terwijl het succesvol fragmenteerde onder kwaadwillige bewerkingen.
Schalingsafweging:
- Naarmate de test-tijd $wm\_scale$ toenam, verbeterde de forensische prestatie (Nauwkeurigheid, IoU, F1-score), maar verslechterden de transparantiemetrieken (PSNR, SSIM).
- Het model getraind met een lagere initiële $wm\_scale$ (0,05) bereikte maximale forensische effectiviteit bij lagere test-schalen, wat een meer geoptimaliseerde balans biedt tussen veiligheid en onzichtbaarheid vergeleken met het 0,10 model.
- Bij $wm\_scale = 0$ (geen watermerk) daalde de forensische prestatie significant, wat bevestigt dat de detectie- en lokalisatiecapaciteiten afhankelijk zijn van het watermerk en niet van blinde beeldartefacten.

Betekenis en Claims
De auteurs beweren dat dit framework een betrouwbare oplossing biedt voor actieve beeldforensica die de inherente tegenstelling tussen transparantie en robuustheid aanpakt. Door gebruikers toe te staan de watermerk schalingsfactor af te stemmen, kan het systeem worden aangepast aan specifieke toepassingsbehoeften—variërend van omgevingen met hoge beveiliging die maximale detectie vereisen (en lichte visuele degradatie accepteren) tot scenario's waarbij visuele getrouwheid essentieel is. De studie concludeert dat de integratie van TransUNet met gespecialiseerde verliesfuncties en een dual-module trainingsstrategie effectief een precieze, pixel-niveau lokalisatie van kwaadwillige bewerkingen mogelijk maakt, terwijl de veerkracht van het watermerk tegen standaard beeldverwerking behouden blijft.

Meer zoals dit