SPFM-Net: Semantic-Prior-Guided Frequency-Constrained Mamba for Invisible Watermark Attack

Technische Samenvatting: SPFM-Net

Probleemstelling
Bestaande aanvallen op onzichtbare watermerken kampen met een kritieke afweging tussen de effectiviteit van verwijdering en de visuele getrouwheid. Traditionele methoden, variërend van signaalverwerkingsoperaties tot lokaal beperkte deep learning-netwerken (bijv. CNN's), hebben moeite om de langetermijnafhankelijkheden van globaal verdeelde watermerksignalen te vangen. Deze benaderingen behandelen watermerkverwijdering vaak als een lokale perturbatie of een pixelniveau-reconstructietaken, wat faalt in het onderscheiden van watermerkgerelateerde signalen en gereconstrueerde beelddetails. Bijgevolg leiden sterkere aanvallen die watermerken effectief verwijderen vaak tot degradatie van de beeldkwaliteit door textuurverlies en artefacten, terwijl zwakkere aanvallen de getrouwheid behouden maar watermerken detecteerbaar laten. Bovendien missen huidige architecturen voldoende semantische sturing om watermerkkenmerken te scheiden van natuurlijke beeldinhoud en worden ze beperkt door beperkte receptieve velden.

Methodologie: SPFM-Net
De auteurs stellen SPFM-Net voor (Semantic-Prior-Guided Frequency-Constrained Mamba), een framework dat de aanval op onzichtbare watermerken herformuleert als een semantisch gestuurde beeldreconstructieproblematiek in plaats van directe perturbatiesuppressie. De architectuur werkt via de volgende pipeline:

1. High-Ratio Masking en Extractie van Semantische Priors:

   • Het ingevoerde watermerk-beeld wordt verdeeld in niet-overlappende patches en onderworpen aan een high-ratio random masking strategie (90% masking ratio). Dit verstoort de ruimtelijke coherentie en gezamenlijke distributie van watermerksignalen, waardoor het netwerk wordt voorkomen dat het vertrouwt op lokale denoising-shortcuts.
   • Een gedeeltelijk bevroren Masked Autoencoder (MAE) dient als de semantische ruggengraat. De encoder is voorgetraind op grootschalige natuurlijke scènes. Tijdens de fine-tuning blijft de eerste 21 Transformer-blokken bevroren om macro-niveau semantische priors te behouden, terwijl alleen de laatste drie blokken en normalisatielagen worden bijgewerkt om zich aan te passen aan subtiele watermerkresiduen. Dit dwingt het model om de intrinsieke beeldinhoud te reconstrueren op basis van globale context in plaats van oppervlakkige lokale details.

2. Multi-scale Residual Frequency Feature Interaction (MRFFI):

   • Deze module aggregeert watermerkgerelateerde residuele kenmerken over meerdere receptieve velden. Het maakt gebruik van drie parallelle convolutionele takken met verschillende strides ($s \in \{1, 2, 4\}$) om kenmerken te vangen van lokale texturen, intermediaire structuren en globale semantiek.
   • De kenmerken worden geconcateneerd en verwerkt via een $1 \times 1$ convolutie. Een channel attention mechanisme genereert een adaptieve gewichtskaart om responsen uit watermerk-irrelevante regio's te onderdrukken terwijl responsen in watermerk-gerelateerde gebieden worden versterkt.

3. Mamba-gebaseerde Global State-space Feature Modeling (GSFM):

   • Om de beperking van lokale receptieve velden aan te pakken, modelleert een lichtgewicht Mamba-gebaseerde unit de langetermijnafhankelijkheden van globaal verdeelde watermerksignalen.
   • Het maakt gebruik van gecascadeerde dual-residual sequence modeling blokken met 1D depthwise separable convoluties en feed-forward netwerken. Deze unit scheidt watermerkgerelateerde kenmerken van natuurlijke beeldinhoud en onderdrukt resterende sporen door de globale sequentie te scannen.

4. Decoder en Multi-level Optimalisatie:

   • Een lichtgewicht decoder reconstrueert het watermerkvrije beeld met behulp van transposed convoluties en cross-level skip-verbindingen om hoogfrequente details van ondiepe encoderlagen te behouden.
   • Het netwerk wordt geoptimaliseerd met een gezamenlijke verliesfunctie bestaande uit drie componenten:
     • Pixel Verlies ($L_{pixel}$): $L_1$ norm voor ruimtelijke tonale consistentie.
     • Frequentie Verlies ($L_{fft}$): $L_1$ norm op 2D Fast Fourier Transform (FFT) magnituden om abnormale watermerk-geïnduceerde frequentievariaties te onderdrukken.
     • Edge Verlies ($L_{edge}$): $L_1$ norm op Sobel-gradiënten om structurele grenzen te behouden en artefacten te verminderen.

Belangrijkste Bijdragen

1. Framework Herformulering: Het artikel introduceert SPFM-Net, dat het paradigma verschuift van directe perturbatiesuppressie naar semantisch gestuurde beeldreconstructie, waarbij gebruik wordt gemaakt van high-ratio masking om de coherentie van het watermerksignaal te verbreken.
2. Semantische Prior-gestuurde Frequentiemodellering: Door een gedeeltelijk bevroren MAE te combineren met de MRFFI-module, scheidt de methode effectief watermerkkenmerken van natuurlijke inhoud, waarbij multi-scale frequentieverschillen worden gevangen om watermerken te onderdrukken met verminderde visuele verstoring.
3. Modellering van Langetermijnafhankelijkheden: Het ontwerp van de Mamba-gebaseerde GSFM-module maakt het mogelijk om de langetermijnafhankelijkheden van ruimtelijk verdeelde watermerkpaternen te vangen, waarmee de beperkingen van de receptieve velden van traditionele CNN's worden aangepakt.
4. Zero-Shot Generalisatie: De aanpak demonstreert het vermogen om zero-shot verwijdering uit te voeren op ongeziene diepe watermerken zonder doelgerichte fine-tuning, wat de haalbaarheid van semantisch gestuurde reconstructie valideert.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op ruimtelijke domein, transformatie-domein, orthogonale moment-gebaseerde en deep learning-gebaseerde watermerkschema's (inclusief HiDDeN, Stable Signature en Yu).

• Aanvals-effectiviteit: SPFM-Net behaalde Bit Error Rates (BER) van 0,48 voor Stable Signature en 0,55 voor HiDDeN, wat dicht bij het niveau van willekeurige binaire gokken (0,5) ligt. Dit duidt op een bijna volledige verstoring van het extractieproces van het watermerk.
• Visuele Getrouwheid: De methode behield een hoge perceptuele kwaliteit, met een score van 42,76 dB PSNR en 0,99 SSIM op de Stable Signature dataset, waarmee het baselines zoals UnMarker (18,23 dB PSNR) en DiffusionAttack aanzienlijk overtreft.
• Generalisatie: Ondanks dat het alleen is getraind op traditionele watermerken (LSB, DCT, QPHFMs), slaagde SPFM-Net erin om geavanceerde generatieve diepe watermerken te verstoren, wat bevestigt dat de semantische prior het model dwingt om ingebedde watermerken te behandelen als hoogfrequente anomalieën, ongeacht hun generatiemechanisme.
• Ablatie-studies: De resultaten bevestigden dat de progressieve integratie van de MRFFI- en GSFM-modules de BER significant verhoogde, terwijl de multi-level joint loss (pixel, frequentie en edge) cruciaal was voor het behoud van een hoge PSNR en het voorkomen van perceptuele degradatie.

Betekenis en Claims
Het artikel claimt dat SPFM-Net een gunstige afweging biedt tussen de effectiviteit van de watermerk aanval en de perceptuele getrouwheid, waarbij het bestaande state-of-the-art methoden overtreft. Door semantische priors te gebruiken om het reconstructieproces te sturen en frequentiebeperkingen om structurele integriteit af te dwingen, biedt de methode een nieuw "semantisch ontkoppelingsperspectief" voor digitale watermerk-aanvallen. De auteurs positioneren dit werk als een stap naar het evalueren van de beveiligingsgrenzen van bestaande watermerkmethoden, met name tegen de snelle iteratie van generatieve watermerking en adversariële steganografie. De aanpak wordt gepresenteerd als een praktische compromis die prioriteit geeft aan hoge visuele kwaliteit terwijl robuuste verwijdering wordt bereikt, waardoor het geschikt is voor realistische scenario's voor beveiligingsevaluatie.