💻 computer science

SPFM-Net: Semantic-Prior-Guided Frequency-Constrained Mamba for Invisible Watermark Attack

Questo articolo propone SPFM-Net, un framework Mamba guidato da prior semantici e vincolato dalla frequenza che attacca efficacemente i watermark invisibili combinando il masking ad alto rapporto, un Masked Autoencoder perfezionato e un'unità di modellazione dello stato globale per ottenere un compromesso superiore tra efficacia della rimozione e fedeltà visiva.

Autori originali: Chunpeng Wang, Yanan Shi, Zhiqiu Xia, Jidong Yang, Suo Gao, Qi Li

Pubblicato 2026-07-31

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Chunpeng Wang, Yanan Shi, Zhiqiu Xia, Jidong Yang, Suo Gao, Qi Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate Internet come una gigantesca e frenetica biblioteca dove tutti condividono costantemente foto. Per proteggere il proprio lavoro, gli artisti e le aziende spesso nascondono "filigrane invisibili" all'interno delle loro immagini. Pensate a queste filigrane non come a un timbro visibile, ma come a un piccolo, invisibile sussurro di codice intrecciato nel tessuto stesso dell'immagine. È un'impronta digitale che dice: "Questo appartiene a me!" senza cambiare l'aspetto dell'immagine all'occhio umano.

Tuttavia, proprio come una biblioteca deve sapere se un libro viene rubato, i ricercatori devono testare se queste filigrane sono abbastanza forti da sopravvivere. È qui che entrano in gioco gli "attacchi alle filigrane". Invece di cercare di rubare l'immagine, questi attacchi cercano di mettere a tacere il sussurro invisibile. L'obiettivo è cancellare il codice segreto dalla foto senza rovinare l'immagine stessa. È un delicato equilibrio: se si pulisce troppo forte, si cancella la filigrana ma si trasforma la foto in un pasticcio sfocato; se si pulisce troppo delicatamente, la filigrana rimane nascosta e la foto rimane intatta. Per anni, gli scienziati hanno lottato per trovare l' "erasore" perfetto capace di rimuovere il messaggio segreto mantenendo l'immagine nitida e reale.

Entra in scena SPFM-Net, un nuovo strumento digitale progettato per risolvere questo complicato enigma. I ricercatori dietro questo progetto si sono resi conto che i tentativi precedenti di rimuovere le filigrane erano come cercare di riparare un orologio rotto guardando solo un ingranaggio alla volta. Si concentravano troppo sui piccoli dettagli locali e perdevano di vista il quadro generale. SPFM-Net cambia le regole del gioco trattando la foto come un gigantesco puzzle in cui mancano alcuni pezzi.

Ecco come funziona, passo dopo passo:

1. La strategia della "Benda"
Per prima cosa, SPFM-Net prende l'immagine con la filigrana e la copre con una benda digitale che ne occulta il 90%. Nasconde casualmente la maggior parte dell'immagine, lasciando visibili solo alcune chiazze sparse. Questo potrebbe sembrare controintuitivo: perché nascondere la maggior parte dell'immagine? Il trucco è che le filigrane invisibili spesso si affidano a un modello continuo per nascondersi. Rompendo l'immagine in minuscoli pezzi disconnessi, la rete si costringe a smettere di guardare il "sussurro" della filigrana e a iniziare a concentrarsi sulla "voce" dell'immagine reale. È come cercare di indovinare la trama di un film vedendo solo alcuni fotogrammi casuali; il tuo cervello deve fare affidamento sulla storia (il significato semantico) piuttosto che sui dettagli specifici dei volti degli attori.

2. Il motore del "Indovinare Intelligente"
Successivamente, il sistema utilizza un "cervello" pre-addestrato (chiamato Masked Autoencoder) che ha già imparato come appaano le immagini naturali e reali. Poiché la rete ha visto milioni di foto in precedenza, sa che un cielo dovrebbe essere blu e un volto dovrebbe avere due occhi. Quando vede le poche chiazze rimanenti dell'immagine con la filigrana, usa questa conoscenza per "allucinare" o ricostruire le parti mancanti. Fondamentalmente, ricostruisce l'immagine naturale, ignorando efficacementamente i modelli artificiali e strani della filigrana. È come un grande chef che, ricevuta una piccola quantità di ingredienti, può ricreare un intero piatto senza aggiungere accidentalmente la spezia segreta che il nemico ha cercato di nascondere.

3. Il "Detective delle Frequenze"
Una volta che l'immagine è stata grossolanamente ricostruita, SPFM-Net diventa ancora più specifico. Possiede un modulo speciale chiamato MRFFI che agisce come un detective delle frequenze. Esamina l'immagine a diversi "livelli di zoom" (dalle minuscole texture alle grandi forme) per trovare i resti della filigrana. Poiché le filigrane spesso si nascondono in specifici schemi di frequenza (come una nota musicale specifica), questo modulo caccia quelle note e le mette a tacere, lasciando però intatta la restante musica (i dettagli dell'immagine).

4. Lo scanner a "Lunga Distanza"
Infine, il sistema utilizza un componente all'avanguardia chiamato Mamba (parte del modulo GSFM). Pensate a questo come a uno scanner che può guardare l'intera immagine in una sola volta, da un angolo all'altro. Le filigrane sono spesso distribuite su tutta la foto, come una rete. Gli strumenti più vecchi potevano guardare solo piccoli quartieri, perdendo di vista la grande rete. Mamba connette i punti attraverso l'intera immagine, assicurando che anche i segnali di filigrana più deboli e distanti vengano catturati e rimossi.

I Risultati
I ricercatori hanno testato SPFM-Net contro una varietà di moderni trucchi di filigranatura, inclusi alcuni che utilizzano l'intelligenza artificiale avanzata per nascondere il codice. I risultati sono stati impressionanti. In molti casi, il sistema è riuscito a confondere la filigrana così profondamente da renderla impossibile da leggere (raggiungendo un "Bit Error Rate" vicino a 0,5, che è essenzialmente un indovinare casuale).

Ma la vera magia risiede nella qualità delle foto. Mentre altri metodi spesso trasformavano le immagini in incubi sfocati e pixelati, SPFM-Net ha mantenuto le immagini nitide e naturali. Nei test, ha raggiunto un PSNR (un punteggio per la qualità dell'immagine) fino a 42,76 per certi tipi di filigrana, che è significativamente più alto rispetto ai metodi precedenti. È riuscito a distruggere la filigrana mantenendo al contempo una fedeltà visiva tale che l'occhio umano quasi non nota la differenza.

Cosa non fa
È importante notare che SPFM-Net non è una bacchetta magica che funziona perfettamente su ogni singolo tipo di filigrana in ogni situazione. Per alcune filigrane specifiche e semplici, profondamente legate alla texture dell'immagine, il sistema è stato leggermente meno aggressivo per evitare di rovinare l'immagine. In questi casi, ha scelto di mantenere l'immagine perfetta piuttosto che rischiare che rimanesse un piccolo frammento di filigrana. Gli autori suggeriscono che questo compromesso sia in realtà una caratteristica, non un difetto, perché nel mondo reale, preservare la qualità visiva della foto è spesso importante quanto rimuovere la filigrana.

In breve, SPFM-Net suggerisce che trattando la rimozione della filigrana come un problema di "ricostruzione" — ovvero ricostruire l'immagine naturale da zero invece di cercare solo di cancellare le parti cattive — possiamo mettere a tacere i sussurri invisibili senza rompere la canzone. È un modo intelligente e nuovo di guardare a un vecchio problema, dimostrando che a volte, per vedere la verità, bisogna ignorare la maggior parte di ciò che si ha proprio davanti agli occhi.

Sintesi Tecnica: SPFM-Net

Definizione del Problema
Gli attacchi ai watermark invisibili esistenti affrontano un critico compromesso tra l'efficacia della rimozione e la fedeltà visiva. I metodi tradizionali, che spaziano dalle operazioni di elaborazione del segnale alle reti di deep learning localmente vincolate (ad esempio, le CNN), faticano a catturare le dipendenze a lungo raggio dei segnali di watermark distribuiti globalmente. Questi approcci trattano spesso la rimozione del watermark come una perturbazione locale o un compito di restauro a livello di pixel, il che non riesce a distinguere tra i segoli relativi al watermark e i dettagli ricostruiti dell'immagine. Di conseguenza, attacchi più forti che rimuovono efficacemente i watermark degradano la qualità dell'immagine attraverso la perdita di texture e artefatti, mentre attacchi più deboli preservano la fedeltà ma lasciano i watermark recuperabili. Inoltre, le attuali architetture mancano di una sufficiente guida semantica per separare le caratteristiche del watermark dal contenuto naturale dell'immagine e sono limitate da campi recettivi ridotti.

Metodologia: SPFM-Net
Gli autori propongono SPFM-Net (Semantic-Prior-Guided Frequency-Constrained Mamba), un framework che riformula l'attacco al watermark invisibile come un problema di restauro d'immagine guidato dalla semantica piuttosto che come una diretta soppressione della perturbazione. L'architettura opera attraverso la seguente pipeline:

Mascheramento ad Alto Rapporto ed Estrazione del Prior Semantico:
- L'immagine con watermark in input viene divisa in patch non sovrapposte e sottoposta a una strategia di mascheramento casuale ad alto rapporto (rapporto di mascheramento del 90%). Questo interrompe la coerenza spaziale e la distribuzione congiunta dei segnali del watermark, impedendo alla rete di fare affidamento su scorciatoie di denoising locale.
- Un Masked Autoencoder (MAE parzialmente sbloccato) funge da backbone semantico. L'encoder è pre-addestrato su scene naturali su larga scala. Durante il fine-tuning, i primi 21 blocchi Transformer rimangono congelati per preservare i prior semantici a livello macro, mentre solo gli ultimi tre blocchi e i livelli di normalizzazione vengono aggiornati per adattarsi ai sottili residui del watermark. Ciò costringe il modello a ricostruire il contenuto intrinseco dell'immagine basandosi sul contesto globale piuttosto che su dettagli locali superficiali.
Interazione delle Caratteristiche di Frequenza Residua Multi-scala (MRFFI):
- Questo modulo aggrega le caratteristiche residue relative al watermark attraverso molteplici campi recettivi. Utilizza tre rami convoluzionali paralleli con stride distinti ( $s \in \{1, 2, 4\}$ ) per catturare caratteristiche da texture locali, strutture intermedie e semantica globale.
- Le caratteristiche vengono concatenate e processate tramite una convoluzione $1 \times 1$ . Un meccanismo di attenzione dei canali genera una mappa di pesi adattiva per sopprimere le risposte nelle regioni irrilevanti per il watermark, potenziando al contempo le risposte nelle aree correlate al watermark.
Modellazione delle Caratteristiche dello Spazio degli Stati Globale basata su Mamba (GSFM):
- Per affrontare il limite dei campi recettivi locali, un'unità leggera basata su Mamba modella le dipendenze a lungo raggio dei segnali di watermark distribuiti globalmente.
- Utilizza blocchi di modellazione di sequenza a doppio residuo a cascata con convoluzioni depthwise separable 1D e reti feed-forward. Questa unità separa le caratteristiche relative al watermark dal contenuto naturale dell'immagine e sopprime i resti rimanenti scansionando la sequenza globale.
Decoder e Ottimizzazione Multi-livello:
- Un decoder leggero ricostruisce l'immagine priva di watermark utilizzando convoluzioni trasposte e connessioni skip cross-level per preservare i dettagli ad alta frequenza dagli strati shallow dell'encoder.
- La rete è ottimizzata utilizzando una funzione di perdita congiunta composta da tre componenti:
  - Perdita di Pixel ( $L_{pixel}$ ): norma $L_1$ per la coerenza tonale spaziale.
  - Perdita di Frequenza ( $L_{fft}$ ): norma $L_1$ sulle magnitudo della Trasformata Rapida di Fourier (FFT) 2D per sopprimere le variazioni di frequenza anomale indotte dal watermark.
  - Perdita di Bordo ( $L_{edge}$ ): norma $L_1$ sui gradienti Sobel per preservare i confini strutturali e ridurre gli artefatti.

Contributi Chiave

Riformulazione del Framework: Il documento introduce SPFM-Net, che sposta il paradigma dalla diretta soppressione della perturbazione al restauro d'immagine guidato dalla semantica, sfruttando il mascheramento ad alto rapporto per recidere la coerenza del segnale del watermark.
Modellazione della Frequenza Guidata dal Prior Semantico: Combinando un MAE parzialmente congelato con il modulo MRFFI, il metodo separa efficacemente le caratteristiche del watermark dal contenuto naturale, catturando le discrepanze di frequenza multi-scala per sopprimere i watermark con una distorsione visiva ridotta.
Modellazione delle Dipendenze a Lungo Raggio: Il design del modulo GSFM basato su Mamba consente di catturare le dipendenze a lungo raggio nei pattern di watermark distribuiti spazialmente, affrontando i limiti del campo recettivo delle tradizionali CNN.
Generalizzazione Zero-Shot: L'approccio dimostra la capacità di eseguire la rimozione zero-shot su watermark profondi non visti senza fine-tuning specifico per il target, validando la fattibilità della ricostruzione guidata dalla semantica.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su schemi di watermarking nel dominio spaziale, nel dominio delle trasformate e basati su momenti ortogonali e deep learning (inclusi HiDDeN, Stable Signature e Yu).

Efficacia dell'Attacco: SPFM-Net ha raggiunto Bit Error Rates (BER) di 0,48 per Stable Signature e 0,55 per HiDDeN, avvicinandosi al livello di indovinare casualmente (0,5). Ciò indica una quasi totale interruzione del processo di estrazione del watermark.
Fedeltà Visiva: Il metodo ha mantenuto un'alta qualità percettiva, ottenendo 42,76 dB PSNR e 0,99 SSIM sul dataset Stable Signature, superando significativamente i baseline come UnMarker (18,23 dB PSNR) e DiffusionAttack.
Generalizzazione: Nonostante sia stato addestrato solo su watermark tradizionali (LSB, DCT, QPHFMs), SPFM-Net è riuscito a generalizzare con successo per interrompere i watermark generativi profondi avanzati, confermando che il prior semantico costringe il modello a trattare i watermark incorporati come anomalie ad alta frequenza indipendentemente dal loro meccanismo di generazione.
Studi di Ablazione: I risultati hanno confermato che l'integrazione progressiva dei moduli MRFFI e GSFM ha aumentato significativamente il BER, mentre la perdita congiunta multi-livello (pixel, frequenza e bordo) è stata cruciale per mantenere un alto PSNR e prevenire la degradazione percettiva.

Significatività e Rivendicazioni
Il documento afferma che SPFM-Net offre un favorevole compromesso tra l'efficacia dell'attacco al watermark e la fedeltà percettiva, superando i metodi allo stato dell'arte esistenti. Utilizzando i prior semantici per guidare il processo di restauro e i vincoli di frequenza per imporre l'integrità strutturale, il metodo fornisce una nuova prospettiva di "disaccoppiamento semantico" per gli attacchi ai watermark digitali. Gli autori pongono questo lavoro come un passo verso la valutazione dei confini di sicurezza dei metodi di watermarking esistenti, particolarmente contro l'iterazione rapida del watermarking generativo e della steganografia avversaria. L'approccio è presentato come un compromesso pratico che privilegia l'alta qualità visiva pur ottenendo una rimozione robusta, rendendolo adatto a scenari realistici di valutazione della sicurezza.

Sintesi Tecnica: SPFM-Net

Articoli simili