SWST-Net: Semantic-aware Wavelet-drivenStructure and Texture Interaction Network forImage Inpainting

Sintesi Tecnica: SWST-Net per l'Inpainting di Immagini

Definizione del Problema
L'inpainting di immagini mira a ricostruire le regioni mancanti in un'immagine preservando la coerenza strutturale, testurale e semantica con il contenuto circostante. Mentre i metodi tradizionali basati su esempi faticano con aree mancanti di grandi dimensioni e sfondi complessi a causa della mancanza di comprensione semantica, gli approcci basati sul deep learning (ad esempio, le GAN) hanno migliorato le prestazioni ma affrontano limiti specifici. Le convoluzioni vanilla spesso causano bordi eccessivamente levigati o artefatti testurali. Inoltre, i metodi esistenti che tentano di modellare congiuntamente struttura e texture spesso soffrono di rappresentazioni intrecciate dove i due tipi di informazione interferiscono tra loro. Al contrario, le strategie in due fasi che generano prima la struttura e poi la texture spesso falliscono perché predire layout strutturali accurati da immagini pesantemente corrotte è intrinsecamente difficile, portando a priori errati che degradano la sintesi testurale finale. La sfida principale rimane il disaccoppiamento efficace delle rappresentazioni di struttura e texture, promuovendo al contempo la loro interazione sotto guida semantica per ottenere una ricostruzione ad alta fedeltà.

Metodologia: SWST-Net
Gli autori propongono la Semantic-aware Wavelet-driven Structure and Texture Interaction Network (SWST-Net). L'architettura è progettata per separare esplicitamente e poi ricostruire in modo collaborativo le informazioni di struttura e texture.

1. Decomposizione nel Dominio delle Frequenze (DWT):
   L'immagine in input viene decomposta utilizzando la Trasformata Wavelet Discreta (DWT) con wavelet di Haar. Questo separa l'immagine in una sottobanda a bassa frequenza (LL), che rappresenta la struttura globale, e sottobande ad alta frequenza (LH, HL, HH), che rappresentano i dettagli testurali fini. Questi componenti vengono inviati a encoder separati.

2. Framework Dual-Encoder e Shared-Decoder:

   • Ramo della Struttura (Structure Branch): Elabora la sottobanda a bassa frequenza. Utilizza un Multi-Scale Enhancement Residual Block (MSEB) contenente moduli di Multi-Scale Attention Enhancement (MSAE) per catturare le caratteristiche strutturali globali.
   • Ramo della Texture (Texture Branch): Elabora le sottobande ad alta frequenza concatenate. Impiega Fast Fourier Convolution Residual Blocks (FFCB) per catturare sia i dettagli locali che le informazioni contestuali a lungo raggio.
   • Decoder Condiviso (Shared Decoder): Ricostruisce l'immagine finale dalle feature fuse utilizzando una trasformata wavelet inversa (IDWT) e l'upsampling.

3. Modulo di Allineamento Guidato dalla Semantica (SGAM):
   Per garantire la coerenza semantica tra i due rami, la rete integra prior semantici di alto livello estratti da un Masked Autoencoder (MAE) pre-addestrato. Attraverso un meccanismo di cross-attention, queste feature semantiche vengono allineate con le feature di struttura e texture negli encoder, guidando il processo di inpainting per mantenere la coerenza semantica.

4. Modulo di Fusione delle Feature Bi-direzionale Cross-Domain (BCFFM):
   Situato al bottleneck di entrambi i rami, questo modulo facilita l'interazione tra i flussi di struttura e texture. Ispirato alla de-normalizzazione spazialmente adattiva, apprende parametri affini dinamici per modulare i livelli di normalizzazione delle istanze. Ciò consente alle feature della texture di raffinare le feature della struttura e viceversa, consentendo un'integrazione dinamica senza perdere le informazioni specifiche del dominio.

5. Obiettivo di Addestramento:
   Il modello è addestrato utilizzando una funzione di perdita multi-task composta da perdita L1 (sulle regioni non mascherate), perdita avversaria (utilizzando WGAN-GP), perdita di matching delle feature e una perdita percettiva High Receptive Field (HRF) basata su una ResNet-50 con convoluzioni dilatate.

Contributi Chiave

1. Architettura Disaccoppiata: Il paper introduce un framework a due rami che utilizza le trasformate wavelet per disaccoppiare esplicitamente struttura e texture, affrontando i problemi di interferenza riscontrati nei modelli a generatore condiviso.
2. Integrazione Semantica: L'SGAM inietta efficacementamente i prior semantici di alto livello da un MAE pre-addestrato nel processo a due rami, garantendo la coerenza semantica senza fare affidamento su potenziali predizioni strutturali errate da input corrotti.
3. Interazione Cross-Domain: Il BCFFM è progettato per consentire una guida efficace e bi-direzionale tra i rami di struttura e texture, migliorando l'ottimizzazione collaborativa.
4. Prestazioni: Il metodo raggiunge risultati allo stato dell'arte sui benchmark standard, bilanciando l'efficienza computazionale con la qualità della ricostruzione.

Risultati Sperimentali
Gli autori hanno valutato SWST-Net su tre dataset: Paris StreetView, CelebA-HQ e Places.

• Prestazioni Quantitative: Il metodo supera costantemente gli approcci recenti allo stato dell'arte (inclusi CTSDG, WSA-GAN, W-Net, CoordFill, HINT e SEM-Net) attraverso vari rapporti di masking (10%–50%). Ottiene punteggi superiori nelle metriche a livello di pixel (PSNR, SSIM) e nelle metriche percettive (FID, LPIPS). Notevolmente, sul dataset Places, ha ottenuto il FID più basso (10.891) e punteggi di qualità no-reference competitivi (NIQE e BRISQUE).
• Prestazioni Qualitative: I confronti visivi dimostrano che SWST-Net produce linee strutturali più nitide (ad esempio, pareti di mattoni, cornici di finestre) e texture più realistiche (ad esempio, dettagli del viso, filamenti di piante) rispetto ai competitor, che spesso mostrano sfocatura, distorsione o transizioni di colore.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità di ogni componente. Rimuovere la DWT (w/o DWT) o la guida MAE (w/o MAE) ha portato a cali significativi delle prestazioni. Allo stesso modo, sostituire il BCFFM con una semplice concatenazione o rimuovere l'MSEB ha causato un degrado della coerenza strutturale e della fedeltà della texture.
• Efficienza: Con 113 milioni di parametri e un tempo di inferenza di 70ms per immagine, SWST-Net offre un rapporto favorevole tra costo computazionale e prestazioni, essendo significativamente più veloce di HINT e SEM-Net pur fornendo una qualità superiore rispetto a CTSDG e WSA-GAN.

Significatività e Limitazioni
Il paper sostiene che SWST-Net offra una soluzione promettente per l'inpainting di immagini di alta qualità risolvendo con successo il dilemma "uovo e gallina" della dipendenza struttura-texture attraverso il disaccoppiamento guidato dalle wavelet e la guida semantica. Il metodo preserva efficacementmente sia l'integritzza strutturale che i dettagli della texture.

Tuttavia, gli autori riconoscono con modestia alcune limitazioni. Il modello fatica ancora con regioni mancanti molto ampie dove le informazioni contestuali sono insufficienti per vincolare la generazione, portando a contenuti levigati ma potenzialmente inaccurati. Inoltre, il modello fallisce nella ricostruzione di elementi semantici specifici come testo o loghi che richiedono conoscenze non presenti nel contesto circostante o nei prior semantici pre-addestrati. Queste aree sono identificate come direzioni per il lavoro futuro.