Visual Context-Aware and Spatial Receptive Field-Based algorithm for mural inpainting

Riepilogo Tecnico: Algoritmo VCSR per l'Inpainting di Murales Basato sul Contesto Visivo e sul Campo Recettivo Spaziale

Problematica
Il restauro dei murales di Dunhuang affronta sfide significative a causa dei peculiari modelli di degradazione di questi reperti culturali, tra cui crepe, distacchi e perdita di pigmento. Sebbene il restauro digitale delle immagini offra un'alternativa non invasiva alla riparazione fisica, i metodi esistenti di deep learning incontrano limitazioni specifiche in questo dominio. Le Reti Generative Avversarie (GAN) spesso non riescono a riprodurre accuratamente gli elementi storici e possono introdurre rumore o distorsioni strutturali. Le Reti Neurali Convoluzionali (CNN) sono limitate dai vincoli del campo recettivo, rendendo difficile la modellazione delle dipendenze a lungo raggio richieste per i complessi pattern dei murales. Al contrario, i modelli basati su Transformer, pur essendo efficaci nella correlazione globale, soffrono spesso di "artefatti a blocchi" (blocky artifacts) a causa di uno scambio di informazioni insufficiente tra le finestre e di elevati costi computazionali. Inoltre, i Modelli a Spazio di Stato (SSM) come Mamba, sebbene efficienti per sequenze lunghe, si affidano tipicamente a strategie di scansione causale che appiattiscono le immagini 2D in sequenze 1D. Questo processo causa la "dimenticanza dei pixel locali" (local pixel forgetting), dove pixel spaziali adiacenti vengono separati nella sequenza, portando alla perdita di informazioni di vicinato e a una percezione spaziale insufficiente.

Metodologia
Gli autori propongono l'algoritmo Visual Context-Aware and Spatial Receptive Field-Based (VCSR), costruito su un'architettura U-Net con una struttura encoder-decoder. Il metodo affronta le limitazioni sopra menzionate attraverso tre innovazioni primarie:

1. Residual State-Space Block (RSSB):

   • Attentive State-Space Module (ASSM): Per superare i limiti causali degli SSM standard, l'ASSM integra Vettori di Prompt nelle equazioni dello spazio di stato. Questi vettori agiscono come segnali semantici, permettendo al modello di "interrogare" pixel globalmente simili invece di fare affidamento esclusivamente sull'ordine sequenziale dell'immagine appiattita. Ciò consente al modello di liberarsi dagli ordini di scansione tradizionali e raggiungere la consapevolezza globale.
   • Compensazione Locale: Riconoscendo che l'appiattimento delle caratteristiche 2D in sequenze 1D interrompe le relazioni spaziali locali, l'RSSB incorpora convoluzioni locali dopo l'ASSM per ripristinare la similarità di vicinato e raffinare i dettagli locali.
   • Attenzione ai Canali (Channel Attention): Un meccanismo di attenzione ai canali è integrato per identificare e potenziare le rappresentazioni chiave dei canali, mitigando la ridondanza dei canali spesso presente negli SSM.

2. Multi-Scale Deformable Sliding Window Attention (MSDA):

   • Situato nel decoder, questo modulo estende la tradizionale attenzione a finestra scorrevole introducendo offset deformabili. Questi offset regolano dinamicamente la posizione e la forma della finestra di attenzione, permettendo al modello di concentrarsi su regioni chiave oltre le finestre locali fisse.
   • Il modulo opera su più scale con diverse dimensioni di kernel per differenti teste di attenzione, facilitando la cattura di caratteristiche gerarchiche da grossolane a fini. Ciò migliora la rappresentazione di pattern spaziali irregolari comuni nei murales.

3. Spatially Perceptive Feedforward Network (SPFN):

   • Per rafforzare ulteriormente la consapevolezza spaziale, l'SPFN estrae informazioni spaziali sia dall'input che dall'output del modulo MSDA.
   • Utilizza un meccanismo di gating per integrare queste informazioni spaziali nel flusso principale delle caratteristiche. Generando un indicatore di percezione spaziale, l'SPFN guida la rete a preservare meglio le informazioni posizionali e le dipendenze a lungo raggio, garantendo che la ricostruzione dei dettagli locali sia allineata con la coerenza strutturale globale.

Contributi Chiave
Il documento delinea tre contributi principali:

1. La progettazione dell'RSSB, che combina un modulo di Spazio di Stato Attentivo con vettori di prompt per ottenere la consapevolezza semantica globale e convoluzioni locali per compensare la perdita di informazioni spaziali, affrontando efficacemente la dimenticanza dei pixel locali.
2. La proposta del modulo MSDA, che utilizza offset deformabili e l'elaborazione multi-scala per espandere adattivamente il campo recettivo, migliorando l'estrazione delle caratteristiche attraverso diversi range spaziali e riducendo gli artefatti a blocchi.
3. L'introduzione dell'SPFN, che migliora le dipendenze spaziali e la consapevolezza posizionale attraverso un meccanismo di gating, migliorando la qualità della ricostruzione dei dettagli locali.

Risultati Sperimentali
L'algoritmo VCSR è stato valutato sul dataset della Dunhuang Mural Challenge (2.850 immagini), che copre varie severità di danno (mascheramento dall'1% al 40%) e maschere di polvere casuali. Il metodo è stato confrontato con modelli allo stato dell'arte tra cui MISF, PUT, HINT, ECDB, SEM e MXT.

• Performance Quantitative: VCSR ha ottenuto risultati superiori in tutti i rapporti di mascheramento. I miglioramenti includono:
  • PSNR: Aumentato dallo 0,18% allo 0,94% rispetto al miglior baseline.
  • SSIM: Aumentato dall'1,17% al 2,98%.
  • Errore L1: Ridotto dal 16,5% al 35,92%.
  • LPIPS: Diminuito dal 6,53% al 14,31%, indicando guadagni significativi nella qualità percettiva.
• Analisi Qualitativa: I confronti visivi hanno dimostrato che VCSR produce transizioni più fluide, preserva meglio i dettagli dei bordi (ad es., tratti del viso, gioielli e texture delle fiamme) ed evita i disallineamenti strutturali e l'effetto sfocato osservati nei metodi concorrenti.
• Studi di Ablazione: Gli esperimenti hanno confermato che ogni modulo (RSSB, MSDA, SPFN) contribuisce positivamente alle prestazioni, con l'integrazione completa che produce i migliori risultati sia in termini di metriche che di fedeltà visiva.

Significatività e Rivendicazioni
Il documento afferma che l'algoritmo VCSR fornisce una soluzione robusta per il restauro digitale del patrimonio culturale, affrontando specificamente le doppie sfide della dimenticanza dei pixel locali e dell'insufficienza della percezione spaziale. Modellando efficacemente le dipendenze globali e preservando al contempo la coerenza spaziale locale, il metodo offre un miglioramento significativo nel realismo e nell'integrità strutturale dei murales restaurati. Gli autori osservano che, sebbene l'algoritmo eccella nelle metriche di restauro tecnico, il lavoro futuro dovrebbe concentrarsi sull'integrazione di specifici stili artistici e contesti storico-culturali per migliorare ulteriormente la fedeltà culturale e l'autenticità artistica del processo di restauro. Il lavoro mira a supportare la preservazione non a contatto, ripetibile ed economica degli inestimabili record storici delle Grotte di Mogao.