Synthetic Craquelure Generation for Unsupervised Painting Restoration

1. Il Problema

La conservazione del patrimonio culturale richiede metodi digitali non invasivi per il restauro di dipinti antichi, che spesso presentano craquelure (crepe) dovute all'invecchiamento, alle fluttuazioni ambientali o allo stress meccanico.
Le principali sfide identificate sono:

• Rarità delle annotazioni: La mancanza di dati di addestramento annotati a livello di pixel rende difficile l'uso di approcci di deep learning supervisionati.
• Complessità visiva: Le crepe sono pattern sottili, irregolari e a basso contrasto, difficili da distinguere dalle pennellate originali, dalla texture della pittura e dallo strato di vernice invecchiata.
• Limitazioni dei metodi esistenti: I rilevatori classici richiedono un'attenta regolazione dei parametri e falliscono su superfici complesse; i modelli basati su transformer tendono a "smussare" le strutture sottili, perdendo i dettagli fini delle crepe.

2. Metodologia Proposta

Gli autori propongono un framework completamente privo di annotazioni manuali (unsupervised), che integra rilevamento classico, apprendimento automatico e inpainting. Il processo si articola in tre fasi principali:

A. Rilevamento Iniziale delle Crepe (Fase Classica)

Viene utilizzato un filtro morfologico Top-Hat (trasformata top-hat nera e bianca) per isolare le componenti scure e allungate tipiche delle crepe.

• Segue una filtrazione basata sulle dimensioni per rimuovere il rumore (componenti connesse < 5 pixel).
• Il risultato è una maschera grezza che identifica i candidati crepa, ma include molti falsi positivi (es. pennellate scure).

B. Rifinitura Basata sull'Apprendimento (Fase di Apprendimento)

Per distinguere le vere crepe dalle texture pittoriche, viene introdotto un modulo di raffinamento basato su SegFormer (backbone MiT-B0) adattato tramite LoRA (Low-Rank Adaptation).

• Input Ibrido: Il modello riceve un input a 4 canali: l'immagine RGB originale + la mappa di rilevamento grezza generata nella fase classica. Questa mappa agisce come un "prior" spaziale per guidare l'attenzione del modello.
• Addestramento Sintetico: Il modello è addestrato esclusivamente su un dataset sintetico generato dagli autori (vedi sotto), utilizzando una strategia di Loss Ibrida Maskata (combinazione di Cross-Entropy pesata e Dice Loss) e un aggiustamento dei logit guidato dal rilevatore. Questo permette di focalizzare l'addestramento sulle regioni candidate e correggere i falsi positivi.

C. Inpainting e Restauro

Una volta ottenuta una maschera di crepe raffinata, i pixel danneggiati vengono ricostruiti utilizzando due metodi complementari applicati solo alle aree delle crepe:

1. Filtro a Media Tagliata Modificata (MTM): Un approccio statistico locale che riempie le crepe sottili calcolando la media dei pixel vicini non danneggiati, procedendo dall'esterno verso l'interno.
2. Diffusione Anisotropa (AD): Un metodo basato su equazioni differenziali parziali che diffonde l'intensità lungo le direzioni omogenee (isofote), preservando i bordi e le strutture direzionali. È particolarmente efficace per crepe più ampie.

3. Contributi Chiave

• Framework Unsupervised: Primo sistema in grado di rilevare e restaurare le crepe nei dipinti senza alcuna annotazione manuale pixel-level.
• Generatore di Craquelure Sintetica: Creazione di un dataset sintetico realistico utilizzando curve di Bézier per le traiettorie, geometrie a cono (tapered) per lo spessore e pattern ramificati. Questo permette di addestrare modelli che generalizzano bene su opere reali.
• Architettura Ibrida Classica-Learning: Integrazione stretta tra un rilevatore morfologico interpretabile e un modello di segmentazione neurale. L'uso della mappa del rilevatore come input e la guida dei logit migliorano la localizzazione delle strutture ad alta frequenza che i transformer standard tendono a perdere.
• Pipeline di Restauro Coerente: Un flusso di lavoro unificato che garantisce la preservazione della texture originale della pittura durante il riempimento.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro dipinti reali con crepe annotate manualmente (test set) e confrontato con baseline tradizionali e modelli SOTA di restauro fotografico.

• Performance di Rilevamento: Il metodo proposto supera significativamente l'algoritmo classico "Grassfire" [4]. In termini di F1-score, il metodo proposto raggiunge 61.36 contro il 29.41 della baseline classica.
• Qualità del Restauro: L'uso della Diffusione Anisotropa (AD) si è dimostrato superiore al filtro MTM, ottenendo un SSIM (Structural Similarity Index) di 64.87, contro il 55.71 del modello di inpainting specializzato "Pik-Fix" e il 51.35 del framework "Wan et al.".
• Ablation Study: L'analisi ha dimostrato che la combinazione di LoRA, Loss Maskata e Guida dei Logit è cruciale per la stabilità dell'addestramento su dati sintetici e per la riduzione dei falsi positivi.
• Zero-Shot: Il sistema funziona efficacemente in modalità zero-shot su opere non viste durante l'addestramento, preservando le pennellate originali meglio dei modelli generici.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella conservazione digitale del patrimonio culturale:

• Non invasività: Offre uno strumento completamente digitale che evita il rischio di danni fisici associati al restauro manuale.
• Accessibilità: Rimuove la barriera della necessità di costose annotazioni manuali, rendendo la tecnologia accessibile a musei e istituzioni con risorse limitate.
• Fideltà Estetica: A differenza dei modelli generici che tendono a sfocare i dettagli, questo approccio specifico per il dominio delle arti visive riesce a preservare la texture e le pennellate originali, restituendo un'immagine visivamente coerente e storicamente accurata.

In sintesi, il paper dimostra che l'integrazione di metodi classici di elaborazione delle immagini con tecniche di deep learning adattate su dati sintetici di dominio specifico è la via più promettente per risolvere problemi complessi di restauro dove i dati reali annotati scarseggiano.