💻 computer science

Ancient Painting Garment Inpainting via Garment Structure Guidance and Garment Region-Reweighted Flow Matching

Questo articolo propone un framework a due stadi che combina la guida Fashion LoRA e il Garment Region-Reweighted Flow Matching per affrontare il degrado strutturale e materico dei capi d'abbigliamento nei dipinti antichi, migliorando significativamente la qualità del restauro e fornendo candidati digitali verificabili e con vincoli strutturali per la preservazione del patrimonio culturale.

Autori originali: Jinjing Yu, Juan Chai, Xiyue Zhang, Rong Fu, Kaixuan Liu

Pubblicato 2026-08-13

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jinjing Yu, Juan Chai, Xiyue Zhang, Rong Fu, Kaixuan Liu

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate di essere un detective che cerca di risolvere un mistero, ma l'unico indizio in vostro possesso è una fotografia strappata e sbiadita di cent'anni fa. Questa è la realtà quotidiana per i restauratori di opere d'arte antiche. Nel corso dei secoli, la carta o la seta su cui sono dipinti questi capolavori possono diventare fragili, l'inchiostro può sbiadire e le linee delicate che definiscono l'abbigliamento di una persona — come le pieghe di una veste o la curva di una manica — possono scomparire completamente. L'obiettivo non è solo dipingere sopra i buchi; si tratta di capire come avrebbero dovuto essere le linee mancanti senza inventare una falsa storia.

Per farlo, gli scienziati utilizzano quella che viene chiamata "inpainting tramite IA". Pensatela come a una funzione di completamento automatico super intelligente per le immagini. Mostrate al computer un'immagine con una grande macchia nera che ne copre una parte, e il computer indovina cosa c'è sotto basandosi su milioni di altre immagini che ha visto. Ma ecco il problema: l'IA standard è brava a riempire il vuoto di un ramo d'albero mancante o di un pezzo di cielo, ma spesso si confonde con le regole specifiche e complicate di come il tessuto si drappeggia o si piega. Potrebbe disegnare una camicia che sembra realistica, ma con la forma sbagliata per quel periodo storico, o potrebbe trasformare le linee nette di un colletto in una massa informe e confusa. Questo articolo affronta esattamente questo problema: come insegnare a un'IA a essere un "detective della moda storica" migliore, capace di rispettare la struttura specifica degli abiti antichi.

I ricercatori, un team della Xi'an Polytechnic University, propongono una strategia intelligente in due fasi per riparare questi antichi indumenti danneggiati. Si sono resi conto che cercare di riparare l'intera immagine in una volta sola era troppo complicato, quindi hanno suddiviso il problema in "apprendere la forma" e poi "riempire il colore".

Per prima cosa, hanno insegnato all'IA una lezione sulla struttura della moda utilizzando abiti moderni. Poiché i dipinti antichi sono rari e spesso troppo danneggiati per essere usati per l'addestramento, hanno utilizzato foto di alta qualità di abiti e vesti moderne. Hanno spogliato queste foto riducendole ai soli contorni e alle linee delle pieghe — come lo scheletro di un capo d'abbigliamento — e hanno insegnato all'IA una speciale "Fashion LoRA" (un modulo leggero per i modelli di IA) per riconoscere come si comporta il tessuto. È come dare all'IA un libro di testo su come pendono le maniche o come oscilla una gonna, in modo che sappia la "grammatica" dell'abbigliamento prima di provare a scrivere una nuova frase. Questo passaggio assicura che l'IA comprenda che una piega non è solo una curva casuale; segue le leggi della fisica e dello stile.

Successivamente, hanno affrontato la parte più difficile: la vera riparazione. Quando un'IA cerca di riempire una piccola e sottile crepa in una lunga linea di una manica, spesso la ignora perché la crepa è molto piccola rispetto al resto dell'immagine. L'IA pensa: "Oh, quella minuscola linea non conta molto", e si concentra sulle parti grandi e facili. Per risolvere questo problema, gli autori hanno inventato un nuovo metodo chiamato "Garment Region-Reweighted Flow Matching" (GR-FM). Immaginate di correggere un compito. Se uno studente sbaglia un singolo problema matematico cruciale, ma risponde correttamente a tutto il resto, un insegnante standard potrebbe dargli comunque un voto alto complessivamente. Ma questo nuovo metodo è come un insegnante severo che dice: "Aspetta! Quel singolo problema è la parte più importante del test!" Costringe l'IA a prestare un'attenzione extra ai pixel danneggiati o mancanti, assicurandosi che quelle linee sottili e fragili siano ricostruite con un'altissima precisione.

Il team ha testato il loro metodo su un dataset di antichi dipinti provenienti da cinque diverse dinastie cinesi (Tang, Song, Yuan, Ming e Qing). Hanno confrontato il loro sistema a due fasi con altri strumenti di IA popolari come LaMa e SDXL. I risultati sono stati promettenti: il loro metodo ha prodotto bordi più nitidi e una migliore continuità strutturale, specialmente per quelle crepe strette e difficili da riparare nel tessuto. Infatti, quando hanno misurato la qualità delle immagini restaurate, il loro metodo ha ottenuto punteggi più alti in termini di accuratezza dei pixel e somiglianza strutturale rispetto agli altri strumenti.

Tuttavia, gli autori sono cauti nel non affermare di aver "risolto" la storia. Sottolineano che la loro IA non conosce l'aspetto originale vero del dipinto; offre solo un "candidato alla restauro". È come uno schizzo di ciò che avrebbe potuto esserci, basandosi sugli indizi a disposizione. Il sistema è progettato per essere "auditabile", il che significa che modifica solo le parti dell'immagine che sono contrassegnate come danneggiate, lasciando intatto il resto del dipinto antico. Questo è fondamentale per i musei e gli storici, che devono sapere esattamente cosa è originale e cosa è il miglior tentativo di un computer.

In definitiva, questo articolo suggerisce che combinando una fase di addestramento sul "senso della moda" con una fase di riparazione a "attenzione iper-focalizzata", possiamo creare strumenti digitali che ci aiutino a vedere l'arte antica più chiaramente. Non sostituisce gli esperti umani; al contrario, fornisce loro un assistente potente e tracciabile che può suggerire come ricongiungere le linee spezzate della storia, una piega alla volta.

Sintesi Tecnica: Inpainting di Indumenti in Pitture Antiche tramite Guida della Struttura dell'Indumento e Flow Matching con Ripesatura delle Regioni dell'Indumento

Definizione del Problema

Gli indumenti nelle pitture antiche sono registri visivi critici per la comprensie della moda, dei rituali e dell'estetica storica. Tuttavia, i processi di invecchiamento, come il distacco dei pigmenti, l'abrasione dell'inchiostro e il deterioramento del supporto, spesso interrompono le linee sottili, curve e spazialmente continue che definiscono i contorni e le pieghe degli indumenti. I modelli di inpainting generici, ottimizzati per immagini naturali, mancano frequentemente di prior strutturali specifici per gli indumenti. Di conseguenza, faticano a ripristinare difetti piccoli, stretti ed allungati senza sfocare i bordi o generare drappeggi strutturalmente incoerenti. Inoltre, la restauro digitale nei beni culturali richiede l'adesione ai principi di intervento minimo, tracciabilità del processo e identificazione esplicita del contenuto generato, aspetti che i modelli generativi standard spesso non riescono a fornire.

Metodologia

Gli autori propongono un framework in due fasi che combina l'inizializzazione strutturale con la supervisione focalizzata sulla regione, basato sull'architettura FLUX.1-Fill.

1. Preparazione dei Dati

Dominio Sorgente: Le immagini di indumenti moderni vengono elaborate per creare disegni a linea che enfatizzano contorni e pieghe, accoppiati a descrizioni testuali strutturali. Questi vengono utilizzati per l'addestramento.
Dominio Target: I dati delle pitture antiche (dinastie Tang, Song, Yuan, Ming, Qing) vengono localizzati utilizzando Florence-2 per estrarre ritagli semantici di singole persone e patch di dettaglio 512×512. Fondamentalmente, i dati delle pitture antiche sono esclusi dall'addestramento del modello e riservati esclusivamente alla valutazione del dominio target e alla validazione su casi realmente danneggiati.

2. Fase Uno: Fashion LoRA (Guida Strutturale)

Per affrontare la mancanza di dati accoppiati antichi, il modello viene prima adattato alle strutture degli indumenti utilizzando disegni a linea moderni.

Tecnica: Un modulo Low-Rank Adaptation (LoRA), denominato Fashion LoRA, viene addestrato su disegni a linea di indumenti moderni e testo strutturale (token di attivazione: "glineprior").
Obiettivo: Questa fase inizializza il modello con bias strutturali riguardanti i contorni degli indumenti, gli orli, i polsini e le pieghe, consentendogli di apprendere le regolarità statistiche della geometria degli indumenti prima di tentare il ripristino del colore.

3. Fase Due: GR-FM (Flow Matching con Ripesatura delle Regioni dell'Indumento)

La seconda fase esegue l'inpainting del colore su indumenti moderni per adattare il modello al compito specifico di riparare le regioni danneggiate.

Sfida: I classici errori di Flow Matching (FM) aggregano gli errori uniformemente su tutti i token latenti. Nei casi di pieghe strette o rotture di contorno sottili, i token danneggiati costituiscono una piccola frazione del totale, causando la diluizione dei loro gradienti da parte degli errori provenienti dalle ampie regioni intatte.
Soluzione: Gli autori introducono il Garment Region-Reweighted Flow Matching (GR-FM).
- Una maschera binaria del danno viene mappata sulla griglia dei token latenti.
- I token latenti che coprono i pixel danneggiati ricevono un peso di $1 + \lambda_m$ , mentre i token intatti mantengono un peso di 1.
- La funzione di perdita è normalizzata dalla somma dei pesi dei token per prevenire spostamenti di scala.
- Questa ripesatura rafforza la supervisione locale per i difetti piccoli ed allungati senza aggiungere moduli durante l'inferenza.

4. Inferenza e Composizione

Inferenza: Il LoRA adapter addestrato viene applicato alle patch di pitture antiche. Il modello genera un ripristino candidato basato sull'input danneggiato, la maschera e il testo.
Composizione Hard-Mask: Per garantire la tracciabilità e l'intervento minimo, l'output finale viene generato componendo solo i pixel predetti all'interno della regione di danno annotata manualmente ( $M$ ), mantenendo i pixel originali al di fuori di questa regione:
$I_{final} = I_{pred} \cdot M + I_{input} \cdot (1 - M)$

Contributi Chiave

Framework a due fasi: Un nuovo pipeline che combina la Fashion LoRA per l'inizializzazione strutturale (utilizzando l'arte a linea moderna) e la GR-FM per l'adattamento del colore specifico per il compito.
Funzione di perdita GR-FM: Una perdita di flow matching ripesata che normalizza e ripesa gli errori del campo di velocità per i token latenti nelle regioni danneggiate, affrontando specificamente il problema della diluizione della supervisione per i difetti stretti.
Design Sperimentale Rigoroso: Un esperimento controllato completo a quattro configurazioni (variando l'inizializzazione Fashion LoRA e l'uso di GR-FM) attraverso tre seed casuali, utilizzando test statistici accoppiati per isolare gli effetti della guida strutturale e della supervisione focalizzata sulla regione.
Restauro Tracciabile: L'implementazione della composizione hard-mask assicura che tutte le modifiche siano confinate alle regioni annotate, fornendo confini spaziali espliciti per la revisione.

Risultati

Lo studio valuta il metodo su un dominio target di pitture antiche (50 campioni con riferimenti, 20 campioni realmente danneggiati) e lo confronta con baseline tra cui LaMa, SDXL Inpainting, BrushNet-SDXL e FLUX-Fill Base.

Prestazioni Quantitative: La configurazione completa Fashion LoRA + GR-FM ha ottenuto i migliori risultati medi in termini di Masked PSNR (22.779 dB), Masked SSIM (0.535), Masked LPIPS (0.379) e Boundary F1 (0.549) sul set di valutazione delle pitture antiche.
Approfondimenti dall'Ablazione:
- Fashion LoRA: Ha migliorato principalmente la qualità dei bordi (BF1-2, BER) nel dominio sorgente degli indumenti moderni. Nel dominio target delle pitture antiche, i suoi benefici erano dipendenti dalle metriche e non universalmente positivi, suggerendo che i bias strutturali del dominio sorgente non si traducono sempre direttamente negli stili storici.
- GR-FM: Ha dimostrato un'adattabilità al compito più stabile. Ha migliorato significativamente le metriche di pixel, strutturali e percettive in entrambi i domini, in particolare quando combinato con la Fashion LoRA.
- Interazione: I test statistici hanno rivelato interazioni significative tra i due componenti per metriche specifiche, indicando che non sono semplicemente additivi ma funzionalmente interdipendenti.
Analisi di Sensibilità: Il coefficiente di ripesatura ( $\lambda_m$ ) è stato testato da 0 a 50. Il ripristino dei bordi (BF1-2) ha raggiunto la saturazione intorno a $\lambda_m = 10$ , mentre le metriche di pixel e percettive hanno continuato a migliorare gradualmente. Un valore di $\lambda_m = 20$ è stato selezionato come impostazione moderata per bilanciare il ripristino strutturale e la qualità percettiva.

Significato e Rivendicazioni

Il documento sostiene di fornire un framework tecnico pratico, controllabile ed estendibile per il restauro generativo nei beni culturali.

Struttura vs Contenuto: Lo studio distingue tra inizializzazione strutturale (Fashion LoRA) e ridistribuzione della supervisione (GR-FM), mostrando che sebbene i prior strutturali dai dati moderni aiutino, il meccanismo di ripesatura è il nucleo più stabile per le prestazioni nel dominio target.
Auditabilità: Utilizzando la composizione hard-mask e trattando gli output come "candidati al restauro digitale" piuttosto che come ricostruzioni storiche definitive, il metodo si allinea ai principi di conservazione dell'intervento minimo e della tracciabilità del processo.
Limitazioni: Gli autori riconoscono che l'estrazione automatica dei bordi può introdurre artefatti e che i disegni a linea moderni non possono catturare completamente le complesse convenzioni del drappeggio storico (es. maniche voluminose). Notano che l'attuale lavoro simula danni lineari e localizzati piuttosto che schemi di deterioramento complessi come i danni da insetti.

Il metodo proposto offre una via per generare candidati al restauro vincolati dalla struttura e auditabili che supportano, anziché sostituire, il giudizio degli specialisti della conservazione.