Riepilogo Tecnico: LOBSTgER-enhance

Problematica

La fotografia subacquea è intrinsecamente sfidata da fenomeni fisici quali l'assorbimento della luce, lo scattering e le distorsioni dipendenti dalla lunghezza d'onda. Questi fattori causano una riduzione del contrasto, sfocatura spaziale e significativi spostamenti cromatici (tipicamente una dominante blu-verde o verdastra), che oscurano la vivacità della vita marina. Sebbene i fotografi spesso si affidino a pesanti pipeline di post-elaborazione per correggere questi problemi, esiste la necessità di metodi di restauro automatizzati e ad alta fedeltà che possano migliorare le immagini sia per la documentazione scientifica che per la sensibilizzazione ambientale senza compromettere l'integrità artistica.

Metodologia

Il documento propone LOBSTgER-enhance, una pipeline image-to-image che utilizza modelli di diffusione latente condizionali per invertire le degradazioni subacquee. La metodologia è strutturata attorno a tre componenti principali:

1. Pipeline di Corruzione Sintetica

Per consentire l'addestramento supervisionato senza un massiccio dataset di immagini accoppiate reali (pulite/degradate), gli autori hanno sviluppato una funzione di corruzione sintetica. Questa pipeline simula la degradazione subacquea attraverso cinque stadi applicati a immagini di alta qualità ("pulite"):

• Artefatti da Bolle: Macchie luminose di dimensioni casuali per simulare le particelle sospese.
• Torbidità: Overlay grigi semi-trasparenti per emulare lo scattering della luce dovuto ai sedimenti.
• Motion Blur: Kernel gaussiani randomizzati per modellare il movimento della fotocamera o dell'acqua.
• Distorsione del Colore: Spostamenti casuali per canale per mimare l'assorbimento dipendente dalla lunghezza d'onda.
• Degradazioni Aggiuntive: Vignettatura, rumore gaussiano e variazioni di gamma.

2. Modello di Diffusione Latente Condizionale

L'architettura centrale è un modello di diffusione compatto che opera nello spazio latente di un VAE (Variational Autoencoder) pre-addestrato.

• Architettura: Una U-Net leggera (adattata da Karras et al.) con circa 11 milioni di parametri addestrabili. Consiste in due blocchi encoder e due blocchi decoder, che elaborano input latenti a 4 canali.
• Obiettivo di Addestramento: Il modello impiega la predizione della velocità (v-prediction) piuttosto che la standard predizione del rumore, minimizzando l'MSE tra i vettori di velocità predetti e quelli reali. Utilizza una programmazione della varianza coseno (cosine variance schedule) per una corruzione più fluida e una migliore preservazione del segnale.
• Condizionamento: Il modello esegue la traduzione image-to-image condizionandosi sulla rappresentazione latente dell'immagine corrotta in input. Il condizionamento è implementato tramite concatenazione del latente rumoroso e del latente di condizionamento.
• Guida del Classificatore (Classifier-Free Guidance): Durante l'addestramento, il latente di condizionamento viene sostituito da un "token nullo" apprendibile con una probabilità di $p=0.25$ per consentire un'inferenza guidata o non guidata flessibile.

3. Strategia di Addestramento e Gestione dei Dati

• Dataset: Il modello è stato addestrato da zero su un piccolo dataset di alta qualità di ~2.500 immagini (risoluzione 512x768) comprendente quattro specie: Medusa Criniera di Leone, Squalo Blu, Mola Mola e Aragosta Americana.
• Campionamento dei Dati: È stata impiegata una strategia di campionamento pesata sulla qualità, dando priorità al top 10% delle immagini (classificate dal fotografo) attraverso tutti i livelli di rumore, mentre il restante 90% è stato utilizzato solo ai livelli di rumore più elevati.
• Aggiornamento della Corruzione: Per bilanciare l'efficienza computazionale con la diversità del dataset, gli autori hanno adottato una strategia intermedia: una controparte corrotta singola è stata generata per ogni immagine pulita all'inizio dell'addestramento, con il 10% dei dati aggiornato (ri-corrotto) ogni 10 epoche. Ciò ha evitato l'overfitting su pattern di corruzione statici senza incorrere nell'alto costo della generazione on-the-fly.

Risultati Chiave

Prestazioni In-Distribution

Sul set di valutazione tenuto separato (~200 immagini delle quattro specie di addestramento), il modello ha dimostrato forti capacità di "autoenhance":

• Restauro: Ha corretto con successo gli spostamenti di tonalità, ha ripristinato la colorazione naturale e ha migliorato il contrasto.
• Rimozione Artefatti: Ha soppresso efficacemente gli artefatti da bolle e l'occlusione da particolato, preservando al contempo i dettagli anatomici fini.
• Inpainting: Ha dimostrato robusti prior generativi nei compiti di inpainting condizionale, ricostruendo con successo le regioni mascherate delle meduse con un'alta fedeltà strutturale e cromatica.

Generalizzazione Out-of-Distribution (OOD)

Un risultato significativo è stata la capacità del modello di generalizzare su specie e condizioni non viste durante l'addestramento (es. delfini, foche, granchi emibachi e piccoli di balena).

• Coerenza Visiva: Nonostante non avesse mai visto queste specie, il modello ha prodotto miglioramenti visivamente coerenti, correggendo le dominanti verdastre verso toni blu più profondi e rendendo più nitidi i contorni senza introdurre allucinazioni.
• Condizionamento Adattivo: Gli autori hanno scoperto che, per i campioni OOD, l'applicazione di una versione lieve della pipeline di corruzione sintetica come input di condizionamento produceva risultati superiori rispetto all'uso dell'immagine grezza o dell'immagine completamente corrotta. Ciò ha mantenuto il latente di condizionamento vicino al manifold di addestramento senza distorcere eccessivamente le strutture sconosciute.

Contributi Chiave

1. Pipeline LOBSTgER-enhance: Un nuovo framework di diffusione image-to-image progettato specificamente per il restauro di immagini subacquee.
2. Framework di Corruzione Sintetica: Una pipeline di corruzione multistadio che simula efficacemente la fisica subacquea (scattering, bolle, shift di colore) per creare dati di addestramento accoppiati.
3. Design del Modello Efficiente: Dimostrazione che un modello compatto (11M di parametri) addestrato su un piccolo dataset (2.5k immagini) può ottenere un'alta coerenza percettiva e una forte generalizzazione.
4. Generalizzazione a Specie Non Viste: Evidenza empirica che il modello può migliorare immagini di vita marina non presente nel set di addestramento, colmando il divario tra dati di addestramento specifici e scenari reali diversificati.

Significato e Rivendicazioni

Il documento afferma che LOBSTgER-enhance offre una soluzione scalabile e ad alta fedeltà per il miglioramento delle immagini subacquee che colma il divario tra immagini reali e sintetiche. Il suo significato risiede in:

• Sensibilizzazione Ambientale: Fornire uno strumento per generare contenuti visivamente accattivanti per la narrazione ambientale e la sensibilizzazione, rendendo la bellezza sottomarina accessibile al pubblico.
• Utilità Scientifica: Offrire un metodo per restaurare immagini scientifiche (es. per l'esplorazione degli abissi) recuperando i dettagli perduti e correggendo le distorsioni di colore pur mantenendo il realismo fisico.
• Efficienza: Ottenere risultati solidi con un dataset relativamente piccolo e un modello leggero, suggerendo che l'IA generativa può essere applicata efficacemente a domini di nicchia dove i dati su larga scala sono scarsi.

Gli autori sottolineano che il modello preserva l'estetica originale del fotografo e le proprietà fisiche dell'ambiente, fungendo da potente strumento di "autoenhance" che riduce la necessità di post-elaborazione manuale.