Riepilogo Tecnico: iPhoneBlur

Enunciato del Problema

Il ripristino della sfocatura da movimento sui dispositivi mobili consumer affronta un divario critico nel deployment. Sebbene i metodi di deblurring all'avanguardia ottengano prestazioni elevate su dataset professionali (ad es. GoPro, setup DSLR), subiscono un degrado severo (oltre 7 dB) quando applicati a riprese su dispositivi mobili consumer a causa di disallineamenti di dominio nell'elaborazione del segnale immagine (ISP) e nelle condizioni di acquisizione. Inoltre, i benchmark esistenti si basano su metriche aggregate che oscurano le variazioni di prestazioni attraverso diverse gravità della sfocatura. Questa mancanza di granularità impedisce agli sviluppatori di determinare se i dispositivi edge possono ripristinare le immagini on-device o devono scaricare l'elaborazione nel cloud, nascondendo specifici modi di fallimento in condizioni di deployment reale.

Metodologia

Costruzione del Dataset

Gli autori introducono iPhoneBlur, un benchmark composto da 7.400 coppie di immagini sfocate-nitide sintetizzate da 51 video ad alta frequenza di fotogrammi (177–240 fps) acquisiti su un iPhone 17 Pro. Il dataset abbraccia scenari reali diversificati, inclusi ambienti interni/esterni, movimento veicolare e attività umane.

La pipeline di costruzione prevede cinque fasi:

1. Selezione dei Candidati: Da circa 741.000 fotogrammi, i candidati nitidi sono selezionati in base alla varianza di Laplace (nitidezza) e al contrasto RMS.
2. Sintesi Linearizzata Guidata da PSNR: A differenza degli approcci a finestra fissa nei lavori precedenti, questo metodo utilizza una finestrazione temporale adattiva. La sfocatura è sintetizzata mediando i fotogrammi su una finestra $W$ centrata su un fotogramma nitido. Crucialmente, il processo coinvolge:
   • Linearizzazione: Conversione dei fotogrammi sRGB nello spazio della luce lineare utilizzando la correzione gamma inversa ($\gamma = 2.2$) per simulare l'integrazione fisica del sensore.
   • Selezione Adattiva della Finestra: La dimensione della finestra (che varia da 3 a 21 fotogrammi) è selezionata dinamicamente per raggiungere un intervallo di PSNR target specifico per il livello di difficoltà, garantendo che la difficoltà sia guidata dalla dinamica del movimento piuttosto che da soglie arbitrarie.
   • Ricodifica: Conversione della media lineare nuovamente in sRGB.
3. Filtraggio della Qualità: Un filtro multistadio rimuove gli artefatti utilizzando SSIM ($\ge 0.65$), magnitudine del flusso ottico ($\ge 1.0$ px/frame per sfocatura non banale), LPIPS ($\le 0.35$) e hashing percettivo per rimuovere i quasi-duplicati.
4. Stratificazione della Difficoltà: I campioni sono suddivisi in tre livelli basati su soglie PSNR:
   • Facile: $\ge 30$ dB (artefatti minimi).
   • Medio: 24–30 dB (degrado moderato).
   • Difficile: $< 24$ dB (degrado sostanziale).
5. Divisione: Una divisione a livello di video (75% addestramento, 25% test) garantisce che non vi sia perdita di dati tra i set.

Validazione

La stratificazione è validata attraverso proprietà fisiche della scena piuttosto che raggruppamenti arbitrari:

• Flusso Ottico: Si osserva un aumento monotono di 2,2× della magnitudine del flusso ottico dal livello Facile (6,0 px/frame) al livello Difficile (13,2 px/frame), con una forte correlazione negativa con il PSNR ($\rho = -0.41$).
• Soppressione delle Alte Frequenze: L'analisi spettrale conferma che la sfocatura sintetizzata esibisce una soppressione delle alte frequenze coerente con il degrado da movimento autentico (d di Cohen = 2,32, comparabile al d = 2,24 di RealBlur-J).
• Studio Utenti: Le valutazioni percettive umane correlano fortemente con i livelli stratificati ($\rho = 0.74$).

Contributi Chiave

1. Benchmark Stratificato per Difficoltà: Il primo benchmark per il deblurring da movimento su dispositivi consumer che categorizza esplicitamente i campioni in livelli Facile, Medio e Difficile, validato dalla dinamica fisica del movimento.
2. Metadati Completi: Ogni campione include caratteristiche ISP, magnitudine del flusso ottico, stime del rumore e parametri di sintesi, consentendo ricerche su ripristino consapevole dell'ISP e inferenza adattiva alla difficoltà.
3. Validazione Rigorosa della Sintesi: Il lavoro estende la validazione oltre le metriche percettive includendo un'analisi di integrazione temporale basata sulla fisica, dimostrando un allineamento statistico con la sfocatura della fotocamera autentica.
4. Colmare il Divario di Dominio: Il dataset si concentra su dispositivi consumer (iPhone 17 Pro), affrontando il divario tra dataset di fotocamere professionali e realtà del deployment mobile.

Risultati

Valutazione Baseline

Sono state valutate sei architetture all'avanguardia (NAFNet, HINet, Restormer, MIMO-UNet, Instruct-IR, FFTformer):

• Divario Cross-Domain: I modelli pre-addestrati su dati GoPro hanno subito un calo significativo delle prestazioni (6,1–7,1 dB) quando testati su iPhoneBlur in un setting zero-shot, confermando un distinto divario di dominio tra fotocamere professionali e consumer.
• Prestazioni Stratificate: Il fine-tuning su iPhoneBlur ha migliorato le prestazioni, ma è stata osservata una degradazione costante di 7–9 dB dai sottoinsiemi Facili a quelli Difficili su tutte le architetture.
  • Ad esempio, NAFNet ha raggiunto 35,1 dB sui campioni Facili ma è sceso a 27,9 dB sui campioni Difficili.
  • Questo intervallo di degradazione (7,2–9,1 dB) supera il divario cross-domain (6,1–7,1 dB), suggerendo che la gravità del movimento pone una sfida più fondamentale rispetto al semplice shift di dominio.
• Agnosticismo Architetturale: Il pattern di degradazione è stato coerente attraverso paradigmi architetturali diversificati (CNN, Transformer, Multi-scala), con una deviazione standard di soli 0,7 dB nella magnitudine della degradazione, indicando che i livelli di difficoltà catturano sfide fisiche fondamentali di ripristino piuttosto che bias specifici del metodo.

Analisi Qualitativa

L'ispezione visiva conferma che i campioni Facili permettono un ripristino quasi perfetto, i campioni Medi mostrano artefatti emergenti e i campioni Difficili soffrono di sfocatura residua severa e strisce di movimento, validando che la stratificazione cattura punti di rottura percettivi.

Significato e Affermazioni

Il documento afferma che iPhoneBlur consente una valutazione sistematica dell'affidabilità del modello e dei modi di fallimento che sono interamente nascosti dalla segnalazione aggregata. Collegando le prestazioni a proprietà della scena misurabili (flusso ottico, dimensione della finestra adattiva), il benchmark facilita:

• Decisioni Critiche per il Deployment: Determinare se elaborare on-device o scaricare nel cloud in base alla difficoltà.
• Adattamento Mirato: Dimostrare che un fine-tuning mirato può recuperare sostanzialmente il divario di dominio da professionale a consumer (riducendo il divario da ~7 dB a ~2,5 dB).
• Direzioni di Ricerca Avanzate: Supportare la modellazione di ripristino consapevole dell'ISP, la previsione della difficoltà per il routing dell'inferenza adattiva e i curricoli di addestramento progressivo.

Gli autori sottolineano che il benchmark è progettato per esporre pattern di fallimento agnostici rispetto all'architettura e fornire una base per estensioni guidate dalla comunità nella fotografia computazionale mobile.