DF3DV-1K: A Large-Scale Dataset and Benchmark for Distractor-Free Novel View Synthesis

1. Il Problema

Il campo della sintesi di nuove viste (Novel View Synthesis - NVS) basato su campi di radianza (Radiance Fields) e 3D Gaussian Splatting (3DGS) ha fatto progressi significativi. Tuttavia, un sottocampo specifico, quello dei campi di radianza privi di distrazioni (Distractor-Free), affronta la sfida di sintetizzare viste pulite da immagini catturate casualmente ("casual capture") che contengono oggetti in movimento o elementi di disturbo (distractors).

Le limitazioni attuali sono:

• Mancanza di dataset su larga scala: I dataset esistenti (es. RobustNeRF, On-the-go) sono troppo piccoli (pochi decini di scene) e non offrono sufficiente diversità di scenari o tipi di distrazioni per valutare la robustezza reale dei metodi moderni.
• Difficoltà di benchmarking: Senza un dataset che includa coppie di immagini "pulite" e "affollate" (con distrazioni) per la stessa scena, è difficile distinguere le prestazioni dei metodi avanzati, che spesso mostrano differenze sottili solo in ingrandimento.
• Stallo verso soluzioni generalizzabili: La maggior parte dei metodi richiede ottimizzazione per scena (scene-specific). La mancanza di dati su larga scala impedisce lo sviluppo di modelli generalizzabili che non necessitano di ri-addestramento per ogni nuova scena.

2. Metodologia e Proposta: DF3DV-1K

Gli autori introducono DF3DV-1K, un nuovo dataset e benchmark su larga scala progettato specificamente per la sintesi di nuove viste prive di distrazioni.

Raccolta e Curation dei Dati

• Scala: Il dataset comprende 1.048 scene (726 interne, 322 esterne) con un totale di 89.924 immagini.
• Struttura delle Scene: Ogni scena include due set di immagini:
  1. Immagini Pulite (Clean): Rappresentano la scena statica ideale.
  2. Immagini Affollate (Cluttered): La stessa scena con l'aggiunta di distrazioni.
• Diversità:
  • 128 tipi di distrazioni: Da oggetti comuni (es. persone, veicoli) a fenomeni complessi (fluidi, ombre, riflessi, semi-trasparenze, distrazioni semanticamente simili agli oggetti statici).
  • 161 Temi di scena: Copertura di ambienti interni ed esterni.
  • Cattura Casual: Le immagini sono state catturate utilizzando 12 dispositivi consumer diversi (smartphone come iPhone, Samsung, ecc.) con impostazioni automatiche (esposizione, fuoco), per simulare la cattura reale e non controllata.
• Pipeline di Curation:
  • Le immagini sono state acquisite manualmente per 9 mesi.
  • Controllo qualità manuale per rimuovere immagini sfocate o con artefatti indesiderati nelle aree statiche.
  • Stima delle pose e undistortion delle immagini utilizzando COLMAP.
  • Verifica della qualità della ricostruzione tramite instant-ngp; le scene che fallivano la ricostruzione venivano scartate o ricalibrate.
• Sottogruppo DF3DV-41: Un subset di 41 scene progettato sistematicamente per testare scenari particolarmente difficili (es. distrazioni notturne, fluidi, oggetti semanticamente simili).

Benchmark

Gli autori hanno valutato 10 metodi (9 metodi recenti privi di distrazioni + 3DGS standard) su tutto il dataset. I metodi includono AsymGS, RobustSplat, OCSplats, DeGauss, WildGaussians, ecc.

3. Risultati Chiave

Performance dei Metodi Esistenti

• Metodi più Robusti: Su DF3DV-1K e DF3DV-41, AsymGS e RobustSplat si sono dimostrati i metodi più robusti, seguiti da OCSplats e DeGauss.
• Difficoltà del Dataset: I risultati mostrano che DF3DV-1K è significativamente più difficile rispetto ai benchmark precedenti (RobustNeRF, On-the-go). Mentre su RobustNeRF molti metodi superano i 29 dB di PSNR, su DF3DV-1K i valori scendono drasticamente (es. ~20 dB per i migliori), evidenziando che i metodi attuali faticano con scenari reali complessi.
• Scenari Critici: I risultati quantitativi e qualitativi identificano i distrattori semanticamente simili (oggetti simili allo sfondo) e i distrattori fluidi (es. acqua, fumo) come i casi più difficili. Anche le scene notturne rappresentano una sfida maggiore a causa della bassa illuminazione che confonde i filtri di distrazione.

Applicazione: DI2FIX (Beyond Scene-Specific)

Per dimostrare l'utilità del dataset oltre il semplice benchmark, gli autori hanno sviluppato DI2FIX (Distractor-Free DIFIX).

• Concetto: Un enhancer 2D "plug-and-play" basato su un modello di diffusione (DIFIX) che viene fine-tuned su DF3DV-1K.
• Obiettivo: Migliorare la qualità del rendering dei campi di radianza esistenti senza modificarne l'architettura interna o richiedere ottimizzazione per scena.
• Risultati: DI2FIX ha ottenuto miglioramenti medi di +0.96 dB PSNR e -0.057 LPIPS rispetto ai metodi base su dataset di test (DF3DV-41 e On-the-go).
• Impatto della Scala: L'addestramento su dataset più grandi e diversificati (fino a 1.000 scene) ha portato a una maggiore capacità del modello di rimuovere gli artefatti senza alterare erroneamente il contenuto statico della scena.

4. Contributi Principali

1. DF3DV-1K: Il primo dataset su larga scala (1K+ scene) che fornisce coppie di immagini pulite e affollate per ogni scena, coprendo 128 tipi di distrazioni e 161 temi, catturato con dispositivi consumer.
2. Benchmark Completo: Una valutazione sistematica di 10 metodi recenti, che rivela le loro limitazioni in scenari reali complessi e stabilisce un nuovo standard di difficoltà per il campo.
3. DI2FIX: La dimostrazione che l'uso di un dataset su larga scala permette di creare enhancer generalizzabili che migliorano le prestazioni dei metodi esistenti, superando i limiti degli approcci specifici per scena.

5. Significato e Impatto

Questo lavoro è fondamentale per il progresso della visione artificiale 3D perché:

• Colma un vuoto critico: Fornisce la risorsa dati necessaria per addestrare e valutare modelli che devono funzionare in condizioni "in-the-wild" reali, dove le distrazioni sono inevitabili.
• Guida la ricerca futura: Identifica chiaramente le aree in cui i metodi attuali falliscono (es. fluidi, notturno, similarità semantica), indirizzando lo sviluppo di nuove architetture.
• Promuove la generalizzazione: Dimostra che dataset su larga scala e diversificati sono la chiave per passare da metodi che richiedono ottimizzazione per scena a soluzioni generalizzabili e robuste.

In sintesi, DF3DV-1K non è solo un nuovo dataset, ma un catalizzatore per lo sviluppo di sistemi di sintesi di viste 3D più robusti, pronti per l'uso in applicazioni reali come la realtà aumentata, la fotografia computazionale e la ricostruzione 3D da video casuali.