Riepilogo Tecnico: Queste Visualizzazioni Possono Costituire Una Singola Scena? Valutazione della Coerenza 3D Multivista Quando i Modelli di Fondazione 3D Allucinano

Enunciato del Problema

La valutazione 3D multivista assume tipicamente che le immagini di input siano osservazioni di un'unica scena 3D statica. Tuttavia, nella Sintesi di Nuove Visualizzazioni (NVS) e nella ricostruzione da viste sparse, tale assunzione viene frequentemente violata. Gli input o gli output generati possono contenere artefatti, frame anomali, viste ripetute o rumore, ricevendo comunque punteggi di coerenza 3D elevati dalle attuali metriche di valutazione.

Le metriche esistenti senza ground-truth, come MEt3R, si affidano a backbones di ricostruzione 3D appresi (ad esempio DUSt3R, MASt3R, VGGT, Fast3R) per inferire la geometria e misurare la coerenza. Il problema centrale identificato in questo lavoro è che tali backbones sono addestrati per produrre geometria, non per rifiutare input non validi. Di conseguenza, possono "allucinare" una struttura 3D densa e un supporto tra viste per input che non definiscono una scena coerente (ad esempio, miscele di scene non correlate, immagini ripetute o rumore gaussiano). Le metriche costruite su questi backbones ereditano questo fallimento, riportando punteggi di coerenza spuramente elevati per input non validi perché valutano i residui delle caratteristiche su corrispondenze allucinate piuttosto che verificare l'esistenza di prove geometriche.

Metodologia

1. Benchmark SysCON3D

Per valutare sistematicamente la robustezza delle metriche, gli autori introducono SysCON3D, un benchmark controllato che inietta specifiche incoerenze in set di immagini multivista provenienti dal dataset Mip-NeRF360. Il benchmark include:

• L0 (Coerente): Viste pulite da una singola scena.
• L1–L3 (Miscele tra Scene): Densità crescenti di viste esterne (singolo outlier, miscela controllata, miscela casuale).
• SysCON3D-N (Rumore): Rumore gaussiano a patch e rumore gaussiano completo.
  Il benchmark verifica se le metriche possono assegnare correttamente punteggi di coerenza inferiori a questi gruppi incoerenti rispetto ai set puliti.

2. Famiglia di Metriche Neurali Parametriche

Gli autori propongono un framework unificato che scompone le metriche neurali in tre componenti:
$$m(\mathcal{I}) = \mathcal{A}(\rho(B(\mathcal{I}), \phi(\mathcal{I})))$$

• Backbone ($B$): Un modello di ricostruzione (MASt3R, Fast3R, VGGT) che produce geometria 3D.
• Residuo ($\rho$): Una funzione che calcola il disaccordo delle caratteristiche (utilizzando DINOv2/FeatUp) tramite metodi basati su Warping (warping di coppie di viste) o Coerenza dei Punti (PC) (proiezione di punti 3D).
• Aggregazione ($\mathcal{A}$): Una funzione che riassume i residui. Gli autori confrontano l'aggregazione media standard (utilizzata in MEt3R) con aggregazioni distribuzionali (MMD, Inverse Multiquadric (IMQ), distanza energetica) che preservano la forma della distribuzione dei residui e sono più sensibili agli outlier.

3. Metriche Basate su COLMAP

Per affrontare i limiti dei backbones appresi, gli autori introducono metriche basate sulla verifica geometrica classica utilizzando COLMAP. Queste metriche trattano il fallimento della ricostruzione come un segnale di incoerenza:

• Coerenza Geometrico-Fotometrica (GPC): Misura l'accordo tra le mappe di profondità geometriche e fotometriche, ponderate per la validità dei pixel.
• Massa di Coerenza Integrata (ICM): Quantifica il totale del supporto 3D denso e affidabile.
• GPC Ponderata per la Copertura (W-GPC): Combina la GPC con la copertura angolare delle telecamere registrate.
  Crucialmente, se COLMAP non riesce a registrare le telecamere o a produrre mappe dense (a causa della mancanza di prove geometriche), il punteggio della metrica scende a zero, penalizzando esplicitamente gli input non validi.

4. Studio di Allineamento Umano

Gli autori hanno condotto uno studio strutturato su esseri umani coinvolgendo 11 partecipanti (inclusi 2 esperti) per valutare 8 metodi NVS. I partecipanti hanno confrontato video NVS anonimizzati basandosi su coerenza 3D, realismo visivo e plausibilità. Le classifiche sono state aggregate utilizzando un protocollo Elo ponderato per stabilire una preferenza umana di ground-truth per la coerenza 3D.

Risultati Chiave

Robustezza su SysCON3D

• Allucinazione del Backbone: Tutti i backbones testati (VGGT, MASt3R, DUSt3R, Fast3R) hanno prodotto nuvole di punti dense e sovrapposizioni non nulle per rumore gaussiano e miscele tra scene, confermando che allucinano supporto geometrico piuttosto che astenersi.
• Impatto dell'Aggregazione: Il passaggio dall'aggregazione media all'aggregazione distribuzionale (in particolare IMQ) ha migliorato significativamente la robustezza. La variante neurale migliore, MASt3R-W-IMQ, ha raggiunto un tasso di vittoria complessivo del 71% su SysCON3D, rispetto al 23% della baseline MEt3R (MASt3R-W-Base).
• Limitazioni: Anche con un'aggregazione migliorata, le metriche neurali hanno faticato con singoli outlier (L1) e rumore gaussiano, poiché la geometria allucinata si verifica prima della fase di aggregazione.

Allineamento Umano

• Metriche Neurali: MASt3R-W-IMQ ha mostrato un allineamento moderato con i giudizi umani (Spearman $\rho \approx 0.48$ per $K=6,9$), superando MEt3R ma fallendo comunque nel classificare perfettamente i metodi.
• Metriche COLMAP: La metrica W-GPC ha raggiunto il più forte allineamento con i giudizi umani, raggiungendo una correlazione di Spearman di 0.98 su DL3DV e 0.98 su Mip-NeRF360. Ciò rappresenta un miglioramento fino a 4$\times$ rispetto a MEt3R.
• Modalità di Fallimento: Le metriche COLMAP hanno assegnato correttamente punteggi vicini allo zero agli input incoerenti dove le metriche neurali hanno fallito, dimostrando che la verifica geometrica esplicita è un segnale più affidabile per la coerenza a livello di scena.

Significato e Affermazioni

Il paper afferma che l'affidabilità della valutazione 3D senza ground-truth è fondamentalmente compromessa quando si utilizzano modelli di ricostruzione appresi come valutatori in contesti non curati. La scoperta centrale è che i moderni modelli di fondazione 3D allucinano supporto geometrico per input privi di prove multivista valide, causando che le metriche a valle validino dati non validi.

Gli autori sostengono che:

1. L'aggregazione distribuzionale migliora le metriche neurali ma non può correggere completamente la geometria non supportata prodotta dal backbone.
2. La verifica geometrica classica (tramite COLMAP) fornisce un segnale complementare, consapevole dei fallimenti. Trattando l'incapacità di registrare o ricostruire come un punteggio negativo, queste metriche si allineano significativamente meglio ai giudizi umani sulla coerenza 3D.
3. Raccomandazione Pratica: Per una valutazione robusta degli output NVS, gli autori raccomandano di riportare W-GPC insieme a ICM e ai tassi di registrazione. Le metriche neurali come MASt3R-W-IMQ possono servire come diagnosi secondarie ma non dovrebbero sovrascrivere la verifica geometrica esplicita, specialmente in applicazioni critiche per la sicurezza dove la geometria allucinata potrebbe essere scambiata per prova.

Il lavoro non afferma di aver risolto il problema della ricostruzione stessa, ma fornisce piuttosto un framework diagnostico e metriche robuste per prevenire l'interpretazione errata della coerenza 3D allucinata nei contenuti generati.