Riepilogo Tecnico: StereoGenBench

Enunciato del Problema

La generazione di immagini e video stereo, la stima della geometria stereo e la sintesi di viste controllate per condizione richiedono fondamentalmente dati accoppiati in cui le variabili che governano la geometria binoculare—nello specifico la baseline della telecamera, gli intrinseci, la profondità della scena e il movimento della telecamera—siano noti e controllabili. Le risorse esistenti non soddisfano questo requisito in due modi principali:

1. Benchmark del mondo reale (ad es. KITTI, Cityscapes, DrivingStereo) fissano la baseline e gli intrinseci del rig della telecamera al momento dell'acquisizione. Sebbene preziosi, essi confondono il comportamento in scala stereo di un metodo con la specifica distribuzione della scena e la configurazione hardware fissa utilizzate durante l'acquisizione. La profondità metrica è spesso sparsa o assente.
2. Risorse sintetiche (ad es. Scene Flow, SimStereo, StereoCarla) forniscono supervisione renderizzata densa ma tipicamente mantengono configurazioni di rig fisse e intrinseci costanti. Non offrono ground truth multi-baseline calibrata e accoppiata alla scena in cui la baseline è una variabile controllata piuttosto che un parametro di disturbo fisso.

Gli autori sostengono che la baseline non è una variabile di disturbo; per una coppia stereo rettificata, la disparità scala come $d = B f_x z^{-1}$. Addestrare e valutare i metodi solo a una baseline fissa oscura se le prestazioni cambiano con la baseline realizzata o se una vista generata corrisponde a una telecamera target specificata. Mancano risorse che forniscano ground truth della vista destra multi-baseline, calibrata e accoppiata alla scena, con intrinseci registrati congiuntamente, profondità metrica densa e pose per ogni fotogramma in un'unica fonte controllata.

Metodologia: StereoGenBench

StereoGenBench è un benchmark sintetico generato utilizzando Unreal Engine, progettato per rendere misurabili la sensibilità al regime di baseline e la coerenza con la telecamera target sotto contenuto di scena abbinato.

Pipeline di Generazione dei Dati

• Rig a Sei Telecamere: Ogni scena viene renderizzata utilizzando un array laterale rigido e rettificato di sei telecamere sincronizzate. Questa configurazione produce fino a $\binom{6}{2} = 15$ coppie di viste calibrate per scena.
• Variabili Controllate: A differenza dei precedenti dataset sintetici, StereoGenBench varia quattro assi all'interno di un'unica fonte preservando il ground truth accoppiato:
  • Baseline: Gli spaziamenti adiacenti sono campionati da regimi specifici.
  • Intrinseci: La lunghezza focale e le dimensioni del sensore sono campionati indipendentemente e registrati.
  • Profondità: Viene renderizzata una profondità metrica densa per ogni telecamera.
  • Pose: Le pose delle sei telecamere per ogni fotogramma sono registrate.
• Famiglie di Campionamento della Baseline:
  • IPD_Gaussian: Campiona gli spaziamenti adiacenti da una Gaussiana troncata centrata a 6,38 cm (distanza interpupillare), riflettendo regimi a baseline stretta.
  • Uniform: Campiona gli spaziamenti adiacenti da una distribuzione uniforme $U[1.0, 150.0]$ cm, definendo un ramo di valutazione a baseline larga.
  • Pairwise_Uniform: Una famiglia solo per l'addestramento progettata per migliorare la copertura di tutte le coppie di baseline quando il rig a sei telecamere viene espanso a tutte le 15 coppie.
• Costruzione della Scena: Le scene sono costruite tramite un processo di proposta e filtraggio che coinvolge 25 mappe (interno, esterno, urbano, naturale, fantascienza, stilizzato), 15 file FBX di personaggi e 30 file FBX di azioni. Le traiettorie sono generate campionando punti di vista validi e collegandoli in percorsi di 81 fotogrammi, con procedure di riavvio e giunzione per transizioni non valide.
• Output: Ogni scena include sei video RGB, sei video di profondità metrica e file di metadati (baseline.json, trajectory.json) contenenti intrinseci, baseline e pose. La risoluzione è 1280 $\times$ 1280 a 15 fps.

Protocollo di Benchmark

Il benchmark valuta la generazione della vista destra in tre condizioni di inferenza distinte (livelli) per separare diverse domande di ricerca:

• Livello G0 (Geometria Condizionata Oracle): I metodi ricevono la vista sinistra ($I_L$) più la geometria della vista target (ad es. disparità ground truth, profondità o una vista destra deformata). Ciò misura la qualità della sintesi sotto geometria nota.
• Livello G1 (Telecamera Target Calibrata): I metodi ricevono $I_L$ e i metadati della telecamera target (baseline $B$ e intrinseci $K$) ma nessuna profondità ground truth.
• Livello G2 (Monoculare Non Allineata): I metodi ricevono solo $I_L$ e fanno affidamento sulla propria geometria implicita.

Metriche di Valutazione

I risultati sono riportati utilizzando tre gruppi di metriche:

1. Qualità di Ricostruzione: PSNR, SSIM e LPIPS che confrontano le viste generate ($\hat{I}_R$) e le viste target renderizzate ($I_R$).
2. Diagnostica della Geometria Stereo:
   • $E_{Match}$: Misura la variazione nell'insieme delle strutture dell'immagine sinistra abbinabili stereo quando si sostituisce la vista destra renderizzata con quella generata.
   • P-PSNR: Una diagnostica di coerenza senza target che misura la similarità della texture locale.
   • SD (Deviazione di Scala): Misura la fedeltà della scala della disparità adattando $D_{gt} \approx a \hat{D} + b$ e riportando $|a - 1|$.
3. Metriche Distribuzionali: FID (immagine) e FVD (video) che confrontano le distribuzioni target generate e renderizzate.

Contributi Chiave

Il paper contribuisce con:

1. Dataset StereoGenBench: Una risorsa sintetica accoppiata alla scena che presenta un rig calibrato a sei telecamere, profondità metrica densa, intrinseci, baseline per ogni coppia e pose per ogni fotogramma.
2. Progettazione della Divisione: Una separazione della valutazione in scala IPD stretta, della valutazione a baseline larga e di una famiglia di tutte le coppie solo per l'addestramento per migliorare la copertura della baseline.
3. Protocollo di Benchmark: Un framework di valutazione a livelli che distingue tra impostazioni di inferenza condizionata alla geometria oracle, telecamera target calibrata e monoculare non allineata.
4. Rilascio Aperto: Disponibilità pubblica del dataset, del codice di valutazione, dei risultati di riferimento, dei metadati Croissant e dell'intera pipeline di generazione, consentendo estensioni con asset personalizzati.

Risultati di Riferimento

Gli autori riportano risultati su 739 scene di valutazione (divise in sottoinsiemi di mappe viste e non viste) utilizzando metodi pubblici rappresentativi.

• Differenze tra Livelli: Come previsto, i metodi condizionati alla geometria oracle (G0) raggiungono un allineamento dei pixel più forte (PSNR/SSIM più alti) perché i loro input sono ancorati al ground truth. I metodi monoculari non allineati (G2) mostrano una deriva maggiore della scala della disparità (SD più alto) perché le loro uscite non sono ancorate alla telecamera target del benchmark.
• Sensibilità alla Baseline: Il benchmark isola con successo gli effetti della baseline. Ad esempio, nel ramo Uniform, lo SD del metodo G2 Mono2Stereo aumenta monotonicamente da 2,63 nell'intervallo [1, 10) cm a 50,85 nell'intervallo [100, 150] cm. Al contrario, il metodo G0 GenStereo rimane stabile (0,03–0,09) attraverso gli stessi bin.
• Difficoltà: Il ramo Uniform (baseline larga) è generalmente più difficile del ramo IPD_Gaussian, riflettendo disparità realizzate maggiori e più disocclusioni.
• Generalizzazione: I risultati sulle mappe non viste mostrano che mentre l'abbinabilità ($E_{Match}$) rimane relativamente stabile, le metriche distribuzionali (FID/FVD) mostrano gap più grandi tra mappe viste e non viste, indicando sensibilità ai prior visivi.

Significato e Affermazioni

Il paper posiziona StereoGenBench come una risorsa complementare ai benchmark esistenti del mondo reale e sintetici, piuttosto che come un sostituto. Il suo significato principale risiede nell'isolare la variabile baseline per la valutazione della generazione stereo. Renderizzando contenuto di scena abbinato sotto diversi regimi di baseline calibrata, il benchmark permette ai ricercatori di:

• Determinare se le prestazioni cambiano con la baseline realizzata.
• Verificare se una vista destra generata corrisponde a una telecamera target specificata.
• Diagnosticare se i metodi utilizzano interfacce di telecamera target calibrate o producono stereo a una scala implicita preferita.

Gli autori dichiarano esplicitamente che i risultati su questo dataset sintetico non devono essere trattati come prova diretta delle prestazioni nel mondo reale senza studi di correlazione separati. Il benchmark è destinato alla valutazione di compiti consapevoli della geometria (generazione stereo, abbinamento, stima della profondità) in condizioni controllate, non per sorveglianza, identificazione biometrica o analisi demografica. Il rilascio consente studi futuri sulla condizionamento della baseline, sulla generazione stereo multi-pair e sulla correlazione sim-to-real.