💻 computer science

StereoGenBench: A Synthetic Multi-Camera Benchmark for Stereo Generation under Controlled Baseline Regimes

Het artikel introduceert StereoGenBench, een synthetische Unreal Engine-benchmark met een starre zes-camera-array die gepaarde, gekalibreerde stereo-data met meerdere baselines en volledige geometrische metadata (RGB, metrische diepte, intrinsieke parameters en posities) biedt om de gecontroleerde evaluatie van stereogeneratie onder variërende baseline-regimes mogelijk te maken.

Oorspronkelijke auteurs: Yangzhi Cui, Feng Qiao, Nathan Jacobs

Gepubliceerd 2026-05-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yangzhi Cui, Feng Qiao, Nathan Jacobs

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe de wereld in 3D te zien, net zoals mensen dat doen met twee ogen. Om dit te doen, moet de robot stereozicht begrijpen: hoe de afstand tussen zijn ogen (de "basislijn") beïnvloedt hoe objecten eruitzien.

Het probleem is dat de meeste bestaande trainingsdata voor deze robots lijken op een fotoboek waarin elke foto is genomen met exact dezelfde camera-opstelling. De afstand tussen de lenzen verandert nooit, de zoom verandert nooit, en de diepte wordt vaak geraamd in plaats van gemeten. Als je een robot alleen traint op deze vaste foto's, raakt hij in de war wanneer hij een realistische scène ziet waarbij de camera-afstand anders is. Het is alsof je iemand alleen rijdt op een rechte, lege snelweg met 50 km/u leert, en vervolgens verwacht dat ze een kronkelend bergwegje aankan met 160 km/u.

StereoGenBench is een nieuwe, synthetische (computergegenereerde) "rijopleiding" die dit probleem moet oplossen. Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Zes-Oog" Camera Rig

In plaats van een standaard-opstelling met twee camera's, bouwden de onderzoekers een virtuele rig met zes camera's naast elkaar, als een rij beveiligingscamera's of een rij ogen op een insect.

De Magie: Omdat er zes camera's zijn, kunnen ze 15 verschillende paren van "linker-oog" en "rechter-oog" weergaven maken vanuit exact dezelfde scène.
De Controle: Ze kunnen deze camera's mixen en matchen om kleine afstanden tussen de ogen (zoals bij menselijke ogen) of enorme afstanden (zoals camera's aan tegenovergestelde kanten van een kamer) te simuleren. Hiermee kunnen ze testen hoe goed een robot omgaat met verschillende "oog-afstanden".

2. De "Perfect Gelabelde" Wereld

In de echte wereld is het erg moeilijk om precies te weten hoe ver een object weg is of hoe de camera precies bewogen is.

De Oplossing: StereoGenBench is gebouwd binnen een game-engine (Unreal Engine). Omdat de computer de scène creëerde, kent hij de exacte waarheid.
De Data: Voor elk enkel videoframe biedt de dataset:
- De RGB-kleurenafbeelding (wat het oog ziet).
- Metrische Diepte: De exacte afstand tot elke pixel (zoals een laserscan).
- Intrinsieke Parameters: De exacte "lens"-instellingen (brandpuntsafstand).
- Posities: De exacte positie en hoek van elke camera.
De Analogie: Stel je een magische spiegel voor die je niet alleen een reflectie laat zien, maar je ook de exacte afstand tot elk object in de reflectie vertelt, het exacte type glas dat is gebruikt, en de exacte hoek waaronder de spiegel gekanteld is. Dat is wat deze dataset biedt.

3. Drie Verschillende "Examens"

Het artikel gooit de data niet zomaar ergens neer; het stelt drie specifieke manieren op om de robots (AI-modellen) te testen, afhankelijk van welke informatie ze mogen gebruiken:

Het "Spiekbriefje"-Examen (Tier G0): De robot krijgt het linkerbeeld plus het exacte antwoordblad (de ware diepte of een vervormde versie van het rechterbeeld). Dit test of de robot een afbeelding correct kan renderen wanneer hij de geometrie al kent.
Het "Hint"-Examen (Tier G1): De robot krijgt het linkerbeeld en een hint over de camera-instellingen (bijvoorbeeld: "de ogen zitten 10 cm uit elkaar"), maar hij weet de exacte diepte niet. Dit test of de robot camerametadata kan gebruiken om de 3D-vorm te raden.
Het "Blind"-Examen (Tier G2): De robot krijgt alleen het linkerbeeld en moet het rechterbeeld raden met zijn eigen interne denkvermogen. Dit is het moeilijkste test, waarbij wordt gecontroleerd of de robot de algemene regels van 3D-zicht heeft geleerd of dat hij gewoon de trainingsdata heeft uit het hoofd geleerd.

4. Waarom Dit Belangrijk Is

Het artikel laat zien dat wanneer je deze robots test op deze nieuwe benchmark, hun prestaties drastisch veranderen op basis van de "oog-afstand" (basislijn).

De Ontdekking: Sommige robots die er geweldig uitzien op standaardtests, vallen uiteen wanneer de camera-afstand breder wordt. Ze verliezen hun gevoel voor schaal.
De Analogie: Het is alsof een muzikant een nummer perfect kan spelen in een kleine kamer, maar verdwaalt wanneer de kamer enorm wordt. StereoGenBench bewijst dat de "grootte van de kamer" (de basislijn) een kritieke variabele is die huidige AI-modellen vaak negeren.

5. Wat Ze Vrijgegeven Hebben

De auteurs hebben niet alleen een artikel geschreven; ze openden de deuren naar de hele "rijopleiding". Ze hebben vrijgegeven:

De dataset (meer dan 8.000 scènes).
De code om nieuwe scènes te genereren.
De code om de tests uit te voeren.
Een lijst met "referentie-scores" die laat zien hoe huidige top-AI-modellen presteren op deze nieuwe test.

Kortom: StereoGenBench is een gecontroleerde, synthetische speelplaats waar onderzoekers eindelijk kunnen isoleren en meten hoe goed AI 3D-ruimte begrijpt wanneer de camera-instellingen veranderen, iets dat voorheen onmogelijk was om schoon te doen met real-world data.

Technische Samenvatting: StereoGenBench

Probleemstelling

De generatie van stereobeelden en -video's, de schatting van stereogeometrie en de conditie-gestuurde weergavesynthese vereisen fundamenteel gepaarde data waarbij de variabelen die de binoculaire geometrie beheersen – specifiek camera-basislijn, intrinsieke parameters, scènediepte en camerabeweging – bekend en controleerbaar zijn. Bestaande bronnen voldoen niet aan deze eis op twee hoofdmanieren:

Realistische benchmarks (bijv. KITTI, Cityscapes, DrivingStereo) fixeren de basislijn en intrinsieke parameters van de camera-opstelling op het moment van opname. Hoewel waardevol, vermengen zij het stereoschaal-gedrag van een methode met de specifieke scèneverdeling en de vaste hardwareconfiguratie die tijdens de opname is gebruikt. Metrische diepte is vaak spaarzaam of afwezig.
Synthetische bronnen (bijv. Scene Flow, SimStereo, StereoCarla) bieden dichte gerenderde supervisie maar behouden doorgaans vaste opstellingsconfiguraties en intrinsieke parameters. Zij bieden geen scènes-gepaarde, gekalibreerde multi-basislijn grondwahrheid waarbij de basislijn een gecontroleerde variabele is in plaats van een vaste storende parameter.

De auteurs betogen dat de basislijn geen storende variabele is; voor een gerectificeerd stereopaar schaalt de dispariteit als $d = B f_x z^{-1}$ . Het trainen en evalueren van methoden uitsluitend bij een vaste basislijn verdoezelt of de prestaties veranderen met de gerealiseerde basislijn, of of een gegenereerde weergave overeenkomt met een gespecificeerde doelfoto. Er is een gebrek aan bronnen die scènes-gepaarde, gekalibreerde multi-basislijn grondwahrheid voor de rechterweergave bieden met gezamenlijk opgenomen intrinsieke parameters, dichte metrische diepte en poses per frame in één gecontroleerde bron.

Methodologie: StereoGenBench

StereoGenBench is een synthetische benchmark gegenereerd met Unreal Engine, ontworpen om gevoeligheid voor basislijn-regimes en consistentie met de doelfoto meetbaar te maken onder overeenkomende scènesinhoud.

Data-generatiepijplijn

Zes-camera-opstelling: Elke scène wordt gerenderd met een stijve, gerectificeerde laterale array van zes gesynchroniseerde camera's. Deze configuratie levert tot $\binom{6}{2} = 15$ gekalibreerde weergaveparen per scène op.
Gecontroleerde variabelen: In tegenstelling tot eerdere synthetische datasets varieert StereoGenBench vier assen binnen één enkele bron, terwijl gepaarde grondwahrheid behouden blijft:
- Basislijn: Aanliggende afstanden worden bemonsterd uit specifieke regimes.
- Intrinsieke parameters: Brandpuntsafstand en sensordimensies worden onafhankelijk bemonsterd en opgenomen.
- Diepte: Dichte metrische diepte wordt voor elke camera gerenderd.
- Pose: Poses van de zes camera's per frame worden opgenomen.
Families voor bemonstering van basislijnen:
- IPD_Gaussian: Bemonstert aanliggende afstanden uit een afgeknotte Gauss-verdeling gecentreerd rond 6,38 cm (inter-pupillaire afstand), wat smalle-basislijn regimes weerspiegelt.
- Uniform: Bemonstert aanliggende afstanden uit een uniforme verdeling $U[1.0, 150.0]$ cm, wat een tak voor evaluatie met brede basislijn definieert.
- Pairwise_Uniform: Een uitsluitend voor training bedoelde familie ontworpen om de dekking van alle paren basislijnen te verbeteren wanneer de zes-camera-opstelling wordt uitgebreid naar alle 15 paren.
Scèneconstructie: Scènes worden geconstrueerd via een voorstel-en-filterproces met 25 kaarten (binnen, buiten, stedelijk, natuurlijk, sci-fi, gestileerd), 15 karakter-FBX-bestanden en 30 actie-FBX-bestanden. Trajecten worden gegenereerd door geldige gezichtspunten te bemonsteren en deze te verbinden tot paden van 81 frames, met herstart-en-voeg-procedures voor ongeldige overgangen.
Output: Elke scène bevat zes RGB-video's, zes metrische-diepte-video's en metadata-bestanden (baseline.json, trajectory.json) met intrinsieke parameters, basislijnen en poses. De resolutie is 1280 $\times$ 1280 bij 15 fps.

Benchmarkprotocol

De benchmark evalueert de generatie van de rechterweergave onder drie distincte inferentiecondities (niveaus) om verschillende onderzoeksvragen te scheiden:

Niveau G0 (Orakel-geometrie-geconditioneerd): Methodes ontvangen de linkerweergave ( $I_L$ ) plus geometrie van de doelweergave (bijv. grondwahrheid dispariteit, diepte, of een verwrongen rechterweergave). Dit meet de synthesekwaliteit onder bekende geometrie.
Niveau G1 (Gekalibreerde doelfoto): Methodes ontvangen $I_L$ en metadata van de doelfoto (basislijn $B$ en intrinsieke parameters $K$ ) maar geen grondwahrheid diepte.
Niveau G2 (Niet-uitgelijnde monoculair): Methodes ontvangen alleen $I_L$ en vertrouwen op hun eigen impliciete geometrie.

Evaluatiemetingen

Resultaten worden gerapporteerd met behulp van drie groepen metingen:

Reconstructiekwaliteit: PSNR, SSIM en LPIPS die gegenereerde ( $\hat{I}_R$ ) en gerenderde doel ( $I_R$ ) weergaven vergelijken.
Stereo-geometrie diagnostiek:
- $E_{Match}$ : Meet de verandering in de set van stereo-matchbare linkerbeeldstructuren wanneer de gerenderde rechterweergave wordt vervangen door de gegenereerde.
- P-PSNR: Een doel-vrije consistentiediagnostiek die lokale textuurgelijkenis meet.
- SD (Schaalafwijking): Meet de fideliteit van de dispariteitsschaal door $D_{gt} \approx a \hat{D} + b$ te fitten en $|a - 1|$ te rapporteren.
Distributiemetingen: FID (beeld) en FVD (video) die gegenereerde en gerenderde doelverdelingen vergelijken.

Belangrijkste bijdragen

Het artikel levert de volgende bijdragen:

StereoGenBench Dataset: Een scènes-gepaarde synthetische bron met een zes-camera gekalibreerde opstelling, dichte metrische diepte, intrinsieke parameters, basislijnen per paar en poses per frame.
Splitsontwerp: Een scheiding van evaluatie op schaal van smalle IPD, evaluatie met brede basislijn, en een uitsluitend voor training bedoelde familie voor alle paren om de dekking van basislijnen te verbeteren.
Benchmarkprotocol: Een gefaseerd evaluatiekader dat onderscheid maakt tussen orakel-geometrie-geconditioneerde, gekalibreerde doelfoto- en niet-uitgelijnde monoculaire inferentie-instellingen.
Open release: Publieke beschikbaarheid van de dataset, evaluatiecode, referentieresultaten, Croissant-metadata en de volledige generatiepijplijn, wat extensies met aangepaste middelen mogelijk maakt.

Referentieresultaten

De auteurs rapporteren resultaten op 739 evaluatiescènes (gesplitst in subsets van waargenomen- en niet-waargenomen kaarten) met behulp van representatieve publieke methodes.

Verschillen tussen niveaus: Zoals verwacht bereiken orakel-geometrie-geconditioneerde methodes (G0) sterkere pixeluitlijning (hogere PSNR/SSIM) omdat hun invoer is verankerd aan grondwahrheid. Niet-uitgelijnde monoculaire methodes (G2) vertonen een grotere drift in dispariteitsschaal (hogere SD) omdat hun uitvoer niet is verankerd aan de doelfoto van de benchmark.
Gevoeligheid voor basislijn: De benchmark isoleert succesvol effecten van de basislijn. Bijvoorbeeld, in de Uniform-tak stijgt de SD van de G2-methode Mono2Stereo monotoon van 2,63 bij [1, 10) cm tot 50,85 bij [100, 150] cm. Daarentegen blijft de G0-methode GenStereo stabiel (0,03–0,09) over dezelfde bins.
Moeilijkheidsgraad: De Uniform-tak (brede basislijn) is over het algemeen moeilijker dan de IPD_Gaussian-tak, wat grotere gerealiseerde dispariteiten en meer disocclusie weerspiegelt.
Generalisatie: Resultaten voor niet-waargenomen kaarten tonen aan dat hoewel matchbaarheid ( $E_{Match}$ ) relatief stabiel blijft, distributiemetingen (FID/FVD) grotere kloven tonen tussen waargenomen en niet-waargenomen kaarten, wat wijst op gevoeligheid voor visuele priors.

Betekenis en claims

Het artikel positioneert StereoGenBench als een aanvullende bron voor bestaande realistische en synthetische benchmarks, in plaats van een vervanging. De primaire betekenis ligt in het isoleren van de basislijnvariabele voor evaluatie van stereogeneratie. Door overeenkomende scènesinhoud te renderen onder verschillende gekalibreerde basislijnregimes, stelt de benchmark onderzoekers in staat om:

Te bepalen of prestaties veranderen met de gerealiseerde basislijn.
Te verifiëren of een gegenereerde rechterweergave overeenkomt met een gespecificeerde doelfoto.
Te diagnosticeren of methodes gebruikmaken van gekalibreerde doelfoto-interfaces of stereobeelden produceren op een voorkeurs-impliciete schaal.

De auteurs stellen expliciet dat resultaten op deze synthetische dataset niet mogen worden behandeld als direct bewijs van prestaties in de echte wereld zonder afzonderlijke correlatiestudies. De benchmark is bedoeld voor het evalueren van geometrie-bewuste taken (stereogeneratie, matching, diepteschatting) onder gecontroleerde omstandigheden, niet voor surveillance, biometrische identificatie of demografische analyse. De release maakt toekomstige studies mogelijk over basislijn-conditionering, stereogeneratie met meerdere paren en sim-naar-real correlatie.