💻 computer science

StereoGenBench: A Synthetic Multi-Camera Benchmark for Stereo Generation under Controlled Baseline Regimes

Das Papier stellt StereoGenBench vor, einen synthetischen Unreal-Engine-Benchmark, der ein starres Sechs-Kamera-Array mit szenenpaarigen, kalibrierten Multi-Baseline-Stereodaten und vollständigen geometrischen Metadaten (RGB, metrische Tiefe, Intrinsika und Posen) bereitstellt, um eine kontrollierte Evaluierung der Stereogenerierung unter variierenden Baseline-Regimen zu ermöglichen.

Ursprüngliche Autoren: Yangzhi Cui, Feng Qiao, Nathan Jacobs

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yangzhi Cui, Feng Qiao, Nathan Jacobs

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt dreidimensional zu sehen, genau so, wie Menschen dies mit zwei Augen tun. Um dies zu erreichen, muss der Roboter stereoskopisches Sehen verstehen: wie der Abstand zwischen seinen Augen (die „Basislinie") beeinflusst, wie Objekte aussehen.

Das Problem ist, dass die meisten bestehenden Trainingsdaten für diese Roboter wie ein Fotoalbum sind, in dem jedes Bild mit exakt demselben Kamerasetup aufgenommen wurde. Der Abstand zwischen den Objektiven ändert sich nie, der Zoom ändert sich nie, und die Tiefe wird oft geraten statt gemessen. Wenn Sie einen Roboter nur auf diesen festen Fotos trainieren, gerät er in Verwirrung, wenn er eine reale Szene sieht, bei der der Kamerabstand anders ist. Es ist, als würde man jemanden nur auf einer geraden, leeren Autobahn mit 30 Meilen pro Stunde fahren lassen und dann erwarten, dass er eine kurvige Bergstraße mit 100 Meilen pro Stunde bewältigt.

StereoGenBench ist eine neue, synthetische (computergenerierte) „Fahrschule", die entwickelt wurde, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Sechs-Augen"-Kamerarig

Anstatt ein Standard-Setup mit zwei Kameras zu verwenden, bauten die Forscher eine virtuelle Rig mit sechs Kameras, die nebeneinander aufgereiht sind, wie eine Reihe von Überwachungskameras oder eine Reihe von Augen auf einem Insekt.

Die Magie: Da es sechs Kameras gibt, können sie 15 verschiedene Paare von „linkem Auge" und „rechtem Auge" aus exakt derselben Szene erstellen.
Die Kontrolle: Sie können diese Kameras mischen und zusammenstellen, um winzige Abstände zwischen den Augen (wie menschliche Augen) oder riesige Abstände (wie Kameras auf gegenüberliegenden Seiten eines Raums) zu simulieren. Dies ermöglicht es ihnen, zu testen, wie gut ein Roboter mit verschiedenen „Augenabständen" umgeht.

2. Die „perfekt beschriftete" Welt

In der realen Welt ist es sehr schwierig, genau zu wissen, wie weit ein Objekt entfernt ist oder wie genau die Kamera bewegt wurde.

Die Lösung: StereoGenBench ist innerhalb einer Spiele-Engine (Unreal Engine) aufgebaut. Da der Computer die Szene erstellt hat, kennt er die exakte Wahrheit.
Die Daten: Für jeden einzelnen Videoframe liefert der Datensatz:
- Das RGB-Farbbild (was das Auge sieht).
- Metrische Tiefe: Die exakte Entfernung zu jedem Pixel (wie ein Laserscan).
- Intrinsische Parameter: Die exakten „Objektiv"-Einstellungen (Brennweite).
- Posen: Die exakte Position und der Winkel jeder Kamera.
Die Analogie: Stellen Sie sich einen magischen Spiegel vor, der Ihnen nicht nur eine Reflexion zeigt, sondern Ihnen auch die exakte Entfernung zu jedem Objekt in der Reflexion, die exakte Art des verwendeten Glases und den exakten Winkel, in dem der Spiegel geneigt ist, mitteilt. Das ist es, was dieser Datensatz liefert.

3. Drei verschiedene „Prüfungen"

Die Arbeit wirft nicht nur die Daten herunter; sie richtet drei spezifische Wege ein, um die Roboter (KI-Modelle) zu testen, abhängig davon, welche Informationen ihnen erlaubt sind:

Die „Spickzettel"-Prüfung (Tier G0): Der Roboter erhält das linke Bild plus den exakten Lösungsschlüssel (die wahre Tiefe oder eine verzerrte Version des rechten Bildes). Dies testet, ob der Roboter ein Bild korrekt rendern kann, wenn er die Geometrie bereits kennt.
Die „Hinweis"-Prüfung (Tier G1): Der Roboter erhält das linke Bild und einen Hinweis über die Kameraeinstellungen (z. B. „die Augen sind 10 cm voneinander entfernt"), aber er kennt die exakte Tiefe nicht. Dies testet, ob der Roboter Kamerametadaten nutzen kann, um die 3D-Form zu erraten.
Die „Blind"-Prüfung (Tier G2): Der Roboter erhält nur das linke Bild und muss das rechte Bild mit seiner eigenen inneren Denkkraft erraten. Dies ist der härteste Test, der prüft, ob der Roboter die allgemeinen Regeln des 3D-Sehens gelernt hat oder ob er nur die Trainingsdaten auswendig gelernt hat.

4. Warum dies wichtig ist

Die Arbeit zeigt, dass sich die Leistung dieser Roboter, wenn sie auf diesem neuen Benchmark getestet werden, drastisch ändert, basierend auf dem „Augenabstand" (Basislinie).

Die Entdeckung: Einige Roboter, die bei Standardtests großartig aussehen, fallen auseinander, wenn der Kamerabstand größer wird. Sie verlieren ihr Größenempfinden.
Die Analogie: Es ist wie ein Musiker, der ein Lied perfekt in einem kleinen Raum spielen kann, aber verloren geht, wenn der Raum riesig wird. StereoGenBench beweist, dass die „Größe des Raums" (die Basislinie) eine kritische Variable ist, die aktuelle KI-Modelle oft ignorieren.

5. Was sie veröffentlicht haben

Die Autoren haben nicht nur eine Arbeit geschrieben; sie öffneten die Türen zur gesamten „Fahrschule". Sie veröffentlichten:

Den Datensatz (über 8.000 Szenen).
Den Code zum Generieren neuer Szenen.
Den Code zum Ausführen der Tests.
Eine Liste von „Referenzwerten", die zeigt, wie aktuelle Top-KI-Modelle bei diesem neuen Test abschneiden.

Kurz gesagt: StereoGenBench ist ein kontrollierter, synthetischer Spielplatz, in dem Forscher endlich isolieren und messen können, wie gut KI 3D-Räume versteht, wenn sich die Kameraeinstellungen ändern – etwas, das zuvor mit realen Daten nicht sauber möglich war.

Technische Zusammenfassung: StereoGenBench

Problemstellung

Die Generierung von Stereo-Bildern und -Videos, die Schätzung von Stereo-Geometrie sowie die bedingte View-Synthese erfordern grundlegend gepaarte Daten, bei denen die Variablen, die die binokulare Geometrie steuern – spezifisch Kamerabaseline, Intrinsika, Szenentiefe und Kamerabewegung – bekannt und kontrollierbar sind. Bestehende Ressourcen erfüllen diese Anforderung in zwei Hauptaspekten nicht:

Realwelt-Benchmarks (z. B. KITTI, Cityscapes, DrivingStereo) fixieren die Baseline und Intrinsika des Kamerarigs zum Zeitpunkt der Aufnahme. Obwohl sie wertvoll sind, vermischen sie das stereo-skalierte Verhalten einer Methode mit der spezifischen Szenenverteilung und der festen Hardwarekonfiguration, die während der Aufnahme verwendet wurde. Metrische Tiefe ist oft spärlich oder fehlt.
Synthetische Ressourcen (z. B. Scene Flow, SimStereo, StereoCarla) bieten dichte gerenderte Supervision, behalten jedoch typischerweise feste Rig-Konfigurationen und Intrinsika bei. Sie bieten keine szenengepaarte, kalibrierte Multi-Baseline-Grundwahrheit, bei der die Baseline eine kontrollierte Variable und kein fester Störfaktor ist.

Die Autoren argumentieren, dass die Baseline keine Störvariable ist; für ein rektifiziertes Stereopaar skaliert die Disparität als $d = B f_x z^{-1}$ . Das Trainieren und Bewerten von Methoden nur bei einer festen Baseline verschleiert, ob sich die Leistung mit der realisierten Baseline ändert oder ob eine generierte Ansicht einer spezifizierten Zielkamera entspricht. Es fehlt an Ressourcen, die szenengepaarte, kalibrierte Multi-Baseline-Grundwahrheit für die rechte Ansicht mit gemeinsam aufgezeichneten Intrinsika, dichter metrischer Tiefe und pro-Frame-Posen aus einer einzigen kontrollierten Quelle bereitstellen.

Methodik: StereoGenBench

StereoGenBench ist ein synthetischer Benchmark, der mit Unreal Engine generiert wurde und entwickelt wurde, um die Empfindlichkeit gegenüber Baseline-Bereichen und die Konsistenz mit der Zielkamera bei übereinstimmendem Szeneninhalt messbar zu machen.

Daten-Generierungspipeline

Sechs-Kamera-Rig: Jede Szene wird mit einem starren, rektifizierten lateralen Array von sechs synchronisierten Kameras gerendert. Diese Konfiguration ergibt bis zu $\binom{6}{2} = 15$ kalibrierte Ansichtspaare pro Szene.
Kontrollierte Variablen: Im Gegensatz zu früheren synthetischen Datensätzen variiert StereoGenBench vier Achsen innerhalb einer einzigen Quelle, während die gepaarte Grundwahrheit erhalten bleibt:
- Baseline: Benachbarte Abstände werden aus spezifischen Bereichen abgetastet.
- Intrinsika: Brennweite und Sensordimensionen werden unabhängig voneinander abgetastet und aufgezeichnet.
- Tiefe: Dichte metrische Tiefe wird für jede Kamera gerendert.
- Pose: Pro-Frame-Posen der sechs Kameras werden aufgezeichnet.
Baseline-Abtastfamilien:
- IPD_Gaussian: Abtastung benachbarter Abstände aus einer abgeschnittenen Gaußverteilung mit einem Mittelwert von 6,38 cm (Interpupillardistanz), was schmale Baseline-Bereiche widerspiegelt.
- Uniform: Abtastung benachbarter Abstände aus einer Gleichverteilung $U[1,0, 150,0]$ cm, was einen Ast für die Evaluation mit weiter Baseline definiert.
- Pairwise_Uniform: Eine nur für das Training vorgesehene Familie, die entwickelt wurde, um die Abdeckung aller Paare zu verbessern, wenn das Sechs-Kamera-Rig auf alle 15 Paare erweitert wird.
Szenenkonstruktion: Szenen werden durch einen Vorschlags- und Filterprozess konstruiert, der 25 Karten (Indoor, Outdoor, urban, natürlich, Sci-Fi, stilisiert), 15 Charakter-FBX-Dateien und 30 Aktions-FBX-Dateien umfasst. Trajektorien werden generiert, indem gültige Blickwinkel abgetastet und zu 81-Frame-Pfaden verbunden werden, wobei für ungültige Übergänge Neustart- und Spleißverfahren angewendet werden.
Ausgabe: Jede Szene enthält sechs RGB-Videos, sechs metrische Tiefenvideos und Metadateien (baseline.json, trajectory.json), die Intrinsika, Baselines und Posen enthalten. Die Auflösung beträgt 1280 $\times$ 1280 bei 15 fps.

Benchmark-Protokoll

Der Benchmark bewertet die Generierung der rechten Ansicht unter drei verschiedenen Inferenzbedingungen (Stufen), um unterschiedliche Forschungsfragen zu trennen:

Stufe G0 (Oracle-geometriebedingt): Methoden erhalten die linke Ansicht ( $I_L$ ) plus die Geometrie der Zielansicht (z. B. Ground-Truth-Disparität, Tiefe oder eine gewarppte rechte Ansicht). Dies misst die Synthesequalität bei bekannter Geometrie.
Stufe G1 (Kalibrierte Zielkamera): Methoden erhalten $I_L$ und Metadaten der Zielkamera (Baseline $B$ und Intrinsika $K$ ), aber keine Ground-Truth-Tiefe.
Stufe G2 (Unausgerichtete Monokular): Methoden erhalten nur $I_L$ und verlassen sich auf ihre eigene implizite Geometrie.

Evaluationsmetriken

Die Ergebnisse werden unter Verwendung von drei Gruppen von Metriken berichtet:

Rekonstruktionsqualität: PSNR, SSIM und LPIPS, die generierte ( $\hat{I}_R$ ) und gerenderte Ziel ( $I_R$ ) Ansichten vergleichen.
Stereo-Geometrie-Diagnostik:
- $E_{Match}$ : Misst die Änderung der Menge der stereo-matchingfähigen Strukturen des linken Bildes, wenn die gerenderte rechte Ansicht durch die generierte ersetzt wird.
- P-PSNR: Eine zielfreie Konsistenzdiagnostik, die lokale Textursimilarität misst.
- SD (Skalenabweichung): Misst die Disparitätsskalen-Treue durch Anpassung von $D_{gt} \approx a \hat{D} + b$ und Berichterstattung von $|a - 1|$ .
Verteilungsmetriken: FID (Bild) und FVD (Video), die generierte und gerenderte Zielverteilungen vergleichen.

Hauptbeiträge

Der Beitrag des Papiers umfasst:

StereoGenBench-Datensatz: Eine szenengepaarte synthetische Ressource mit einem kalibrierten Sechs-Kamera-Rig, dichter metrischer Tiefe, Intrinsika, Baselines pro Paar und Posen pro Frame.
Split-Design: Eine Trennung der Evaluation im schmalen IPD-Maßstab, der Evaluation mit weiter Baseline und einer nur für das Training vorgesehenen Familie für alle Paare zur Verbesserung der Baseline-Abdeckung.
Benchmark-Protokoll: Ein gestuftes Evaluationsframework, das zwischen oracle-geometriebedingten, kalibrierten zielkamera-basierten und unausgerichteten monokularen Inferenzeinstellungen unterscheidet.
Offene Veröffentlichung: Öffentliche Verfügbarkeit des Datensatzes, des Evaluationscodes, von Referenzergebnissen, Croissant-Metadaten und der vollständigen Generierungspipeline, was Erweiterungen mit benutzerdefinierten Assets ermöglicht.

Referenzergebnisse

Die Autoren berichten über Ergebnisse an 739 Evaluierungsszenen (aufgeteilt in Teilmengen mit gesehener und ungesehener Karte) unter Verwendung repräsentativer öffentlicher Methoden.

Stufenunterschiede: Wie erwartet erzielen oracle-geometriebedingte Methoden (G0) eine stärkere Pixelausrichtung (höherer PSNR/SSIM), da ihre Eingaben an die Grundwahrheit gebunden sind. Unausgerichtete monokulare Methoden (G2) zeigen eine größere Disparitätsskalen-Drift (höheres SD), da ihre Ausgaben nicht an die Benchmark-Zielkamera gebunden sind.
Baseline-Empfindlichkeit: Der Benchmark isoliert Baseline-Effekte erfolgreich. Beispielsweise steigt im Uniform-Ast das SD der G2-Methode Mono2Stereo monoton von 2,63 im Bereich [1, 10) cm auf 50,85 im Bereich [100, 150] cm. Im Gegensatz dazu bleibt die G0-Methode GenStereo über dieselben Bins hinweg stabil (0,03–0,09).
Schwierigkeit: Der Uniform-Ast (weite Baseline) ist im Allgemeinen schwieriger als der IPD_Gaussian-Ast, was größere realisierte Disparitäten und mehr Disokklusion widerspiegelt.
Generalisierung: Ergebnisse mit ungesehenen Karten zeigen, dass zwar die Matchingfähigkeit ( $E_{Match}$ ) relativ stabil bleibt, Verteilungsmetriken (FID/FVD) jedoch größere Lücken zwischen gesehenen und ungesehenen Karten aufweisen, was eine Empfindlichkeit gegenüber visuellen Priors anzeigt.

Bedeutung und Behauptungen

Das Papier positioniert StereoGenBench als ergänzende Ressource zu bestehenden Realwelt- und synthetischen Benchmarks, nicht als Ersatz. Seine primäre Bedeutung liegt in der Isolierung der Baseline-Variablen für die Evaluation der Stereo-Generierung. Durch das Rendern von übereinstimmendem Szeneninhalt unter verschiedenen kalibrierten Baseline-Bereichen ermöglicht der Benchmark Forschern:

Zu bestimmen, ob sich die Leistung mit der realisierten Baseline ändert.
Zu verifizieren, ob eine generierte rechte Ansicht einer spezifizierten Zielkamera entspricht.
Zu diagnostizieren, ob Methoden kalibrierte Zielkamera-Schnittstellen verwenden oder Stereo bei einer bevorzugten impliziten Skala produzieren.

Die Autoren stellen ausdrücklich fest, dass Ergebnisse auf diesem synthetischen Datensatz ohne separate Korrelationsstudien nicht als direkter Nachweis für die Leistung in der Realwelt behandelt werden sollten. Der Benchmark dient der Evaluation von geometriebewussten Aufgaben (Stereo-Generierung, Matching, Tiefenschätzung) unter kontrollierten Bedingungen, nicht für Überwachung, biometrische Identifizierung oder demografische Analysen. Die Veröffentlichung ermöglicht zukünftige Studien zur Baseline-Bedingung, zur Stereo-Generierung mit Mehrfachpaaren und zur Korrelation zwischen Simulation und Realität.