💻 computer science

StereoGenBench: A Synthetic Multi-Camera Benchmark for Stereo Generation under Controlled Baseline Regimes

Le papier présente StereoGenBench, un benchmark synthétique Unreal Engine intégrant un réseau rigide de six caméras fournissant des données stéréo multi-bases calibrées et appariées par scène, accompagnées de métadonnées géométriques complètes (RGB, profondeur métrique, paramètres intrinsèques et poses), afin de permettre une évaluation contrôlée de la génération stéréo dans des régimes de base variables.

Auteurs originaux : Yangzhi Cui, Feng Qiao, Nathan Jacobs

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yangzhi Cui, Feng Qiao, Nathan Jacobs

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment voir le monde en 3D, tout comme les humains le font avec deux yeux. Pour ce faire, le robot doit comprendre la vision stéréoscopique : comment la distance entre ses yeux (la « base ») modifie l'apparence des objets.

Le problème est que la plupart des données d'entraînement existantes pour ces robots ressemblent à un album photo où chaque image a été prise avec exactement le même montage d'appareil photo. La distance entre les objectifs ne change jamais, le zoom ne change jamais, et la profondeur est souvent devinée plutôt que mesurée. Si vous entraînez un robot uniquement sur ces photos fixes, il se perd lorsqu'il voit une scène du monde réel où l'espacement des caméras est différent. C'est comme enseigner à quelqu'un de conduire uniquement sur une autoroute droite et vide à 48 km/h, puis s'attendre à ce qu'il gère une route de montagne sinueuse à 160 km/h.

StereoGenBench est une nouvelle « école de conduite » synthétique (générée par ordinateur) conçue pour résoudre ce problème. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le montage photographique « Six Yeux »

Au lieu d'utiliser un montage standard à deux caméras, les chercheurs ont construit un montage virtuel avec six caméras alignées côte à côte, comme une rangée de caméras de surveillance ou une rangée d'yeux sur un insecte.

La Magie : Parce qu'il y a six caméras, ils peuvent créer 15 paires différentes de vues « œil gauche » et « œil droit » à partir exactement de la même scène.
Le Contrôle : Ils peuvent mélanger et assortir ces caméras pour simuler de minuscules distances entre les yeux (comme les yeux humains) ou d'énormes distances (comme des caméras de part et d'autre d'une pièce). Cela leur permet de tester la capacité d'un robot à gérer différents « espacements d'yeux ».

2. Le Monde « Parfaitement Étiqueté »

Dans le monde réel, il est très difficile de savoir exactement à quelle distance se trouve un objet ou exactement comment la caméra s'est déplacée.

La Solution : StereoGenBench est construit à l'intérieur d'un moteur de jeu (Unreal Engine). Parce que l'ordinateur a créé la scène, il connaît la vérité exacte.
Les Données : Pour chaque image vidéo, l'ensemble de données fournit :
- L'image couleur RVB (ce que l'œil voit).
- La Profondeur Métrique : La distance exacte à chaque pixel (comme une numérisation laser).
- Les Intrinsèques : Les réglages exacts de l'« objectif » (distance focale).
- Les Poses : La position et l'angle exacts de chaque caméra.
L'Analogie : Imaginez un miroir magique qui, non seulement vous montre un reflet, mais vous indique également la distance exacte à chaque objet dans le reflet, le type exact de verre utilisé et l'angle exact auquel le miroir est incliné. C'est ce que fournit cet ensemble de données.

3. Trois « Examens » Différents

L'article ne se contente pas de verser les données ; il établit trois manières spécifiques de tester les robots (modèles d'IA), selon les informations qu'ils ont le droit d'utiliser :

L'Examen « Copie Conforme » (Niveau G0) : Le robot reçoit l'image de gauche plus la clé de réponse exacte (la vraie profondeur ou une version déformée de l'image de droite). Cela teste si le robot peut rendre une image correctement lorsqu'il connaît déjà la géométrie.
L'Examen « Indice » (Niveau G1) : Le robot reçoit l'image de gauche et un indice sur les réglages de la caméra (par exemple, « les yeux sont espacés de 10 cm »), mais il ne connaît pas la profondeur exacte. Cela teste si le robot peut utiliser les métadonnées de la caméra pour deviner la forme 3D.
L'Examen « Aveugle » (Niveau G2) : Le robot ne reçoit que l'image de gauche et doit deviner l'image de droite en utilisant sa propre puissance cérébrale interne. C'est le test le plus difficile, vérifiant si le robot a appris les règles générales de la vision 3D ou s'il a simplement mémorisé les données d'entraînement.

4. Pourquoi Cela Compte

L'article montre que lorsque vous testez ces robots sur cette nouvelle référence, leurs performances changent radicalement en fonction de l'« espacement des yeux » (la base).

La Découverte : Certains robots qui semblent excellents sur les tests standards s'effondrent lorsque l'espacement des caméras s'élargit. Ils perdent leur sens de l'échelle.
L'Analogie : C'est comme un musicien qui peut jouer une chanson parfaitement dans une petite pièce mais qui se perd lorsque la pièce devient immense. StereoGenBench prouve que la « taille de la pièce » (la base) est une variable critique que les modèles d'IA actuels ignorent souvent.

5. Ce Qu'ils Ont Publié

Les auteurs n'ont pas seulement écrit un article ; ils ont ouvert les portes de toute l'« école de conduite ». Ils ont publié :

L'ensemble de données (plus de 8 000 scènes).
Le code pour générer de nouvelles scènes.
Le code pour exécuter les tests.
Une liste de « scores de référence » montrant comment les meilleurs modèles d'IA actuels se comportent sur ce nouveau test.

En bref : StereoGenBench est un terrain de jeu contrôlé et synthétique où les chercheurs peuvent enfin isoler et mesurer à quel point l'IA comprend l'espace 3D lorsque les réglages de la caméra changent, quelque chose qui était impossible à faire proprement avec des données du monde réel auparavant.

Résumé Technique : StereoGenBench

Énoncé du Problème

La génération d'images et de vidéos stéréo, l'estimation de la géométrie stéréo et la synthèse de vue conditionnée nécessitent fondamentalement des données appariées où les variables régissant la géométrie binoculaire — spécifiquement la base stéréo, les paramètres intrinsèques, la profondeur de la scène et le mouvement de la caméra — sont connues et contrôlables. Les ressources existantes ne répondent pas à cette exigence de deux manières principales :

Les benchmarks du monde réel (par exemple, KITTI, Cityscapes, DrivingStereo) fixent la base et les paramètres intrinsèques du rig de caméras au moment de la capture. Bien que précieux, ils confondent le comportement à l'échelle stéréo d'une méthode avec la distribution spécifique de la scène et la configuration matérielle fixe utilisées lors de la capture. La profondeur métrique est souvent sparse ou absente.
Les ressources synthétiques (par exemple, Scene Flow, SimStereo, StereoCarla) fournissent une supervision rendue dense mais conservent généralement des configurations de rig fixes et des paramètres intrinsèques constants. Elles n'offrent pas de vérité terrain multi-base étalonnée et appariée par scène où la base est une variable contrôlée plutôt qu'un paramètre de nuisance fixe.

Les auteurs soutiennent que la base n'est pas une variable de nuisance ; pour une paire stéréo redressée, la disparité évolue selon $d = B f_x z^{-1}$ . L'entraînement et l'évaluation des méthodes uniquement à une base fixe masquent si les performances varient avec la base réalisée ou si une vue générée correspond à une caméra cible spécifiée. Il manque des ressources fournissant une vérité terrain de vue droite multi-base étalonnée et appariée par scène, avec des paramètres intrinsèques enregistrés conjointement, une profondeur métrique dense et des poses par image dans une seule source contrôlée.

Méthodologie : StereoGenBench

StereoGenBench est un benchmark synthétique généré avec Unreal Engine, conçu pour rendre mesurables la sensibilité au régime de base et la cohérence avec la caméra cible sous un contenu de scène apparié.

Pipeline de Génération de Données

Rig de six caméras : Chaque scène est rendue à l'aide d'un réseau latéral rigide et redressé de six caméras synchronisées. Cette configuration produit jusqu'à $\binom{6}{2} = 15$ paires de vues étalonnées par scène.
Variables contrôlées : Contrairement aux jeux de données synthétiques précédents, StereoGenBench fait varier quatre axes au sein d'une seule source tout en préservant la vérité terrain appariée :
- Base : Les espacements adjacents sont échantillonnés à partir de régimes spécifiques.
- Paramètres intrinsèques : La longueur focale et les dimensions du capteur sont échantillonnées indépendamment et enregistrées.
- Profondeur : Une profondeur métrique dense est rendue pour chaque caméra.
- Pose : Les poses des six caméras par image sont enregistrées.
Familles d'échantillonnage de base :
- IPD_Gaussian : Échantillonne les espacements adjacents à partir d'une gaussienne tronquée centrée à 6,38 cm (distance interpupillaire), reflétant les régimes à base étroite.
- Uniforme : Échantillonne les espacements adjacents à partir d'une distribution uniforme $U[1,0, 150,0]$ cm, définissant une branche d'évaluation à large base.
- Pairwise_Uniform : Une famille réservée à l'entraînement conçue pour améliorer la couverture de toutes les paires de bases lorsque le rig de six caméras est étendu aux 15 paires possibles.
Construction de scènes : Les scènes sont construites via un processus de proposition et de filtrage impliquant 25 cartes (intérieures, extérieures, urbaines, naturelles, science-fiction, stylisées), 15 fichiers FBX de personnages et 30 fichiers FBX d'actions. Les trajectoires sont générées en échantillonnant des points de vue valides et en les connectant en chemins de 81 images, avec des procédures de redémarrage et de collage pour les transitions invalides.
Sortie : Chaque scène comprend six vidéos RGB, six vidéos de profondeur métrique et des fichiers de métadonnées (baseline.json, trajectory.json) contenant les paramètres intrinsèques, les bases et les poses. La résolution est de 1280 $\times$ 1280 à 15 ips.

Protocole de Benchmark

Le benchmark évalue la génération de vue droite dans trois conditions d'inférence distinctes (niveaux) pour séparer différentes questions de recherche :

Niveau G0 (Conditionné par la géométrie Oracle) : Les méthodes reçoivent la vue gauche ( $I_L$ ) plus la géométrie de la vue cible (par exemple, disparité, profondeur ou vue droite déformée de vérité terrain). Cela mesure la qualité de synthèse sous géométrie connue.
Niveau G1 (Caméra cible étalonnée) : Les méthodes reçoivent $I_L$ et les métadonnées de la caméra cible (base $B$ et paramètres intrinsèques $K$ ) mais aucune profondeur de vérité terrain.
Niveau G2 (Monoculaire non aligné) : Les méthodes ne reçoivent que $I_L$ et s'appuient sur leur propre géométrie implicite.

Métriques d'Évaluation

Les résultats sont rapportés en utilisant trois groupes de métriques :

Qualité de reconstruction : PSNR, SSIM et LPIPS comparant les vues générées ( $\hat{I}_R$ ) et les vues cibles rendues ( $I_R$ ).
Diagnostics de géométrie stéréo :
- $E_{Match}$ : Mesure le changement dans l'ensemble des structures de l'image gauche correspondables en stéréo lorsque la vue droite rendue est remplacée par la vue générée.
- P-PSNR : Un diagnostic de cohérence sans cible mesurant la similarité de texture locale.
- SD (Déviation d'échelle) : Mesure la fidélité de l'échelle de disparité en ajustant $D_{gt} \approx a \hat{D} + b$ et en rapportant $|a - 1|$ .
Métriques distributionnelles : FID (image) et FVD (vidéo) comparant les distributions générées et les distributions cibles rendues.

Contributions Clés

L'article contribue :

Jeu de données StereoGenBench : Une ressource synthétique appariée par scène dotée d'un rig de six caméras étalonné, d'une profondeur métrique dense, de paramètres intrinsèques, de bases par paire et de poses par image.
Conception de la séparation : Une séparation de l'évaluation à l'échelle IPD étroite, de l'évaluation à large base et d'une famille de toutes les paires réservée à l'entraînement pour améliorer la couverture de base.
Protocole de benchmark : Un cadre d'évaluation en niveaux distinguant les contextes d'inférence conditionnés par la géométrie oracle, par caméra cible étalonnée et monoculaire non alignée.
Publication ouverte : Disponibilité publique du jeu de données, du code d'évaluation, des résultats de référence, des métadonnées Croissant et du pipeline de génération complet, permettant des extensions avec des assets personnalisés.

Résultats de Référence

Les auteurs rapportent des résultats sur 739 scènes d'évaluation (divisées en sous-ensembles de cartes vues et non vues) en utilisant des méthodes publiques représentatives.

Différences de niveaux : Comme prévu, les méthodes conditionnées par la géométrie oracle (G0) atteignent un alignement pixel plus fort (PSNR/SSIM plus élevés) car leurs entrées sont ancrées sur la vérité terrain. Les méthodes monoculaires non alignées (G2) présentent une dérive d'échelle de disparité plus importante (SD plus élevé) car leurs sorties ne sont pas ancrées sur la caméra cible du benchmark.
Sensibilité à la base : Le benchmark isole avec succès les effets de la base. Par exemple, dans la branche Uniforme, le SD de la méthode G2 Mono2Stereo augmente de manière monotone de 2,63 dans la plage [1, 10) cm à 50,85 dans la plage [100, 150] cm. En revanche, la méthode G0 GenStereo reste stable (0,03–0,09) sur les mêmes intervalles.
Difficulté : La branche Uniforme (large base) est généralement plus difficile que la branche IPD_Gaussian, reflétant des disparités réalisées plus importantes et plus de désocclusion.
Généralisation : Les résultats sur les cartes non vues montrent que si la correspondance ( $E_{Match}$ ) reste relativement stable, les métriques distributionnelles (FID/FVD) présentent des écarts plus importants entre les cartes vues et non vues, indiquant une sensibilité aux priors visuels.

Importance et Revendications

L'article positionne StereoGenBench comme une ressource complémentaire aux benchmarks réels et synthétiques existants, plutôt que comme un remplacement. Son importance principale réside dans l'isolation de la variable de base pour l'évaluation de la génération stéréo. En rendant un contenu de scène apparié sous différents régimes de base étalonnés, le benchmark permet aux chercheurs de :

Déterminer si les performances varient avec la base réalisée.
Vérifier si une vue droite générée correspond à une caméra cible spécifiée.
Diagnostiquer si les méthodes utilisent des interfaces de caméra cible étalonnées ou produisent du stéréo à une échelle implicite préférée.

Les auteurs déclarent explicitement que les résultats sur ce jeu de données synthétique ne doivent pas être traités comme une preuve directe de performances dans le monde réel sans études de corrélation séparées. Le benchmark est destiné à l'évaluation de tâches conscientes de la géométrie (génération stéréo, appariement, estimation de profondeur) dans des conditions contrôlées, et non pour la surveillance, l'identification biométrique ou l'analyse démographique. La publication permet de futures études sur la conditionnement par base, la génération stéréo multi-paires et la corrélation sim-to-réal.