💻 computer science

Can These Views Be One Scene? Evaluating Multiview 3D Consistency when 3D Foundation Models Hallucinate

Cet article présente \benchmark, un benchmark robuste et une famille de métriques basées sur COLMAP qui démontrent comment les modèles de fondation 3D actuels peuvent halluciner une géométrie à partir d'entrées non pertinentes ou bruyantes, offrant une évaluation de la cohérence nettement plus fiable que les méthodes neuronales existantes en s'alignant mieux sur le jugement humain.

Auteurs originaux : Soumava Paul, Prakhar Kaushik, Alan Yuille

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Soumava Paul, Prakhar Kaushik, Alan Yuille

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Illusion « Magique 3D »

Imaginez que vous êtes un détective essayant de déterminer si un groupe de photos a été pris dans la même pièce.

Scénario A : Vous avez 10 photos d'un salon sous différents angles. Facile ! Elles montrent clairement une seule pièce.
Scénario B : Vous avez 5 photos d'un salon et 5 photos d'une cuisine mélangées.
Scénario C : Vous avez 10 photos de bruit statique (comme la neige sur une télévision).

Par le passé, les ordinateurs étaient mauvais dans cette tâche. Mais récemment, de nouveaux « modèles 3D d'IA » ont été inventés, capables de transformer des photos 2D en formes 3D à une vitesse incroyable. Le problème, c'est que ces modèles d'IA sont trop désireux de plaire.

Même si vous leur donnez un mélange de cuisine et de salon, ou simplement de la neige aléatoire d'une télévision, l'IA tentera toujours de construire un modèle 3D. Elle va « halluciner » (inventer) une forme 3D qui semble plausible, même si elle est physiquement impossible.

Le papier soutient que les outils actuels utilisés pour noter ces modèles d'IA sont défectueux. Ils regardent la forme 3D « hallucinée » de l'IA et disent : « Wow, cela semble cohérent ! Bon travail ! » alors que l'entrée était en fait du non-sens.

L'Analogie : L'Architecte Trop Confiant

Imaginez les modèles de reconstruction par IA (comme DUSt3R, MASt3R, VGGT) comme des architectes trop confiants.

Si vous leur donnez un plan clair (de vraies photos d'une seule pièce), ils construisent une maison parfaite.
Si vous leur donnez un plan qui est moitié cuisine et moitié salon, ils ne disent pas : « Cela n'a pas de sens. » Au lieu de cela, ils construisent une maison étrange et impossible qui combine les deux d'une manière ou d'une autre.
Si vous leur donnez une feuille de papier blanche (du bruit aléatoire), ils construisent quand même une maison, peut-être un dôme flottant ou un plan plat, simplement parce qu'ils sont entraînés à toujours construire quelque chose.

Les systèmes de notation actuels (comme MEt3R) sont comme des inspecteurs qui ne regardent que la maison terminée. Ils voient une maison debout et donnent un « A+ » à l'architecte. Ils ne réalisent pas que l'architecte avait reçu une feuille de papier blanche pour commencer.

Ce Que Les Auteurs Ont Fait : Le Test de Contrainte « SysCON3D »

Les auteurs ont créé un nouveau terrain d'essai appelé SysCON3D. Au lieu de tester simplement l'IA sur de bonnes photos, ils ont délibérément brisé les entrées pour voir si les outils de notation pouvaient attraper les mensonges. Ils ont testé trois types d'entrées « fausses » :

Le Mélange : Des photos de deux pièces différentes mélangées.
La Copie : La même photo exacte répétée 10 fois.
Le Bruit : Du bruit statique purement aléatoire (comme la neige sur une télévision).

Le Résultat : Les anciens outils de notation ont échoué lamentablement. Ils ont attribué des scores élevés au bruit et aux pièces mélangées, pensant qu'il s'agissait de scènes 3D parfaites. Les architectes IA avaient réussi à tromper les inspecteurs.

La Solution : Deux Nouvelles Approches

Les auteurs proposent deux façons de réparer ce système de notation défectueux.

1. L'« Inspecteur Plus Intelligent » (Métriques Neurales)

Ils ont réalisé que le problème ne venait pas seulement de l'architecte, mais de la façon dont l'inspecteur comptait les erreurs. Les anciens inspecteurs prenaient simplement une moyenne de toutes les erreurs. Si l'IA faisait une énorme erreur sur une photo mais était parfaite sur les autres, la moyenne semblait correcte.

Les auteurs ont créé une nouvelle famille d'inspecteurs qui examinent la distribution des erreurs. Au lieu de simplement faire une moyenne, ils demandent : « Y a-t-il des valeurs aberrantes étranges ? »

Le Gagnant : Une nouvelle métrique appelée MASt3R-W-IMQ. Elle est beaucoup meilleure pour repérer qu'il y a un problème (jusqu'à 3 fois mieux que l'ancienne norme), mais elle a toujours une faiblesse : si l'IA hallucine une forme qui semble trop lisse, même cet inspecteur intelligent peut être trompé.

2. Le « Sceptique » (Géométrie Classique)

Les auteurs sont également revenus aux méthodes « à l'ancienne » (en utilisant des outils comme COLMAP). Ces méthodes ne tentent pas de deviner la forme 3D en utilisant la magie de l'IA. Au lieu de cela, elles cherchent des preuves concrètes :

Les caractéristiques dans les photos correspondent-elles réellement ?
Pouvons-nous prouver mathématiquement que ces caméras regardaient le même objet ?

Si la réponse est « Non » (comme avec la neige de télévision ou les pièces mélangées), le Sceptique dit simplement : « Je ne peux pas construire de modèle. » Il refuse de donner un score.

Pourquoi c'est bien : Dans le monde réel, si un ordinateur dit « Je ne peux pas vérifier cela », c'est une information très utile. Cela vous dit : « Cette entrée est de la mauvaise qualité. »
Le Résultat : Ces métriques « Sceptiques » s'alignaient 4 fois mieux avec le jugement humain. Lorsque les humains regardaient les entrées factices, ils disaient : « C'est du non-sens. » Les anciennes métriques IA disaient : « C'est génial. » Les métriques Sceptiques disaient : « C'est du non-sens. »

Le Test Humain : Sommes-Nous D'accord ?

Les auteurs ont demandé à de vrais humains de regarder des vidéos générées par différentes méthodes d'IA et de voter pour celles qui ressemblaient à une scène 3D réelle et cohérente.

Les Anciennes Métriques IA : Souvent en désaccord avec les humains. Elles appréciaient des méthodes qui semblaient jolies mais qui étaient géométriquement brisées.
Les Nouvelles Métriques « Sceptiques » : D'accord avec les humains presque parfaitement. Lorsque les humains voyaient une vidéo glitchée et impossible, les métriques Sceptiques lui attribuaient un score faible.

La Conclusion Principale

Le papier conclut que nous ne pouvons pas faire confiance aveuglément aux modèles d'IA pour évaluer leur propre travail ou le travail d'autres modèles d'IA.

Les Architectes IA sont excellents pour construire, mais ils construiront un château dans les nuages si vous le leur demandez.
Les Inspecteurs IA qui dépendent de la sortie de l'Architecte loueront le château dans les nuages.
Nous avons besoin de Sceptiques : Nous avons besoin d'outils qui vérifient si les fondations (les photos) soutiennent réellement le bâtiment. Si les photos sont du non-sens, l'outil devrait admettre qu'il ne peut pas trouver de scène 3D, plutôt que d'en inventer une.

En bref : Si vous donnez du non-sens à un ordinateur, il essaiera d'en tirer du sens. Pour évaluer la cohérence 3D, nous avons besoin d'outils assez courageux pour dire : « C'est du non-sens », plutôt que de tenter de forcer un motif là où aucun n'existe.

Résumé Technique : Ces Vues Peuvent-elles Constituer Une Seule Scène ? Évaluation de la Cohérence 3D Multivue lorsque les Modèles de Fondation 3D Hallucinent

Énoncé du Problème

L'évaluation 3D multivue suppose généralement que les images d'entrée sont des observations d'une scène 3D unique et statique. Cependant, dans la synthèse de nouvelles vues (NVS) et la reconstruction à partir de vues éparses, cette hypothèse est fréquemment violée. Les entrées ou les sorties générées peuvent contenir des artefacts, des trames aberrantes, des vues répétées ou du bruit, tout en recevant des scores de cohérence 3D élevés de la part des métriques d'évaluation actuelles.

Les métriques existantes sans vérité terrain, telles que MEt3R, reposent sur des modèles de reconstruction 3D appris (par exemple DUSt3R, MASt3R, VGGT, Fast3R) pour inférer la géométrie et mesurer la cohérence. Le problème central identifié dans ce travail est que ces modèles sont entraînés pour produire de la géométrie, et non pour rejeter des entrées invalides. Par conséquent, ils peuvent « halluciner » une structure 3D dense et un support inter-vues pour des entrées qui ne définissent pas une scène cohérente (par exemple, des mélanges de scènes non liées, des images répétées ou du bruit gaussien). Les métriques construites sur ces modèles héritent de cette défaillance, rapportant une cohérence artificiellement élevée pour des entrées invalides, car elles évaluent les résidus de caractéristiques sur des correspondances hallucinées plutôt que de vérifier l'existence de preuves géométriques.

Méthodologie

1. Benchmark SysCON3D

Pour évaluer systématiquement la robustesse des métriques, les auteurs introduisent SysCON3D, un benchmark contrôlé qui injecte des incohérences spécifiques dans des ensembles d'images multivues provenant du dataset Mip-NeRF360. Le benchmark comprend :

L0 (Cohérent) : Vues propres issues d'une seule scène.
L1–L3 (Mélanges Inter-scènes) : Densités croissantes de vues étrangères (une seule valeur aberrante, mélange contrôlé, mélange aléatoire).
SysCON3D-N (Bruit) : Patchs de bruit gaussien et bruit gaussien complet.
Le benchmark teste si les métriques peuvent attribuer correctement des scores de cohérence plus bas à ces groupes incohérents par rapport aux ensembles propres.

2. Famille de Métriques Neuronales Paramétriques

Les auteurs proposent un cadre unifié décomposant les métriques neuronales en trois composants :
$m(\mathcal{I}) = \mathcal{A}(\rho(B(\mathcal{I}), \phi(\mathcal{I})))$

Modèle de base ( $B$ ) : Un modèle de reconstruction (MASt3R, Fast3R, VGGT) produisant une géométrie 3D.
Résidu ( $\rho$ ) : Une fonction calculant le désaccord des caractéristiques (utilisant DINOv2/FeatUp) via soit des méthodes basées sur le Warping (warping de paires de vues), soit des méthodes de Cohérence des Points (PC) (projection de points 3D).
Agrégation ( $\mathcal{A}$ ) : Une fonction résumant les résidus. Les auteurs comparent l'agrégation par moyenne standard (utilisée dans MEt3R) avec des agrégations distributionnelles (MMD, Inverse Multiquadric (IMQ), distance énergétique) qui préservent la forme de la distribution des résidus et sont plus sensibles aux valeurs aberrantes.

3. Métriques Basées sur COLMAP

Pour pallier les limites des modèles de base appris, les auteurs introduisent des métriques basées sur la vérification géométrique classique utilisant COLMAP. Ces métriques traitent l'échec de la reconstruction comme un signal d'incohérence :

Cohérence Géométrico-Photométrique (GPC) : Mesure l'accord entre les cartes de profondeur géométriques et photométriques, pondéré par la validité des pixels.
Masse de Cohérence Intégrée (ICM) : Quantifie le support 3D dense fiable total.
GPC Pondéré par la Couverture (W-GPC) : Combine la GPC avec la couverture angulaire des caméras enregistrées.
Crucialement, si COLMAP échoue à enregistrer les caméras ou à produire des cartes denses (en raison d'un manque de preuves géométriques), le score de la métrique tombe à zéro, pénalisant explicitement les entrées invalides.

4. Étude d'Alignement Humain

Les auteurs ont mené une étude humaine structurée impliquant 11 participants (dont 2 experts) pour évaluer 8 méthodes NVS. Les participants ont comparé des vidéos NVS anonymisées basées sur la cohérence 3D, le réalisme visuel et la plausibilité. Les classements ont été agrégés à l'aide d'un protocole Elo pondéré pour établir une préférence humaine de vérité terrain pour la cohérence 3D.

Résultats Clés

Robustesse sur SysCON3D

Hallucination du Modèle de base : Tous les modèles de base testés (VGGT, MASt3R, DUSt3R, Fast3R) ont produit des nuages de points denses et un chevauchement non nul pour le bruit gaussien et les mélanges inter-scènes, confirmant qu'ils hallucinent un support géométrique plutôt que de s'abstenir.
Impact de l'Agrégation : Le passage de l'agrégation par moyenne à l'agrégation distributionnelle (spécifiquement IMQ) a considérablement amélioré la robustesse. La meilleure variante neuronale, MASt3R-W-IMQ, a atteint un taux de victoire global de 71 % sur SysCON3D, contre 23 % pour la métrique de base MEt3R (MASt3R-W-Base).
Limites : Même avec une agrégation améliorée, les métriques neuronales ont eu du mal avec les valeurs aberrantes uniques (L1) et le bruit gaussien, car la géométrie hallucinée se produisait avant l'étape d'agrégation.

Alignement Humain

Métriques Neuronales : MASt3R-W-IMQ a montré un alignement modéré avec les jugements humains ( $\rho$ de Spearman $\approx 0,48$ pour $K=6,9$ ), surpassant MEt3R mais échouant toujours à classer parfaitement les méthodes.
Métriques COLMAP : La métrique W-GPC a atteint l'alignement le plus fort avec les jugements humains, atteignant une corrélation de Spearman de 0,98 sur DL3DV et 0,98 sur Mip-NeRF360. Cela représente une amélioration allant jusqu'à 4 $\times$ par rapport à MEt3R.
Modes d'Échec : Les métriques COLMAP ont correctement attribué des scores proches de zéro aux entrées incohérentes là où les métriques neuronales ont échoué, démontrant que la vérification géométrique explicite est un signal plus fiable pour la cohérence au niveau de la scène.

Signification et Revendications

L'article revendique que la fiabilité de l'évaluation 3D sans vérité terrain est fondamentalement compromise lors de l'utilisation de modèles de reconstruction appris comme évaluateurs dans des contextes non curatés. La découverte centrale est que les modèles de fondation 3D modernes hallucinent un support géométrique pour des entrées qui manquent de preuves multivues valides, amenant les métriques en aval à valider des données invalides.

Les auteurs soutiennent que :

L'agrégation distributionnelle améliore les métriques neuronales mais ne peut pas entièrement corriger la géométrie non étayée produite par le modèle de base.
La vérification géométrique classique (via COLMAP) fournit un signal complémentaire, conscient des échecs. En traitant l'incapacité à enregistrer ou à reconstruire comme un score négatif, ces métriques s'alignent significativement mieux avec les jugements humains de cohérence 3D.
Recommandation Pratique : Pour une évaluation robuste des sorties NVS, les auteurs recommandent de rapporter W-GPC conjointement avec ICM et les taux d'enregistrement. Les métriques neuronales comme MASt3R-W-IMQ peuvent servir de diagnostics secondaires mais ne devraient pas remplacer la vérification géométrique explicite, en particulier dans les applications critiques pour la sécurité où une géométrie hallucinée pourrait être confondue avec une preuve.

Le travail ne revendique pas d'avoir résolu le problème de la reconstruction lui-même, mais fournit plutôt un cadre de diagnostic et des métriques robustes pour prévenir la mauvaise interprétation de la cohérence 3D hallucinée dans le contenu généré.