💻 computer science

Can These Views Be One Scene? Evaluating Multiview 3D Consistency when 3D Foundation Models Hallucinate

Dit artikel introduceert \benchmark, een robuuste benchmark en een familie van op COLMAP gebaseerde metrieken die aantonen hoe huidige 3D-foundationmodellen geometrie kunnen hallucineren uit niet-gerelateerde of ruwe invoer, en die aanzienlijk betrouwbaardere consistentie-evaluatie bieden dan bestaande neurale methoden door beter aan te sluiten bij menselijke oordelen.

Oorspronkelijke auteurs: Soumava Paul, Prakhar Kaushik, Alan Yuille

Gepubliceerd 2026-05-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Soumava Paul, Prakhar Kaushik, Alan Yuille

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Magische 3D"-Illusie

Stel je voor dat je een detective bent die moet uitzoeken of een groep foto's van dezelfde kamer is genomen.

Scenario A: Je hebt 10 foto's van een woonkamer vanuit verschillende hoeken. Makkelijk! Ze tonen duidelijk één kamer.
Scenario B: Je hebt 5 foto's van een woonkamer en 5 foto's van een keuken door elkaar gemengd.
Scenario C: Je hebt 10 foto's van statische ruis (zoals tv-sneeuw).

In het verleden waren computers hier slecht in. Maar recentelijk zijn er nieuwe "AI 3D-modellen" uitgevonden die ongelooflijk snel zijn in het omzetten van 2D-foto's in 3D-vormen. Het probleem is, deze AI-modellen zijn te graag bereid om te behagen.

Zelfs als je ze een mix van een keuken en een woonkamer voert, of gewoon willekeurige tv-sneeuw, zal de AI toch proberen een 3D-model te bouwen. Het zal "hallucineren" (bedenken) een 3D-vorm die geloofwaardig lijkt, ook al is het fysiek onmogelijk.

Het artikel stelt dat de huidige hulpmiddelen die worden gebruikt om deze AI-modellen te beoordelen, kapot zijn. Ze kijken naar de "gehallucineerde" 3D-vorm van de AI en zeggen: "Wauw, dit ziet er consistent uit! Goed gedaan!" terwijl de invoer eigenlijk onzin was.

De Analogie: De Zekerwetende Architect

Denk aan de AI-reconstructiemodellen (zoals DUSt3R, MASt3R, VGGT) als zekerwetende architecten.

Als je ze een duidelijk bouwplan geeft (echte foto's van één kamer), bouwen ze een perfect huis.
Als je ze een bouwplan geeft dat half keuken en half woonkamer is, zeggen ze niet: "Dit heeft geen zin." In plaats daarvan bouwen ze een rare, onmogelijke woning die op de een of andere manier beide combineert.
Als je ze een blanco vel papier geeft (willekeurige ruis), bouwen ze toch een huis, misschien een zwevende koepel of een vlakke vlakte, gewoon omdat ze getraind zijn om altijd iets te bouwen.

De huidige beoordelingssystemen (zoals MEt3R) zijn als inspecteurs die alleen kijken naar het afgewerkte huis. Ze zien een huis staan en geven de architect een "A+". Ze realiseren zich niet dat de architect een blanco vel papier had gekregen om mee te beginnen.

Wat de Auteurs Dedden: De "SysCON3D"-Stress Test

De auteurs creëerden een nieuw testterrein genaamd SysCON3D. In plaats van de AI alleen te testen op goede foto's, verbraken ze de invoer opzettelijk om te zien of de beoordelingstools de leugens konden opsporen. Ze testten drie soorten "nep"-invoer:

De Mix: Foto's van twee verschillende kamers door elkaar gemengd.
De Kopie: Dezelfde foto exact 10 keer herhaald.
De Ruis: Zuivere willekeurige statische ruis (zoals tv-sneeuw).

Het Resultaat: De oude beoordelingstools faalden jammerlijk. Ze gaven hoge scores aan de ruis en de gemengde kamers, wetende dat het perfecte 3D-scènes waren. De AI-architecten hadden de inspecteurs succesvol bedrogen.

De Oplossing: Twee Nieuwe Benaderingen

De auteurs stellen twee manieren voor om dit gebroken beoordelingssysteem te repareren.

1. De "Slimmere Inspecteur" (Neurale Metrieken)

Ze beseften dat het probleem niet alleen de architect was; het was hoe de inspecteur de fouten telde. De oude inspecteurs namen gewoon een gemiddelde van alle fouten. Als de AI één foto enorm verpestte maar perfect was op de anderen, zag het gemiddelde er prima uit.

De auteurs creëerden een nieuwe familie van inspecteurs die kijken naar de verdeling van fouten. In plaats van alleen te middelen, vragen ze: "Zijn er rare uitschieters?"

De Winnaar: Een nieuwe metriek genaamd MASt3R-W-IMQ. Het is veel beter in het opsporen dat er iets mis is (tot 3x beter dan de oude standaard), maar het heeft nog steeds een zwakheid: als de AI een vorm hallucineert die er te glad uitziet, kan zelfs deze slimme inspecteur bedrogen worden.

2. De "Scepticus" (Klassieke Meetkunde)

De auteurs gingen ook terug naar "ouderwetse" methoden (met behulp van tools zoals COLMAP). Deze methoden proberen niet om de 3D-vorm te raden met AI-magie. In plaats daarvan zoeken ze naar hard bewijs:

Stemmen de kenmerken in de foto's echt overeen?
Kunnen we wiskundig bewijzen dat deze camera's naar hetzelfde object keken?

Als het antwoord "Nee" is (zoals bij tv-sneeuw of gemengde kamers), zegt de Scepticus simpelweg: "Ik kan geen model bouwen." Weigert om een score te geven.

Waarom dit goed is: In de echte wereld, als een computer zegt "Ik kan dit niet verifiëren", is dat zeer nuttige informatie. Het zegt je: "Deze invoer is onzin."
Het Resultaat: Deze "Scepticus"-metrieken kwamen 4 keer beter overeen met menselijke oordelen. Toen mensen naar de nep-invoer keken, zeiden ze: "Dit is onzin." De oude AI-metrieken zeiden: "Dit is geweldig." De Scepticus-metrieken zeiden: "Dit is onzin."

De Menselijke Test: Komen We Overeen?

De auteurs vroegen echte mensen om video's te bekijken die gegenereerd waren door verschillende AI-methoden en te stemmen welke eruitzagen als een echte, consistente 3D-scène.

De Oude AI-Metrieken: Waren vaak het oneens met mensen. Ze hielden van methoden die er mooi uitzagen maar geometrisch gebroken waren.
De Nieuwe "Scepticus"-Metrieken: Kwamen bijna perfect overeen met mensen. Toen mensen een glitchy, onmogelijke video zagen, gaf de Scepticus-metriek er een lage score.

De Belangrijkste Conclusie

Het artikel concludeert dat we AI-modellen niet blindelings kunnen vertrouwen om hun eigen werk of het werk van andere AI-modellen te evalueren.

AI-Architecten zijn geweldig in bouwen, maar ze zullen een kasteel op een wolk bouwen als je het ze vraagt.
AI-Inspecteurs die vertrouwen op de output van de Architect, zullen het kasteel op de wolk prijzen.
We hebben Sceptici nodig: We hebben tools nodig die controleren of het fundament (de foto's) het gebouw daadwerkelijk ondersteunt. Als de foto's onzin zijn, moet de tool toegeven dat het geen 3D-scène kan vinden, in plaats van er één te verzinnen.

Kortom: Als je een computer onzin voert, zal het proberen er zinnige dingen van te maken. Om 3D-consistentie te evalueren, hebben we tools nodig die dapper genoeg zijn om te zeggen: "Dit is onzin," in plaats van te proberen een patroon te forceren waar geen bestaat.

Technische Samenvatting: Kunnen Deze Weergaven Eén Scène Zijn? Evaluatie van Multiview 3D-consistentie wanneer 3D-fondamentmodellen hallucineren

Probleemstelling

Multiview 3D-evaluatie gaat doorgaans uit van het idee dat invoerbeelden observaties zijn van één enkele, statische 3D-scène. Echter, bij Novel View Synthesis (NVS) en reconstructie met een beperkt aantal weergaven, wordt deze aanname vaak geschonden. Invoeren of gegenereerde outputs kunnen artefacten, afwijkende frames, herhaalde weergaven of ruis bevatten, en toch hoge 3D-consistentiescores ontvangen van huidige evaluatiemetrics.

Bestaande metrics zonder ground truth, zoals MEt3R, vertrouwen op geleerde 3D-reconstructie-ruggengraten (bijv. DUSt3R, MASt3R, VGGT, Fast3R) om geometrie af te leiden en consistentie te meten. Het kernprobleem dat in dit werk wordt geïdentificeerd, is dat deze ruggengraten zijn getraind om geometrie te produceren, niet om ongeldige invoer te verwerpen. Bijgevolg kunnen ze "hallucineren" van dichte 3D-structuren en cross-view ondersteuning voor invoer die geen coherente scène definiëren (bijv. ongecorreleerde scène-mixtures, herhaalde afbeeldingen of Gaussisch ruis). Metrics gebaseerd op deze ruggengraten erven dit falen over en rapporteren ten onrechte hoge consistentie voor ongeldige invoer, omdat ze feature-residu's evalueren op gehallucineerde correspondenties in plaats van het bestaan van geometrisch bewijs te verifiëren.

Methodologie

1. SysCON3D-benchmark

Om de robuustheid van metrics systematisch te evalueren, introduceren de auteurs SysCON3D, een gecontroleerde benchmark die specifieke inconsistenties injecteert in multiview-afbeeldingssets van de Mip-NeRF360-dataset. De benchmark omvat:

L0 (Consistent): Schone weergaven van één enkele scène.
L1–L3 (Cross-Scene Mixtures): Toenemende dichtheden van vreemde weergaven (enkele afwijking, gecontroleerde mixture, willekeurige mixture).
SysCON3D-N (Noise): Gepatste Gaussische ruis en volledige Gaussische ruis.
De benchmark test of metrics correct lagere consistentiescores kunnen toekennen aan deze inconsistente groepen in vergelijking met schone sets.

2. Parametrische Neuronale Metricfamilie

De auteurs stellen een unifyend raamwerk voor dat neuronale metrics decomposeert in drie componenten:
$m(\mathcal{I}) = \mathcal{A}(\rho(B(\mathcal{I}), \phi(\mathcal{I})))$

Ruggengraat ( $B$ ): Een reconstructiemodel (MASt3R, Fast3R, VGGT) dat 3D-geometrie produceert.
Residu ( $\rho$ ): Een functie die feature-onenigheid berekent (met behulp van DINOv2/FeatUp) via ofwel Warp-gebaseerde (view-pair warping) of Point-Consistency (PC) (3D-point projectie) methoden.
Aggregatie ( $\mathcal{A}$ ): Een functie die residu's samenvat. De auteurs vergelijken standaard gemiddelde aggregatie (gebruikt in MEt3R) met distributie-aggregaties (MMD, Inverse Multiquadric (IMQ), Energy distance) die de vorm van de residu-distributie behouden en gevoeliger zijn voor afwijkingen.

3. COLMAP-gebaseerde Metrics

Om de beperkingen van geleerde ruggengraten aan te pakken, introduceren de auteurs metrics gebaseerd op klassieke geometrische verificatie met COLMAP. Deze metrics behandelen reconstructiefalen als een signaal van inconsistentie:

Geometrisch-Photometrische Consistentie (GPC): Meet de overeenkomst tussen geometrische en photometrische dieptekaarten, gewogen op pixelvaliditeit.
Geïntegreerde Consistentie Massa (ICM): Kwantificeert de totale betrouwbare dichte 3D-ondersteuning.
Coverage-gewogen GPC (W-GPC): Combineert GPC met de hoekige dekking van geregistreerde camera's.
Cruciaal is dat als COLMAP faalt om camera's te registreren of dichte kaarten te produceren (door gebrek aan geometrisch bewijs), de metricscore daalt tot nul, wat ongeldige invoer expliciet bestraft.

4. Menselijke Aligneringstudie

De auteurs voerden een gestructureerde menselijke studie uit met 11 deelnemers (inclusief 2 experts) om 8 NVS-methoden te evalueren. Deelnemers vergeleken geanonimiseerde NVS-video's op basis van 3D-consistentie, visuele realisme en plausibiliteit. Rankings werden geaggregeerd met behulp van een gewogen Elo-protocol om een ground-truth menselijke voorkeur voor 3D-consistentie vast te stellen.

Belangrijkste Resultaten

Robuustheid op SysCON3D

Ruggengraat Hallucinatie: Alle geteste ruggengraten (VGGT, MASt3R, DUSt3R, Fast3R) produceerden dichte point clouds en niet-nul overlap voor Gaussische ruis en cross-scène mixtures, wat bevestigt dat ze geometrische ondersteuning hallucineren in plaats van af te zien.
Impact van Aggregatie: Overschakelen van gemiddelde aggregatie naar distributie-aggregatie (specifiek IMQ) verbeterde de robuustheid aanzienlijk. De beste neuronale variant, MASt3R-W-IMQ, behaalde een algehele winratio van 71% op SysCON3D, vergeleken met 23% voor de baseline MEt3R (MASt3R-W-Base).
Beperkingen: Zelfs met verbeterde aggregatie worstelden neuronale metrics met enkele afwijkingen (L1) en Gaussische ruis, aangezien de gehallucineerde geometrie plaatsvond vóór de aggregatiestap.

Menselijke Alignering

Neuronale Metrics: MASt3R-W-IMQ toonde matige alignering met menselijke oordelen (Spearman $\rho \approx 0,48$ bij $K=6,9$ ), presteerde beter dan MEt3R maar slaagde er nog steeds niet in om methoden perfect te rangschikken.
COLMAP Metrics: De W-GPC metric behaalde de sterkste alignering met menselijke oordelen, met een Spearman-correlatie van 0,98 op DL3DV en 0,98 op Mip-NeRF360. Dit vertegenwoordigt tot een 4 $\times$ verbetering ten opzichte van MEt3R.
Falenmodi: COLMAP-metrics kenden correct bijna-nul scores toe aan inconsistente invoer waar neuronale metrics faalden, wat aantoont dat expliciete geometrische verificatie een betrouwbaarder signaal is voor scène-niveau consistentie.

Betekenis en Claims

Het artikel claimt dat de betrouwbaarheid van 3D-evaluatie zonder ground truth fundamenteel in gevaar komt wanneer geleerde reconstructiemodellen worden gebruikt als evaluatoren in ongecurateerde settings. De centrale bevinding is dat moderne 3D-fondamentmodellen geometrische ondersteuning hallucineren voor invoer die geen geldig multiview-bewijs bevat, waardoor downstream-metrics ongeldige data valideren.

De auteurs betogen dat:

Distributie-aggregatie neuronale metrics verbetert maar de door de ruggengraat geproduceerde niet-ondersteunde geometrie niet volledig kan corrigeren.
Klassieke geometrische verificatie (via COLMAP) een complementair, falingsbewust signaal biedt. Door het onvermogen om te registreren of te reconstrueren te behandelen als een negatieve score, aligneren deze metrics aanzienlijk beter met menselijke oordelen over 3D-consistentie.
Praktische Aanbeveling: Voor robuuste evaluatie van NVS-outputs raden de auteurs aan W-GPC te rapporteren naast ICM en registratiesnelheden. Neuronale metrics zoals MASt3R-W-IMQ kunnen dienen als secundaire diagnostiek, maar mogen expliciete geometrische verificatie niet overrulen, vooral niet in veiligheidskritieke toepassingen waar gehallucineerde geometrie kan worden verward met bewijs.

Het werk claimt niet het reconstructieprobleem zelf opgelost te hebben, maar biedt eerder een diagnostisch raamwerk en robuuste metrics om misinterpretatie van gehallucineerde 3D-consistentie in gegenereerde content te voorkomen.