💻 computer science

Geometric Collapse: When Vision Models Fail to Verify Physical Causality

Het artikel introduceert "Scrambled Edges", een counterfactuele benchmark die aantoont dat huidige dichte geometrische voorspellers lijden aan "Geometric Collapse" door het niet kunnen onderscheiden van fysiek onwaarschijnlijke randkenmerken van geldige kenmerken, wat leidt tot globale voorspellingsfouten die niet gemakkelijk te herstellen zijn, zelfs niet met kennis van de gecorrumpeerde regio's.

Oorspronkelijke auteurs: Wentao Zhang, Jinhu Qi, Weiqiang Jin, Yifei Zhang, Chan-Tong Lam, Irwin King

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wentao Zhang, Jinhu Qi, Weiqiang Jin, Yifei Zhang, Chan-Tong Lam, Irwin King

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Te Veel Vertrouwen" Probleem

Stel je voor dat je naar een foto van een woonkamer kijkt. Je ziet een scherpe lijn waar een muur de vloer raakt. Je brein weet direct: "Dat is een muur; die is solide."

Moderne AI-modellen (specifiek die modellen die voorspellen hoe diep objecten in een foto zitten) zijn ongelooflijk goed geworden in het herkennen van deze lijnen. Echter, dit paper ontdekt een vreemd gebrek: deze AI-modellen zijn zo goed in het herkennen van lijnen dat ze nep lijnen te veel vertrouwen.

Als je een AI een foto geeft met een lijn die er echt uitziet, maar fysiek nergendens op slaat (zoals een schaduw die op een muur lijkt), zegt de AI niet: "Wacht even, dat is onmogelijk." In plaats daarvan probeert de AI een 3D-wereld rondom die neplijn te bouwen, waardoor de hele afbeelding vervormt en hallucineert. De auteurs noemen dit "Geometric Collapse" (Geometrische Ineenstorting).

Het Experiment: De "Scrambled Edge" Truc

Om dit te testen, hebben de onderzoekers een truc uitgevonden genaamd "Scrambled Edges" (Verstoorde Randen).

Denk aan een legpuzzel.

De Opzet: Ze namen een echte foto en sneden de "randen" (de contouren van objecten) eruit.
De Verstoring: Ze verplaatsten deze randen naar willekeurige plekken, draaiden ze of maakten ze donkerder.
- Voorbeeld: Ze namen de rand van een koffiekopje en plakten die op het midden van een gladde muur.
- De Catch: Voor het menselijk oog ziet het eruit als een vreemde glitch. Voor de AI ziet het eruit als een zeer sterk signaal dat "hier iets is".
De Test: Ze lieten deze verstoorde foto's zien aan verschillende AI-modellen en vroegen: "Hoe ziet de 3D-vorm eruit?"

Wat Er Gebeurde (De "Inestorting")

Toen de AI deze verstoorde randen zag, raakte hij niet alleen in de war op één klein plekje. Het hele 3D-model stortte in.

Het Domino-effect: Omdat de AI die verstoorde rand op de muur vertrouwde, probeerde hij een 3D-structuur rondom die rand te bouwen. Dit dwong de rest van de kamer om te vervormen om die nepmuur logisch te maken.
Het Resultaat: De AI voorspelde een kamer vol met "fantoomwanden" en onmogelijke vormen, ook al zat de neprand slechts op één klein plekje.
De Verrassing: De AI was eigenlijk heel goed in het negeren van willekeurige ruis (zoals sneeuw op een oude tv). Maar wanneer hij een gestructureerde lijn zag die de natuurwetten overtrad, verloor hij volledig zijn grip op de werkelijkheid.

De Drie Regels die de AI Vergeet

Het paper stelt dat voor een lijn om echt te zijn, deze meestal drie "natuurkundige regels" moet volgen. De "Scramled Edges" braken deze regels, en de AI merkte het niet op:

Continuïteit: Oppervlakken moeten glad zijn. (De AI plaatste een scherpe rand op een gladde muur).
Verlichting: Schaduwen en donkere plekken hebben een lichtbron nodig om dit te verklaren. (De AI accepteerde een donkere plek die geen logische lichtbron had).
Occlusie (Wie staat er voor?): Als het ene object het andere blokkeert, moeten de lijnen kloppen (zoals een "T-splitsing"). (De AI accepteerde een lijn die suggereerde dat een object in de lucht zweefde).

Het Falen van de "Reparatie"

De onderzoekers probeerden de fout van de AI te herstellen. Ze zeiden tegen de AI: "Hey, negeer die ene verstoorde rand die we daar hebben geplaatst; raad de rest maar."

Het Resultaat: Het werkte niet goed. Zelfs toen ze de AI precies vertelden waar de neprand zat, was de voorspelling van de AI voor de rest van de kamer nog steeds fout.
De Analogie: Het is alsoam met een bouwer vertellen: "Negeer die ene neppe baksteen die we tegen de muur hebben gelijmd." De bouwer kan de steen misschien verwijderen, maar omdat hij het hele huis al rond die steen heeft gebouwd, is het dak nog steeds scheef. De fout had zich al overal verspreid.

Waarom Standaardtests Dit Misten

Het paper wijst op een groot probleem in de manier waarop we AI momenteel testen.

De Oude Manier: We controleren meestal of het antwoord van de AI "goed genoeg" is ten opzichte van het echte antwoord, gemiddeld genomen.
Het Probleem: Omdat de "ingestorte" voorspelling van de AI vaak gladder werd (minder grillig), zeiden de standaard wiskundige tests zelfs dat de AI een beter werk deed!
De Realiteit: De AI was eigenlijk spectaculair aan het falen. Hij was het vermogen kwijtgeraakt om het verschil te zien tussen een echte muur en een neplijn.

De Kernboodschap

De belangrijkste les is dat "slim zijn" (een enorm brein hebben) niet hetzelfde is als "voorzichtig zijn".

Deze AI-modellen hebben geleerd om visuele aanwijzingen (randen) blindelings te vertrouwen. Ze hebben niet geleerd om te vragen: "Is dit fysiek mogelijk?" Het paper suggereert dat toekomstige AI een "veiligheidscontrole"-mechanisme nodig heeft — een manier om even stil te staan en te verifiëren of een lijn fysiek mogelijk is voordat er een 3D-wereld omheen wordt gebouwd. Zonder dit zal de AI blijven "fantoomwanden" bouwen zodra hij een verwarrende lijn ziet.

Technische Samenvatting: Geometrische Ineenstorting: Wanneer Visiemodellen Falen in het Verifiëren van Fysieke Causaliteit

1. Probleemstelling

Recente vooruitgang in grootschalig zelfgesuperviseerd leren (SSL) en Vision Transformers (ViT's) heeft de nauwkeurigheid van taken met betrekking tot dichte geometrische voorspelling, zoals monoculaire diepte-inschatting en oppervlaktenormaal-voorspelling, aanzienlijk verbeterd. Echter, een hoge gemiddelde nauwkeurigheid op standaard benchmarks garandeert niet dat modellen over het vermogen beschikken om fysieke plausibiliteit te verifiëren tijdens inferentie.

Het kernprobleem dat wordt geadresseerd is of moderne dichte voorspellers in staat zijn om visueel prominente randkenmerken (edge cues) te onderscheiden die overeenkomen met geldige 3D-structuren (bijv. objectgrenzen, occlusiecontouren) van diegene die fysiek niet ondersteund worden (bijv. reflecties, lichtartefacten of spuriële gradiënten). De auteurs hypothetiseren dat huidige modellen elke sterke rand-achtige signaal behandelen als geometrisch bewijs zonder te verifiëren of het een plausibele fysieke verklaring toelaat. Dit leidt tot een faalmodus die wordt gedefinieerd als Geometrische Ineenstorting (Geometric Collapse), waarbij lokaal niet-ondersteunde randen globale hallucinaties en structurele inconsistenties triggeren die zich door de gehele scène voortplanten, in plaats van beperkt te blijven tot lokale artefacten.

2. Methodologie: Gescrombelde Randen (Scrambled Edges)

Om deze hypothese te testen, introduceren de auteurs Scrambled Edges, een gecontroleerde contrafeitelijke diagnostische perturbatie ontworpen om visueel prominente randkenmerken te injecteren terwijl specifieke fysieke priors worden geschonden.

2.1. Het Perturbatieprotocol

De methode houdt in dat randsegmenten uit een invoerbeeld worden geëxtraheerd en dat affiene transformaties (translatie, rotatie en verdonkering) worden toegepast om ze naar geometrisch inconsistente posities te verplaatsen.

Translatie: Verplaatst randen naar gladde regio's, wat de oppervlaktecontinuïteit schendt.
Verdonkering: Creëert contrast zonder een plausibele lichtbron, wat de illuminatiecoherentie schendt.
Rotatie: Verstoort de junctiegeometrie (specifiek T-junctions), wat de occlusiecausaliteit (dieptevolgorde) schendt.

Het geperturbeerde beeld wordt gegenereerd door het originele beeld te maskeren met deze getransformeerde randen, waarbij wordt gewaarborgd dat de visuele energie hoog blijft maar de 3D-verklaring ongeldig is.

2.2. Controlegroepen

Om het effect van schendingen van fysieke priors te isoleren van generieke hoogfrequente ruis of rand-ijjlheid, maken de auteurs gebruik van twee strikte controles:

Energie-gematchte High-Pass Ruis: Voegt ongestructureerde ruis toe met dezelfde RMS-amplitude als de Scrambled Edges. Dit test of ineenstorting wordt gedreven door louter hoogfrequente inhoud.
Rand-gevormde Ruis (Edge-Shaped Noise): Past ruis of kleurverschuivingen toe op de originele randlocaties zonder verplaatsing of rotatie. Dit test of de aanwezigheid van randvormen op zichzelf ineenstorting veroorzaakt, onafhankelijk van de geometrische schending.

2.3. Evaluatiemetrieken

De studie gaat verder dan standaard Ground Truth (GT) metrieken, die misleidend kunnen zijn door gladstrijkingseffecten. In plaats daarvan richt het zich op:

Stabiliteit: Het meten van de afwijking ( $RMSE_\Delta$ ) tussen voorspellingen op schone versus geperturbeerde inputs.
Ineenstortingsratio (Collapse Ratio): De ratio van de afwijking onder Scrambled Edges ten opzichte van de afwijking onder Energie-gematchte Ruis.
Spillover-analyse: Het gebruik van een "Oracle Repair"-mechanisme waarbij de geperturbeerde regio wordt vervangen door de schone voorspelling. Als fouten buiten het masker blijven, duidt dit op globale propagatie.
Structurele Metrieken: Edge F1-scores om de grensvurigheid te meten, die gevoeliger zijn voor structurele ineenstorting dan pixel-gewijze diepte-fouten.
Multi-View Consistentie: Het evalueren van fotometrische reprojectiefout op KITTI om de 3D-geometrische consistentie te controleren.

3. Belangrijkste Resultaten

3.1. Negatieve Emergentie en de SSL-paradox

Over CNN-, ViT- en SSL-gebaseerde architecturen heen (inclusief MiDaS, DepthAnything v1/v2), vertonen de modellen negatieve emergentie: ze blijven relatief stabiel onder ongestructureerde, energie-gematchte ruis, maar lijden onder significante ineenstorting onder Scrambled Edges.

Magnitude: Scrambled Edges induceren tot 3,2× grotere afwijkingen van schone voorspellingen vergeleken met energie-gematchte ruis.
Generaliteit: Deze fout is wijdverspreid over architecturen, inclusief die met grootschalige SSL-pretraining (bijv. DepthAnything V2), wat suggereert dat schaling alleen niet leidt tot emergente fysieke verificatiecapaciteiten.

3.2. Mechanisme: De Rol van Occlusiecausaliteit

Ablatiestudies onthullen dat occlusiecausaliteit (specifiek de verstoring van T-junctions en dieptevolgorde) de dominante drijfveer van ineenstorting is.

Het schenden van occlusiecausaliteit leidt tot de hoogste ineenstortingsratio's (bijv. 3,18× voor DepthAnything V2).
Het schenden van oppervlaktecontinuïteit of illuminatiecoherentie veroorzaakt ook ineenstorting, maar in mindere mate.
Edge-Shaped Noise (structuur zonder schending) induceert minimale ineenstorting, wat bevestigt dat de geometrische inconsistentie van de rand, en niet enkel de aanwezigheid ervan, de ineenstorting drijft.

3.3. Globale Propagatie en de Repair Ceiling

De door Scrambled Edges geïnduceerde fout is niet lokaal; deze propageert globaal.

Oracle Repair Limit: Zelfs wanneer de gecorrumpeerde regio perfect wordt geïdentificeerd en vervangen (Oracle Mask Repair), herstelt de output van het model slechts 47% van de fout. De resterende 53% van de fout bevindt zich in ongeperturbueerde regio's, wat aantoont dat het model de ongeondersteunde cue heeft geïntegreerd in een globaal consistente maar incorrecte 3D-hypothese ("Phantom Walls").
Metriek-paradox: Standaard globale metrieken (bijv. GT-RMSE) detecteren deze fout vaak niet. In sommige gevallen verbetert de GT-RMSE onder Scrambled Edges omdat het model gladdere voorspellingen genereert die de pixel-gewijze fout verminderen, terwijl de kritieke grensvurigheid verloren gaat. Omgekeerd laten structurele metrieken zoals Edge F1 ernstige dalingen zien (tot 66,7%).

3.4. Multi-View Consistentie

Op de KITTI-dataset vindt de studie een "multi-view metriek-paradox". Onder Scrambled Edges kan de fotometrische reprojectiefout (op basis van uiterlijk) afnemen, wat suggereert dat de uitlijning "beter" is, terwijl de diepte-diepte consistentiefout drastisch toeneemt (bijv. +410% voor MiDaS CNN). Dit bevestigt dat uiterlijk-gebaseerde metrieken misleidend kunnen zijn wanneer de onderliggende geometrische structuur is ingestort.

4. Betekenis en Claims

Het paper beweert te voorzien in gecontroleerd gedragsbewijs dat huidige dichte voorspellers niet beschikken over betrouwbare mechanismen om fysiek niet-ondersteunde randkenmerken te isoleren.

Beperking van Schaling: De bevindingen dagen de aanname uit dat schaling en SSL-pretraining automatisch leiden tot robuust fysiek redeneren. Modellen kunnen zeer accuraat zijn op benchmarks, maar toch fragiel bij specifieke, fysiek onwaarschijnlijke randkenmerken.
Onderscheid met Menselijke Perceptie: In tegen tegenstelling tot het menselijk visueel systeem, dat onge ondersteunde randen lijkt te behanden als lokale anomalieën en ze "quarantaine" oplegt, integreren huidige modellen deze kenmerken in een globale geometrische interpretatie, wat leidt tot scène-brede hallucinaties.
Evaluatiekloof: Het paper stelt dat standaard evaluatiemetrieken onvoldoende zijn om deze faalmodus te detecteren. Het pleit voor het gebruik van grens-bewuste metrieken en diagnostiek die de inferentie-tijd fysieke verificatie testen.
Toekomstige Richting: De auteurs suggereren dat het ontbrekende mechanisme cue selectie is. Toekomstige modellen zouden de plausibiliteit van randkenmerken moeten inschatten voordat ze worden geïntegreerd, en bewijs selectief moeten fuseren op basis van fysieke ondersteuning (continuïteit, illuminatie, occlusie), in plaats van enkel voorspellingen achteraf te verzachten.

De studie concludeert dat hoewel iteratieve of generatieve inferentie (bijv. diffusiemodellen) de ernst van de ineenstorting kan temperen, zij niet inherent constitueren als expliciete verificatie van fysieke ondersteuning, waardoor de noodzaak voor dedicated plausibiliteitsscoring en selectieve cue-integratie een openstaand onderzoeksveld blijft.