MRD: Using Physically Based Differentiable Rendering to Probe Vision Models for 3D Scene Understanding

Deze paper introduceert MRD, een methode die gebruikmaakt van fysiek gebaseerde differentieerbare rendering om het impliciete 3D-scenebegrip van visiemodellen te onderzoeken door 'metameren' te vinden: fysiek verschillende scènes die dezelfde modelactivatie opleveren.

De kern

MRD: Het "Spiegelbeeld" van een Computerhersen

Stel je voor dat je een kunstenaar bent die een perfecte kopie van een schilderij moet maken, maar je mag de verf niet gebruiken. Je mag alleen de ideeën van het schilderij nabootsen. Als je kopie er voor de kunstenaar precies hetzelfde uitziet als het origineel, dan is het een "metamer": twee dingen die er anders uitzien, maar voor de kijker identiek zijn.

Deze paper introduceert een nieuwe methode genaamd MRD (Metamers Rendered Differently). Het is een slimme manier om te testen wat computermodellen (zoals die in zelfrijdende auto's of beeldherkenningssoftware) eigenlijk "zien" en begrijpen van de 3D-wereld.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: We weten niet wat ze denken

We weten dat moderne AI-modellen heel goed zijn in het herkennen van foto's. Maar we weten niet precies waarom. Zien ze een hond omdat ze de vorm van de oren zien, of omdat ze de vachttextuur zien? Zien ze diep in de ruimte, of is het voor hen gewoon een platte plaat?

Meestal proberen we dit te testen door de AI te laten kijken naar willekeurige ruis (witte stippen) en te vragen of ze daar een hond in zien. Dat geeft vaak vreemde, onbegrijpelijke resultaten.

2. De Oplossing: MRD als een "3D-Claymation Studio"

De auteurs gebruiken een techniek uit de computerwereld die Differentiable Rendering heet. Laten we dit vergelijken met een heel slimme klei-studio.

• De Start: Je hebt een foto van een object (bijvoorbeeld een draak). De AI kijkt ernaar en zegt: "Ik zie een draak!"
• De Uitdaging: Nu proberen we een nieuwe 3D-wereld te bouwen in onze studio. We beginnen met een simpele bal (een bol).
• Het Magische Proces: De computer probeert die bal te vervormen tot een draak, maar niet door de pixels van de foto na te bootsen. Nee, de computer verandert de fysieke eigenschappen van de bal:
  • Hij duwt de klei (de vorm).
  • Hij verandert de verf (het materiaal: is het glanzend of mat?).
  • Hij verplaatst de lampen (het licht).
• De Feedback: Na elke aanpassing kijkt de AI naar de nieuwe foto die uit de studio komt. Als de AI denkt: "Oh, dit lijkt nu precies op de draak die ik eerder zag!", dan houden we de aanpassingen. Als de AI denkt: "Nee, dit is nog steeds maar een bal", dan doen we het anders.

3. Het Grote Geheim: "Metamers"

Het doel is niet om de exacte draak te maken. Het doel is om een andere 3D-wereld te vinden die voor de AI precies hetzelfde voelt als de originele draak.

• Voorbeeld: Stel je voor dat je een foto van een glazen bal hebt. De AI herkent de glans.
• Met MRD kunnen we nu een 3D-scene bouwen van een rubberen bal met een heel specifieke, rare textuur en belichting.
• Als de AI deze rubberen bal en de glazen bal niet uit elkaar kan houden (ze geven hetzelfde signaal af), dan hebben we een metamer gevonden.

Dit is cruciaal omdat het ons vertelt wat de AI belangrijk vindt:

• Als de AI een rubberen bal accepteert als een glazen bal, betekent het dat hij niet echt begrijpt dat het glas is. Hij kijkt alleen naar de schaduwen en de vorm.
• Als de AI alleen de echte glazen bal accepteert, dan heeft hij een dieper begrip van fysica en materiaal.

4. Wat hebben ze ontdekt?

De auteurs hebben dit getest op verschillende AI-modellen met twee dingen: Vorm (hoe een object eruitziet) en Materiaal (is het metaal, zijde of plastic?).

• Materiaal: De AI's waren verrassend goed in het herkennen van materialen. Ze konden vaak een "fake" materiaal vinden dat voor hen precies hetzelfde voelde als het echte. Dit betekent dat ze goed leren omgaan met licht en glans.
• Vorm: Hier hadden ze meer moeite. De AI's konden vaak geen perfecte 3D-vorm reconstrueren. Soms leek het resultaat voor ons mensen op een vreemde, vage bult, maar voor de AI was het toch een "draak".
  • De les: Veel AI-modellen kijken meer naar de "vacht" (textuur) dan naar de "skelet" (vorm). Als je de textuur goed neerzet, denkt de AI dat het een draak is, zelfs als de vorm er raar uitziet.

Conclusie: Een Spiegel voor de AI

MRD is als een spiegel die we voor het gezicht van een computer houden. In plaats van te vragen "Wat zie je?", vragen we: "Als ik dit object verandert in een ander object, maar jij denkt dat het hetzelfde is, wat betekent dat dan?"

Het helpt ons te begrijpen of een computer echt "denkt" in 3D-ruimte en fysica, of dat het gewoon slim is in het raden van patronen op platte foto's. Voor de toekomst van AI (en misschien zelfs voor het begrijpen van ons eigen menselijk zien) is dit een enorme stap voorwaarts.

Technische samenvatting

Probleemstelling

Hoewel deep learning-modellen indrukwekkende resultaten behalen op visuele benchmarks, blijft het moeilijk om te begrijpen hoe deze modellen interne representaties vormen en beslissingen nemen. Hoewel modellen vaak worden getraind op 2D-beelden, wordt aangenomen dat ze een impliciete representatie van de onderliggende 3D-scène ontwikkelen (bijv. tolerantie voor occlusie of redeneren over diepte). Bestaande methoden voor het interpreteren van deze modellen, zoals pixelgebaseerde gradiëntascentie (het synthetiseren van ruisbeelden), missen vaak fysische grondslag. Ze genereren beelden die visueel vergelijkbaar zijn, maar niet noodzakelijk corresponderen met fysiek plausibele 3D-scèneparameters. Er is dus behoefte aan een methode die de relatie tussen de activaties van een model en de fysieke oorzaken in de 3D-wereld (zoals vorm, materiaal en belichting) kan ontleden.

Methodologie: MRD (Metamers Rendered Differentially)

De auteurs introduceren MRD, een methode die fysisch gebaseerd differentieerbaar renderen (PBDR) combineert met het concept van metamerie.

1. Fysisch Gebaseerd Differentieerbaar Renderen (PBDR):

   • In plaats van pixels direct te manipuleren, wordt een 3D-scène gedefinieerd door een set parameters $\pi$ (vorm, pose, materiaal/BRDF, belichting, camera).
   • Een renderingsfunctie $f(\pi)$ simuleert het lichttransport (via de renderingsvergelijking en Monte Carlo-integratie) om een beeld $I$ te genereren.
   • Het systeem is differentieerbaar, wat betekent dat gradiënten kunnen worden teruggepropageerd van de output (beeld of modelactivatie) naar de input (scèneparameters). Dit maakt het mogelijk om de scèneparameters te optimaliseren via gradiëntafstijging.

2. Het Doel: Model-Metameren vinden:

   • Een "model-metamer" is een 3D-scène die fysiek anders is dan de originele scène, maar die dezelfde latentere presentatie (activaties) produceert in het geteste neurale netwerk.
   • De methode start met een "doelbeeld" (ground truth) en initialiseert een nieuwe scène met willekeurige parameters.
   • Een optimalisatielus (zie Algorithm 1) past de scèneparameters aan om de verliesfunctie te minimaliseren. Dit verlies wordt berekend tussen de gerendeerde beelden en de doeldoelstellingen (of de latentere representaties van het doelbeeld in het neurale netwerk).
   • Door bepaalde parameters vast te houden (bijv. belichting) en anderen te variëren (bijv. vorm), kan men specifiek testen hoe gevoelig een model is voor die specifieke eigenschap.

3. Technische Implementatie:

   • Render Engine: Mitsuba 3 wordt gebruikt vanwege de ondersteuning voor path tracing en de behandeling van discontinuïteiten (zoals randen en schaduwgrenzen) via geavanceerde differentiatietechnieken (projective sampling).
   • Verliesfuncties: Voor materialen wordt vaak een "Dual-Buffer loss" gebruikt om convergentie te verbeteren bij path tracing. Voor vormreconstructie wordt Mean Absolute Error (MAE) of latentere vergelijkingen gebruikt.
   • Netwerken: Er zijn zes modellen getest, waaronder CNN's (ResNet-50, ResNet-50-SIN), perceptuele metrics (LPIPS, VGG) en Vision Transformers (CLIP, DINOv2).

Belangrijkste Bijdragen

1. Nieuwe Methode voor Interpretatie: MRD koppelt de activaties van neurale netwerken direct aan fysieke omgevingseigenschappen. Het biedt een manier om invariance (onveranderlijkheid) en equivalentieklassen van modellen te ontdekken door fysiek verschillende scènes te vinden die voor het model identiek zijn.
2. Fysisch Gewortelde Reconstructie: In tegenstelling tot pixelgebaseerde methoden, zijn de resultaten van MRD altijd verankerd in fysieke scene-beschrijvingen (geometrie, BRDF), wat een duidelijker inzicht geeft in wat het model "ziet".
3. Empirische Evaluatie: De auteurs evalueren de 3D-kennis van moderne vision-modellen door te proberen de geometrie (vorm) en materialen (BRDF) te reconstrueren die leiden tot dezelfde modelactivaties als de ground truth.

Resultaten

De studie verdeelt de resultaten in twee hoofdcategorieën: materiaalreconstructie en vormreconstructie.

• Materiaalreconstructie (BRDF):

  • De resultaten waren over het algemeen sterk. Veel netwerken (vooral LPIPS, VGG en ResNet-SIN) slaagden erin om metameren te vinden voor diverse materialen (bijv. geborsteld metaal, diffuus, translucent).
  • De gelijkenis tussen de geoptimaliseerde scène en de ground truth was vaak zeer hoog (similarity scores > 0.95).
  • Conclusie: Modellen lijken zeer gevoelig te zijn voor materiaal- en textuereigenschappen. De optimalisatie kon vaak de fysieke parameters nauwkeurig reconstrueren.

• Vormreconstructie (Geometrie):

  • Dit bleek aanzienlijk moeilijker. Slechts een klein deel van de experimenten (15 van de 71) bereikte de drempel voor een "model-metamer".
  • Hoewel de numerieke gelijkenis soms hoog was, leken de geoptimaliseerde vormen visueel vaak niet op het doelobject (bijv. een "spikes-blob" in plaats van een draak).
  • Interpretatie: Dit suggereert dat modellen zoals ResNet zeer brede equivalentieklassen hebben voor vormen; voor het model lijken zeer verschillende geometrische vormen op elkaar zolang ze bepaalde textuur- of schaduwpatronen delen.
  • Representational Similarity Analysis (RSA): In sommige gevallen waar de punt-voor-punt gelijkenis net onder de drempel viel, was de RSA-score (die de structurele relaties tussen views meet) wel hoog. Dit betekent dat het model de relatie tussen verschillende aanzichten behield, zelfs als de exacte vorm niet perfect was.

• Vergelijking Netwerken:

  • ResNet-SIN (getraind op gestileerde ImageNet) presteerde over het algemeen beter in vormreconstructie dan standaard ResNet, wat bevestigt dat het trainen op vorm in plaats van textuur de 3D-begrip verbetert.
  • LPIPS en VGG waren zeer effectief voor materiaalreconstructie.
  • CLIP en DINOv2 toonden meer variabiliteit.

Betekenis en Conclusie

MRD biedt een krachtig nieuw instrument om de "black box" van computer vision te openen:

1. Ontleding van Oorzaken: Het stelt onderzoekers in staat om te bepalen welke fysieke eigenschappen (vorm vs. materiaal) een model prioriteit geeft. De resultaten tonen aan dat veel huidige modellen sterker reageren op materiaal- en textuereigenschappen dan op de onderliggende 3D-vorm.
2. Validatie van 3D-Representaties: Het bewijst dat modellen, zelfs getraind op 2D, een zekere mate van 3D-begrip ontwikkelen, maar dat dit begrip vaak onvolledig of vertekend is (bijv. de neiging om vormen te vereenvoudigen tot "blobs" als de textuur klopt).
3. Toekomstperspectief: De methode kan worden gebruikt om modellen te fine-tunen op specifieke scene-eigenschappen of om de perceptie van mens en machine te vergelijken. De auteurs merken op dat de huidige resultaten suggereren dat er nog geen netwerk bestaat dat een volledig menselijk, vormgebaseerd semantisch begrip van objecten (zoals een "draak") heeft; MRD zou in de toekomst kunnen helpen om dergelijke representaties te identificeren of te creëren.

Kortom, MRD bewijst dat differentieerbaar renderen een brug kan slaan tussen de abstracte latentere ruimtes van AI-modellen en de fysieke realiteit van de 3D-wereld.