Technische Samenvatting: MAPS – Een Synthetische Dataset voor het Onderzoeken van Visiemodellen in een Gecontroleerde 3D-Sceneruimte

Probleemstelling

Moderne visiemodellen behalen hoge geaggregeerde nauwkeurigheid op standaard benchmarks zoals ImageNet, maar deze metrieken verhullen de specifieke sceneruimtes die de modelvoorspellingen aandrijven. Natuurlijke afbeeldingen verweven inherent objectidentiteit met verstorende variabelen zoals belichting, gezichtshoek, achtergrond en schaal. Bijgevolg exploiteren modellen vaak schijnbare correlaties of "shortcuts" (bijvoorbeeld vertrouwen op textuur in plaats van vorm, of op achtergrondcontext in plaats van objectkenmerken) om hoge prestaties te bereiken, in plaats van robuuste, invariant representaties te leren.

Bestaande robuustheidsbenchmarks bieden gedeeltelijke oplossingen, maar lijden onder aanzienlijke beperkingen:

• Datasets met natuurlijke afbeeldingen (bijvoorbeeld ImageNet-E, ObjectNet) manipuleren doorgaans slechts 2D-afbeeldingsattributen of discrete condities, en slagen er niet in de onderliggende 3D-scenestructuur te ontwarren.
• Synthetische 3D-datasets (bijvoorbeeld CLEVR, 3DIdent) vertrouwen vaak op eenvoudige geometrische vormen, bestrijken weinig objectklassen, of missen uitlijning met de brede semantische diversiteit van ImageNet.
• Gebrek aan Controle: Er ontbreekt een schaalbaar kader dat de onafhankelijke, continue variatie van meerdere 3D-scenefactoren over een breed scala aan real-world objectcategorieën mogelijk maakt om modelgevoeligheid systematisch te kwantificeren.

Methodologie

De MAPS-dataset

De auteurs introduceren MAPS (Manifolds of Artificial Parametric Scenes), een schaalbaar, controleerbaar en ImageNet-gealigneerd 3D-benchmark.

• Mesh-curatie: De dataset bestaat uit 2.618 handmatig gecureerde, fotorealistische 3D-meshes die 560 ImageNet-classes bestrijken. Meshes zijn afkomstig van Sketchfab, gefilterd op fotorealisme en gevalideerd voor legale herverdeling (CC-BY/CC0).
• Validatie van herkenbaarheid: Om ervoor te zorgen dat de meshes herkenbaar zijn voor standaard visiemodellen, gebruikten de auteurs CMA-ES (Covariance Matrix Adaptation Evolution Strategy). Deze gradiëntvrije optimalisatiealgoritme doorzocht de 9-dimensionale sceneparameterruimte om ten minste één configuratie te vinden waarbij een referentiemodel (AlexNet, ResNet-50 of ViT-B/16) de mesh correct classificeerde. Alle 2.618 meshes bleken onder geschikte parameters herkenbaar.
• Semantische diversiteit: Analyse van de WordNet-structuur toont aan dat MAPS diverse semantische clusters bestrijkt (bijvoorbeeld gereedschappen, voertuigen, dieren), maar een bias vertoont naar prototypische, door mensen gemaakte objecten ten opzichte van fijnmazige dierlijke synsets (bijvoorbeeld specifieke hondenrassen), wat de beschikbaarheid van hoogwaardige 3D-assets weerspiegelt.

Renderpijplijn

MAPS biedt een open, Blender-gebaseerde renderpijplijn die imagegeneratie op aanvraag mogelijk maakt. In tegenstelling tot vooraf gerenderde datasets, blootlegt MAPS de parametrische sceneruimte zelf, waardoor gebruikers aangepaste bemonsteringsprotocollen kunnen ontwerpen. De pijplijn controleert negen onafhankelijke scenefactoren gegroepeerd in drie families:

1. Camera: Azimuth, Elevatie, Afstand, Roll.
2. Belichting: Azimuth, Elevatie, Vermogen.
3. Achtergrond: Tint, Verzadiging.

Evaluatieprotocol

Om modelgevoeligheid te evalueren, selecteerden de auteurs 100 representatieve ImageNet-classes uit MAPS. Voor elke mesh in deze classes renderden ze 5.000 afbeeldingen met behulp van Latin Hypercube Sampling (LHS) om brede dekking van de 9D-parameterruimte te garanderen met minder monsters dan uniforme roosterbemonstering.

Gevoeligheidsanalyse:
Voor elke model-mesh-paar pasten de auteurs lineaire en polynoomregressiemodellen toe om de beslissingsmarge van het model (het verschil tussen de logit van de juiste klasse en de maximale logit van concurrerende klassen) te voorspellen op basis van de sceneparameters.

• Lineaire regressie: Vangt eerste-orde effecten op.
• Polynoomregressie: Vangt niet-lineaire effecten op (kwadratische termen en paarsgewijze interacties).
• Meting: De grootte van de regressiecoëfficiënten dient als maatstaf voor gevoeligheid voor specifieke scenefactoren.

Belangrijkste Resultaten

1. Universele Faalassen

Over alle 20 geëvalueerde modellen (variërend van CNN's zoals ResNet en VGG tot Transformers zoals ViT en Swin) kwamen camera-afstand en camera-elevatie naar voren als de dominante drijvers van herkenningsfouten.

• Een toegenomen camera-afstand verminderde consistent de beslissingsmarge, waardoor modellen naar misclassificatie werden geduwd.
• Extreme camera-elevaties (zeer lage of zeer hoge hoeken) degradeerden de prestaties disproportioneel ten opzichte van frontaal zicht.
• Dit faalpatroon is consistent over architecturen, ongeacht hun algehele ImageNet-nauwkeurigheid, wat wijst op een gedeelde bias in hoe deze modellen ruimtelijke diepte en gezichtshoek behandelen.

2. Gevoeligheidsprofielen onthullen architecturale nuances

Hoewel geaggregeerde nauwkeurigheid modellen vaak losjes groepeert (bijvoorbeeld "CNN's" versus "Transformers"), bieden de door MAPS onthulde gevoeligheidsprofielen een fijnmazigere onderscheiding:

• Clustering: Moderne CNN's (bijvoorbeeld ConvNeXt) en op Transformers gebaseerde modellen clusteren samen in hun gevoeligheidsprofielen, vormend een distincte groep van oudere architecturen (bijvoorbeeld AlexNet, VGG).
• Ontwerpkeuzes zijn belangrijk: De divergentie tussen oudere en nieuwere modellen suggereert dat fijnmazige architecturale ontwerpkeuzes (bijvoorbeeld patchify-stammen, grote dieptegewichtskernen, LayerNorm in ConvNeXt) sterkere determinanten van gevoeligheidsprofielen zijn dan de brede CNN-versus-Transformer-onderscheiding.
• Verborgen verschillen: Modellen met vergelijkbare ImageNet top-1-nauwkeurigheid (bijvoorbeeld ResNet-18 en GoogLeNet) vertoonden opvallend verschillende gevoeligheid voor achtergrondverzadiging en lichtvermogen, verschillen die onzichtbaar zijn voor standaard nauwkeurigheidsmetrieken.

3. Interne representaties

De studie visualiseerde ook interne representaties en vond dat tussenliggende lagen in verschillende architecturen de toroidale topologie van het sceneparameter-manifold herstellen (specifiek bij het doorlopen van achtergrondtint en camera-azimuth), wat aangeeft dat de geometrische structuur van de invoerruimte wordt weerspiegeld in de latente ruimte van het model.

Betekenis en Claims

Het artikel positioneert MAPS als een programmeerbare, schaalbare referentiekader voor het onderzoeken van visiemodellen. De primaire betekenis ligt in:

• Ontwarren van causaliteit: Door ground-truth generatieve parameters te bieden, stelt MAPS onderzoekers in staat modelgedrag direct toe te schrijven aan specifieke scenefactoren in plaats van ongecontroleerde correlaties in natuurlijke afbeeldingen.
• Voorbij nauwkeurigheid: Het toont aan dat samenvattende metrieken zoals nauwkeurigheid gestructureerde verschillen in modelgedrag verhullen. Twee modellen kunnen identieke nauwkeurigheid hebben, maar steunen op fundamenteel verschillende visuele aanwijzingen (bijvoorbeeld één vertrouwt op textuur, een ander op vorm) om die nauwkeurigheid te bereiken.
• Mechanistische interpretabiliteit: De dataset ondersteunt zowel gedragsanalyse (gevoeligheidsprofielen) als mechanistisch onderzoek (het onderzoeken van de geometrie van interne representaties langs gecontroleerde trajecten).
• Toekomstige bruikbaarheid: De auteurs merken op dat de open renderpijplijn toekomstig werk ondersteunt, zoals het gebruik van differentieerbare rendering voor op gradiënten gebaseerde ontdekking van faalmodi of het vergelijken van representatieruimten in kunstmatige en biologische visiesystemen.

De auteurs houden een bescheiden standpunt aan, erkennend dat MAPS is ontworpen voor gecontroleerde gevoeligheidsanalyse in plaats van het meten van absolute robuustheid in inzet. Ze wijzen ook op huidige beperkingen, zoals het gebrek aan controle over contextuele objecten, occlusies of textuurvariaties, en de inherente bias naar prototypische categorieën vanwege de beschikbaarheid van 3D-assets.