🧬 biology

Characterizing Universal Object Representations Across Vision Models

Dit artikel identificeert universele, semantisch interpreteerbare objectrepresentaties in 162 diverse visiemodellen die onafhankelijk zijn van architecturale of trainingsvariaties maar sterk correleren met biologisch zien bij zowel makaken als mensen.

Oorspronkelijke auteurs: Florian P. Mahner, Johannes Roth, Ka Chun Lam, Michael F. Bonner, Francisco Pereira, Martin N. Hebart

Gepubliceerd 2026-05-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Florian P. Mahner, Johannes Roth, Ka Chun Lam, Michael F. Bonner, Francisco Pereira, Martin N. Hebart

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je een gigantische bibliotheek voor met 162 verschillende "visuele hersenen". Sommige zijn opgebouwd als klassieke camera's (CNN's), andere als moderne transformers; sommige zijn getraind om katten te herkennen, en andere om de relatie tussen woorden en beelden te begrijpen. Ze hebben allemaal verschillende blauwdrukken, verschillende leraren en verschillende doelen.

De grote vraag die de onderzoekers stelden is: Wanneer al deze verschillende hersenen naar hetzelfde object kijken (zoals een hond), zien ze het dan op dezelfde manier?

Het Experiment: De "Visie" Ontleden

Om dit te beantwoorden, vroegen de onderzoekers de computers niet zomaar "Is dit een hond?". In plaats daarvan keken ze naar hoe de computers de hond intern representeerden.

Stel je het interne beeld van een computer van een afbeelding voor als een complex recept gemaakt van 50 verschillende ingrediënten (dimensies).

Ingrediënt A zou kunnen zijn "hoe behaard het is".
Ingrediënt B zou kunnen zijn "hoezeer het op een voertuig lijkt".
Ingrediënt C zou kunnen zijn "de specifieke tint bruin".

De onderzoekers namen de "recepten" van alle 162 visiemodellen en probeerden te achterhalen welke ingrediënten Universeel waren (voorkomend in bijna elk recept) en welke Model-specifiek waren (uniek voor slechts één of een paar recepten).

De Ontdekking: De "Universele" Ingrediënten

Ze ontdekten dat, ondanks de verschillen in hoe deze modellen waren gebouwd, ze allemaal convergeren naar een specifieke set Universele Dimensies.

Hier is wat deze universele dimensies speciaal maakt, met behulp van eenvoudige analogieën:

Ze gaan over "Concepten", niet alleen over "Pixels":
- Universele Dimensies zijn als het idee van "Dier" of "Voertuig". Als je naar de afbeeldingen kijkt die deze dimensies vormen, zie je een duidelijke groep honden, of een duidelijke groep auto's. Ze vangen de betekenis van het object.
- Model-specifieke Dimensies zijn als het opmerken dat een specifieke hond een licht scheefstaand oor heeft, of dat een auto een specifieke textuur van roest heeft. Deze vangen laag-niveau visuele details (kleuren, texturen, randen) in, die sterk variëren tussen modellen.
Ze zijn makkelijker voor mensen om te begrijpen:
- Toen de onderzoekers mensen vroegen om naar de afbeeldingen te kijken die door deze dimensies gegroepeerd waren, konden mensen gemakkelijk zeggen: "Oh, deze groep gaat allemaal over 'Voedsel'."
- De model-specifieke dimensies waren voor mensen vaak een verwarrende warboel. Mensen konden niet gemakkelijk uitleggen waar ze naar keken.

Het "Waarom" en "Hoe"

De onderzoekers wilden weten waarom deze universele dimensies bestaan. Ze testten of het kwam doordat:

De modellen op dezelfde manier waren gebouwd? Nee. (Zowel CNN's als Transformers hadden ze).
Ze op dezelfde data waren getraind? Nee. (Modellen getraind op verschillende datasets deelden ze nog steeds).
Ze groter of slimmer waren? Nee. (Prestatie en grootte maakten niet uit).

De Conclusie: De universaliteit is geen truc van de code of de data. Het lijkt een natuurlijk gevolg te zijn van het leren om de wereld te zien. Omdat al deze modellen proberen zinnig te maken van dezelfde fysieke wereld, ontdekken ze van nature dezelfde "conceptuele shortcuts" (zoals "hond-zijn" of "stoel-zijn") die nuttig zijn voor het begrijpen van objecten.

De "Biologische" Connectie

Het meest spannende deel is dat deze Universele Dimensies overeenkomen met hoe echte biologische hersenen werken.

Toen de onderzoekers de modellen vergeleken met makaken (die visuele systemen hebben die vergelijkbaar zijn met die van mensen), voorspelden de "Universele Dimensies" van de modellen de hersenactiviteit van de apen veel beter dan de "Model-specifieke" dimensies.
Ze voorspelden ook hoe mensen gelijkenis tussen objecten beoordelen, veel beter.

De Kernboodschap

Stel je twee mensen voor die proberen een zonsondergang te beschrijven.

Persoon A (Model-specifiek) zegt: "Het is een verloop van hex-code #FF5733 die overgaat in #C70039 met een specifiek patroon van pixelruis."
Persoon B (Universeel) zegt: "Het is een prachtige, warme, oranje lucht."

Dit artikel laat zien dat wanneer deep learning-modellen goed worden in zien, ze stoppen met klinken als Persoon A en beginnen te klinken als Persoon B. Ze ontdekken allemaal onafhankelijk dat de meest nuttige manier om de wereld te begrijpen via concepten is (zoals "oranje lucht" of "hond") en niet alleen via ruwe pixels. En omdat onze eigen hersenen ook deze concepten gebruiken om de wereld te zien, vormen deze "Universele Dimensies" de brug tussen kunstmatige intelligentie en biologische visie.

Technische Samenvatting: Karakterisering van Universele Objectrepresentaties in Visuele Modellen

Probleemstelling

Diepe neurale netwerken (DNN's) die zijn getraind met uiteenlopende architecturen, objectief functies en datasets, blijken te convergeren naar vergelijkbare visuele representaties, een fenomeen dat soms wordt aangeduid als de "Platonische Representatie Hypothese". De specifieke visuele eigenschappen die deze gedeelde representaties vastleggen, en de factoren die deze convergentie aandrijven, blijven echter slecht begrepen. Belangrijke open vragen zijn:

Reflekteren universele representaties hoog-niveau conceptuele eigenschappen (bijv. objectcategorieën) of laag-niveau perceptuele eigenschappen (bijv. randen, kleuren)?
Welke inductieve bias (architectuur, objectief, trainingsdata, modelgrootte of prestatie) drijft het ontstaan van deze universele dimensies?
Hoe verhouden deze gedeelde dimensies zich tot biologische visie (neurale activiteit en menselijk gedrag)?

Vorig werk heeft vastgesteld dat modellen overlappen in representatiestructuur, maar heeft deze structuren niet systematisch ontleed in interpreteerbare, niet-negatieve dimensies om universele van modelspecifieke componenten te onderscheiden over een grote, diverse set modellen.

Methodologie

De auteurs analyseerden 162 diverse visuele modellen (variërend van CNN's, Transformers, MLP-Mixers en Hybriden) die waren getraind op verschillende datasets (ImageNet, LAION, Taskonomy, enz.) en met verschillende objectieven (supervised, self-supervised, vision-language). De analysepiplijn omvatte de volgende stappen:

Data en Representatie-extractie:
- Stimuli: 22.248 objectafbeeldingen uit de THINGS-database, dekkend 1.854 basisniveau objectcategorieën.
- Features: Representaties van de voorlaatste laag werden geëxtraheerd uit alle 162 modellen. De voorlaatste laag werd gekozen omdat deze hoog-niveau conceptuele en fijnkorrelige perceptuele informatie integreert die het dichtst bij de gedragsoutput ligt.
Symmetrische Niet-Negatieve Matrix Factorisatie (Symmetrische NMF):
- Om representaties vergelijkbaar te maken over modellen met verschillende feature-ruimtes, berekenden de auteurs eerst paarsgewijze objectgelijkheidsmatrices ( $S_m$ ) voor elk model met behulp van een Radiale Basisfunctie (RBF) kernel.
- Elke gelijkheidsmatrix werd ontleed in een kleine set niet-negatieve dimensies ( $r=50$ ) met behulp van Symmetrische NMF: $S_m \approx W_m W_m^\top$ .
- Dit leverde een niet-negatieve embedding $W_m$ op voor elk model, waarbij elke kolom een dimensie voorstelt gedefinieerd door ladingen over dezelfde set afbeeldingen. Deze aanpak zorgt ervoor dat dimensies interpreteerbaar zijn als "parts-based" features.
Kwantificering van Universaliteit:
- Er werd een universaliteitsscore berekend voor elke dimensie in elk model. Dit omvatte het vinden van een één-op-één correspondentie (via het Hongaarse algoritme) tussen dimensies van een doelmodel en alle andere modellen, gebaseerd op de kwadratische cosinusgelijkheid.
- De score voor een dimensie $k$ in model $m$ is de gemiddelde gelijkheid met zijn best-matchende dimensies over alle andere $M-1$ modellen.
- Scores werden gekalibreerd tegen een permutatie-nulverdeling om correctie toe te passen voor toevallige uitlijning en basale gelijkheid veroorzaakt door niet-negativiteit.
Karakterisering en Validatie:
- Interpreteerbaarheid: 1.059 representatieve dimensies werden gelabeld door crowd-sourced deelnemers als semantisch, visueel, beide, of geen van beide.
- Structurele Analyse: Categorieconsistentie ( $\eta^2$ ) werd berekend om te bepalen of dimensies afbeeldingen groepeerden op objectcategorie (tussen-categorie variantie) of op visuele features binnen categorieën (binnen-categorie variantie).
- Biologische Uitlijning: De voorspellende kracht van universele versus modelspecifieke dimensies werd getest tegen:
  - Multi-unit activiteit in de inferieore temporale (IT) cortex van makaken.
  - Menselijke oordelen over gelijkenis (odd-one-out triplet taken).
- Gestuurde Vergelijkingen: De auteurs isoleerden de effecten van architectuur, objectief functie, trainingsdata, modelgrootte en prestatie om hun invloed op universaliteit te bepalen.

Belangrijkste Resultaten

1. Bestaan van Universele Dimensies

De studie identificeerde een set interpreteerbare universele dimensies die consistent terugkeren in de 162 diverse modellen. Universaliteitsscores varieerden van bijna-toevallig (0,0003) tot 0,54, waarbij de meest universele dimensies 64% van het stabiliteitsplafond binnen het model bereikten. Deze universele dimensies zijn geen artefacten van specifieke modelfamilies of afbeeldingssets, aangezien de rangschikking stabiel bleef onder bootstrap-resampling en veranderingen in afbeeldingssets (THINGS versus ObjectNet).

2. Aard van Universele versus Modelspecifieke Dimensies

Universele Dimensies: Deze zijn significant interpreteerbaarder voor mensen. Bij hoge universaliteitsniveaus werden 80% van de dimensies gelabeld als semantisch of gemengd semantisch-visueel, en ze toonden sterke categorische consistentie (het groeperen van afbeeldingen op objectcategorie).
Modelspecifieke Dimensies: Deze zijn grotendeels niet-interpreteerbaar (78% gelabeld als "geen van beide" bij lage universaliteit) en worden gedreven door perceptuele afbeeldingseigenschappen (textuur, kleur, gezichtshoek) in plaats van conceptuele structuur. Ze vertonen hoge binnen-categorie variantie.
Reconstructiebelang: Cruciaal is dat universaliteit niet correleert met de bijdrage van een dimensie aan de algehele gelijkheidsstructuur van het model (reconstructiebelang). Zowel universele als modelspecifieke dimensies dragen evenveel bij aan de representatiemetric van het model.

3. Drijvers van Universaliteit

De auteurs vonden dat geen enkele inductieve bias het ontstaan van universele dimensies verklaart:

Architectuur: Geen significant verschil in universaliteit tussen CNN's, Transformers, MLP-Mixers of Hybriden.
Objectief Functie: Hoewel semantische taken meer universele dimensies produceerden dan geometrische taken binnen de Taskonomy-familie, dreef geen enkel objectief (bijv. contrastief versus niet-contrastief, vision-language versus visueel-only) consistent universaliteit aan over de bredere modelzoo.
Trainingsdata: Noch datasetschaal (ImageNet-1K versus 21K) noch specifieke web-scale datasets (LAION, DFN, MetaCLIP) veranderden de universaliteitsscores significant.
Modelgrootte/Prestatie: Universaliteit toonde geen correlatie met het aantal parameters of ImageNet top-1 nauwkeurigheid.

4. Uitlijning met Biologische Visie

Modellen met een hoger aandeel universele dimensies voorspellen beter:

Neurale Activiteit: Multi-unit activiteit in de IT-cortex van makaken ( $r = 0,74$ ).
Menselijk Gedrag: Menselijke oordelen over gelijkenis in odd-one-out taken ( $r = 0,76$ ).
Bovendien presteert de "universele helft" van de dimensies van een model (de top 25 op score) significant beter dan de "modelspecifieke helft" bij het voorspellen van zowel neurale als gedragsdata.

Betekenis en Claims

Het artikel claimt dat universaliteit een emergente eigenschap is van succesvol visueel representatieleren in plaats van een gevolg van specifieke architecturale of trainingskeuzes. De bevindingen suggereren dat:

Diverse modellen convergeren naar een gedeelde set conceptuele, interpreteerbare objectrepresentaties die uitlijnen met biologische visie.
De convergentie wordt gedreven door de beperkingen van de visuele wereld zelf, in plaats van modelspecifieke inductieve bias.
Interpreteerbaarheid, conceptuele inhoud en biologische uitlijning komen samen voor in de structuur waarop modellen convergeren.

De auteurs positioneren hun werk als een stap naar het begrijpen van het "waarom" van visueel representatieleren, en tonen aan dat ondanks de "gefractureerde" aard van modelspecifieke features, een robuuste, universele kern bestaat die de organisatie van het biologische visuele systeem nabootst. Zij stellen expliciet dat deze convergentie niet compleet is (universele dimensies hebben geen perfecte scores, en modelspecifieke dimensies blijven significant), maar dat de gedeelde structuur voldoende is om uitlijning met hersenen en gedrag te verklaren.

Het artikel concludeert dat dit kader een generaliseerbare aanpak biedt voor het begrijpen van gedeelde versus specifieke representaties in elke set modellen die gemeenschappelijke inputs verwerkt, en dat het voorbijgaat aan eenvoudige representatie-uitlijningsmetrieken om de inhoud van convergentie te karakteriseren.