🧬 biology

Beyond Prediction Accuracy: Target-Space Recovery Profiles for Evaluating Model-Brain Alignment

Dit artikel introduceert een unifyend kader dat de uitlijning tussen model en brein evalueert door te kwantificeren welke specifieke reproduceerbare dimensies van de hersenresponsruimte worden hersteld, en onthult dat voorspellingsnauwkeurigheid alleen significante mismatches tussen kunstmatige visiemodellen en de menselijke visuele cortex kan maskeren.

Oorspronkelijke auteurs: Ken Nakamura, Tomoya Nakai, Ryuto Yashiro, Ayumu Yamashita, Kaoru Amano

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ken Nakamura, Tomoya Nakai, Ryuto Yashiro, Ayumu Yamashita, Kaoru Amano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren de wereld te zien zoals een mens dat doet. Meestal controleren wetenschappers of de robot het goed doet door een simpele vraag te stellen: "Hoe vaak raadt de robot het juiste antwoord?"

Als de robot 90% van de antwoorden goed heeft, zeggen we: "Groot werk!" Maar dit artikel betoogt dat het behalen van de juiste score niet genoeg is. Het is als een student die een perfect cijfer haalt op een wiskundetoets door de antwoorden uit het hoofd te leren zonder de formules daadwerkelijk te begrijpen. Ze hebben de score behaald, maar ze hebben niet de juiste dingen geleerd.

Hier is een eenvoudige uiteenzetting van wat dit artikel doet, met behulp van alledaagse analogieën:

1. Het Probleem: De "Score" is een Black Box

Momenteel kijken we, wanneer we een computerzichtmodel (de robot) vergelijken met een menselijk brein, naar slechts één getal: Voorspellende Nauwkeurigheid.

De Analogie: Stel je voor dat twee koks proberen een complexe soep na te maken. Je proeft de soep en zegt: "Kok A heeft de smaak 95% goed, en Kok B heeft hem ook 95% goed." Je verklaart ze gelijk.
De Realiteit: Maar wat als Kok A de smaak goed kreeg door te veel zout en geen peper te gebruiken, terwijl Kok B te veel peper en geen zout gebruikte? Ze proefden allebei "goed" (hoge score), maar ze gebruikten volledig verschillende ingrediënten om daar te komen. De score verbergt het feit dat ze de soep op heel verschillende manieren maken.

Het artikel zegt: "We moeten weten welke ingrediënten (of hersensignalen) het model daadwerkelijk gebruikt, niet alleen of de uiteindelijke smaak goed is."

2. De Oplossing: De "Reproduceerbare Blauwdruk"

Om dit op te lossen, creëerden de onderzoekers een nieuwe manier om naar de hersenactiviteit te kijken. Ze gebruikten een dataset waarbij dezelfde mensen heel vaak naar dezelfde afbeeldingen keken.

De Analogie: Stel je voor dat je probeert een stad in kaart te brengen. Als je eenmaal door de stad loopt, kun je verdwalen of een rare afkorting nemen. Maar als je 20 keer door de stad loopt met verschillende vrienden, kun je uitzoeken welke straten de belangrijke, betrouwbare wegen zijn die iedereen gebruikt, en welke slechts willekeurige, eenmalige omwegen zijn.
De Wetenschap: De onderzoekers gebruikten deze herhaalde wandelingen (fMRI-scans) om een "Reproduceerbare Doelreferentie" te bouwen. Dit is een kaart van de "hoofdwegen" van het brein – de delen van de hersenreactie die stabiel, betrouwbaar zijn en elke keer gebeuren wanneer we een specifieke afbeelding zien.

3. De Nieuwe Test: Het "Herstelprofiel"

In plaats van alleen te vragen: "Hoe nauwkeurig is de robot?", vragen ze nu: "Welke delen van de 'hoofdwegkaart' van het brein heeft de robot daadwerkelijk afgelegd?"

De Analogie: Laten we teruggaan naar de koks. In plaats van alleen de soep te proeven, kijken jullie nu naar hun receptboeken.
- Kok A (De Robot): Je controleert hun recept. Je ziet dat ze de belangrijkste kruiden (de betrouwbare hersensignalen) perfect gebruikten.
- Kok B (Een andere Robot): Je controleert hun recept. Je ziet dat ze dezelfde smaakscore behaalden, maar ze gebruikten vreemde, willekeurige kruiden die helemaal niet overeenkomen met de hoofdwegkaart.
- Het Resultaat: Hoewel ze dezelfde "smaakscore" hadden, kun je nu zien dat Kok A eigenlijk een betere nabootser is van het menselijk brein omdat ze de juiste ingrediënten gebruikten.

Het artikel noemt dit een "Herstelprofiel". Het toont een curve die je vertelt: "Dit model heeft de 10 belangrijkste hersensignalen zeer goed hersteld," of "Dit model heeft alleen het 1e signaal hersteld en de rest gemist."

4. De Grote Ontdekking: "Slim" vs. "Willekeurig"

De onderzoekers testten dit op computermodellen. Ze vergeleken:

Voorgetrainde Modellen: Robots die al miljoenen foto's hebben "bestudeerd" (zoals een student die een leerboek heeft gelezen).
Willekeurige Modellen: Robots met dezelfde structuur maar die nooit een foto hebben gezien (zoals een student die het leerboek willekeurig opende op een pagina).

De Verrassing:
Soms kregen de "Willekeurige" robot en de "Voorgetrainde" robot bijna exact dezelfde Voorspellende Nauwkeurigheid (de smaakscore).

Oude Visie: "Ze zijn gelijk."
Nieuwe Visie (met behulp van het Herstelprofiel): "Nee! De Voorgetrainde robot gebruikte de 'hoofdwegen' van het brein. De Willekeurige robot had geluk met de score, maar gebruikte een volledig ander, vreemd pad dat niet overeenkomt met hoe menselijke breinen eigenlijk werken."

5. De Menselijke Referentie

Om ervoor te zorgen dat hun nieuwe test eerlijk is, vergeleken ze de robots ook met andere mensen.

De Analogie: Voordat je de koks beoordeelt, vraag je: "Als een menselijke kok deze soep probeert te maken, welke ingrediënten gebruiken ze meestal?"
De onderzoekers ontdekten dat wanneer één persoon naar een afbeelding kijkt, hun hersenactiviteit voorspeld kan worden door naar de hersenactiviteit van een ander mens te kijken. Dit creëert een "Menselijke Referentie".
Nu kunnen ze zeggen: "Deze robot komt perfect overeen met de menselijke referentie," of "Deze robot komt slecht overeen met de menselijke referentie, zelfs als de score hoog is."

Samenvatting

Dit artikel introduceert een nieuw hulpmiddel om te voorkomen dat we voor de gek worden gehouden door hoge scores.

Vroeger: We controleerden alleen Hoe Goed een model het brein voorspelde.
Nu: We controleren Hoe Goed EN Welke Delen van het brein het model daadwerkelijk begrijpt.

Het is als overstappen van het controleren van het eindcijfer van een student naar het daadwerkelijk controleren van hun huiswerk om te zien of ze de les echt hebben begrepen of gewoon het juiste antwoord hebben geraden. Het artikel toont aan dat twee modellen hetzelfde cijfer kunnen hebben, maar op volledig verschillende manieren leren (of falen).

Technische Samenvatting: Voorbij Voorspellingsnauwkeurigheid: Profielen voor Herstel van Doelruimten ter Evaluatie van Model–Hersen-Alignering

Probleemstelling

Huidige evaluaties van kunstmatige visiemodellen tegenover de menselijke visuele cortex vertrouwen sterk op voorspellingsnauwkeurigheid (bijvoorbeeld correlatie tussen modelrepresentaties en fMRI-responsen). Hoewel nuttig voor het rangschikken van modellen, faalt een enkele scalair nauwkeurigheidscore om te onthullen welke dimensies van de responsruimte van het doelbrein daadwerkelijk worden hersteld door de voorspelling. Een model kan hoge nauwkeurigheid bereiken door slechts een subset van responsrichtingen vast te leggen, of door richtingen te matchen die verschillen van die welke door andere modellen met vergelijkbare nauwkeurigheid worden hersteld. Bovendien bevatten gemeten hersenresponsen zowel reproduceerbare signalen als ruis; zonder onderscheid tussen deze twee is het moeilijk te bepalen of een model aligneert met de ware, stabiele structuur van het brein of slechts ruis aanpast.

Methodologie

De auteurs introduceren een doelruimte-kader dat de evaluatiefocus verschuift van scalair scores naar de structurele overlap tussen voorspelde responsen en een reproduceerbare doelreferentie.

1. Reproduceerbare Doelreferentie

Met behulp van herhaalde fMRI-metingen (meerdere trials van dezelfde afbeeldingen) definiëren de auteurs een referentie die dimensies van de responsruimte van het doelbrein vastlegt die consistent herstelbaar zijn over onafhankelijke trial-splitsingen heen.

Constructie: Herhaalde trials voor vastgehouden afbeeldingen worden gesplitst in twee gemiddelde weergaven. Doel-naar-doel-voorspellingen worden in beide richtingen aangepast om doelzijdige bases af te leiden. De reproduceerbare doelreferentie is het gemiddelde van de projectoren die uit deze splitsingen zijn afgeleid.
Eigenschappen: In tegenstelling tot PCA, dat dimensies rangschikt op variantie, rangschikt deze referentie dimensies op voorspellende reproduceerbaarheid. Haar eigendecompositie levert doel-referentierichtingen ( $u_j$ ) en gewichten ( $\omega_j$ ) op, waarbij grotere gewichten richtingen aangeven die consistenter worden hersteld over trial-partities heen.

2. Voorspellende Subruimte en Herstelprofielen

Voor elke bron (het brein van een ander onderwerp of een visiemodel) evalueert het kader de bron-geïnduceerde voorspellende subruimte in de doel-responsruimte.

Bron-Inductie: Een met ridge geregulariseerde lineaire fit met lage rang rangt de bron op de doelbron, waardoor een orthonormale doelbasis ( $Q_s$ ) en een projector ( $P_s$ ) worden geïnduceerd.
Herstelprofiel: De alignering wordt gekwantificeerd door de mate waarin de voorspellende subruimte overlap vertoont met de reproduceerbare doelreferentie.
- Richtingsdekking: Meet of een specifieke doel-referentierichting $u_j$ binnen de voorspellende subruimte ligt.
- Top- $k$ Referentie-dekking: Een gewogen gemiddelde van de dekking van de top $k$ doel-referentierichtingen. Deze curve vat samen welke reproduceerbare dimensies worden hersteld.
- Profielgemiddelde: Een scalair samenvatting van de hoogte van het herstelprofiel.

3. Menselijke Referentie via Hersen-naar-Hersen Voorspelling

Om een basislijn voor "hersen-achtig" herstel vast te stellen, gebruiken de auteurs hersen-naar-hersen voorspelling. Responsen van niet-doelonderwerpen worden gebruikt om de responsen van het doelonderwerp te voorspellen. Het resulterende herstelprofiel dient als een menselijke referentie, wat aangeeft welke doel-referentiedimensies typisch herstelbaar zijn vanuit andere menselijke hersenen. Modellen worden geëvalueerd ten opzichte van deze menselijke referentie.

4. Experimentele Opzet

Dataset: Een subset van de Natural Scenes Dataset (NSD) met 8 onderwerpen die 515 natuurlijke afbeeldingen herhaaldelijk bekijken.
Doelen: ROIs van de visuele cortex (V1v, V1d, V2v, V2d, V3v, V3d, hV4) in beide hemisferen.
Bronnen:
- Brein: Responsen van andere onderwerpen.
- Modellen: ResNet-18/50, VGG-16 en ViT-B/16 in zowel voorgeöorde (ImageNet) als willekeurig geïnitieerde staten.
Protocol: Strikte scheiding van training en evaluatie. Buiten-test afbeeldingen definiëren de referentie en evalueren de nauwkeurigheid; ze worden nooit gebruikt voor modelselectie of hyperparameter-tuning.

Belangrijkste Resultaten

1. Laag-dimensionale Reproduceerbare Structuur

Herhaalde doel-breinresponsen definiëren een laag-dimensionale reproduceerbare doelreferentie. De referentiegewichten zijn geconcentreerd in een klein aantal dimensies (de eerste drie verklaren ~88,6% van de genormaliseerde gewicht), met een mediaan effectieve rang van 5,12. Deze structuur weerspiegelt voorspellende reproduceerbaarheid en niet alleen responsvariantie.

2. Voorspellingsnauwkeurigheid Maskeert Structurele Verschillen

De studie toont aan dat alleen voorspellingsnauwkeurigheid model–hersenen-mismatches kan maskeren.

Casestudy: Voorgeöorde en willekeurig geïnitieerde modellen met bijna identieke voorspellingsnauwkeurigheid ( $|\Delta \text{nauwkeurigheid}| \le 0,01$ ) vertoonden verschillende herstelprofielen.
Kwantitatieve Kloof: Over 29 paren van dezelfde architectuur (voorgeöord–willekeurig) overschreden 79% de menselijke-variatiethreshold voor verschillen in profielgemiddelde, ten gunste van de voorgeöorde modellen. Dit geeft aan dat vergelijkbare nauwkeurigheidscores kunnen corresponderen met het herstel van fundamenteel verschillende responsdimensies.

3. Vooroefening Verbredt Herstel

ImageNet-vooropleiding verandert het herstelprofiel aanzienlijk. Voorgeöorde modellen herstellen een bredere set doel-referentiedimensies in vergelijking met hun willekeurig geïnitieerde tegenhangers.

Profielgemiddelde Verschil: Voorgeöorde modellen overtroffen willekeurige controles met een gemiddelde van 0,177 in profielgemiddelde (95% BI: 0,162–0,192), een kloof die veel groter is dan de variabiliteit die wordt geïntroduceerd door willekeurige initiatie-zaden.
Dimensiespecifiekheid: Deze winst is niet beperkt tot de leidende dimensie; voorgeöorde modellen tonen een hogere dekking over de top 10 dimensies.

4. Hersen-naar-Hersen als Diagnostische Referentie

Vergelijkingen van hersen-naar-hersen bieden een gestructureerde menselijke referentie die informatiever is dan een scalair "ruisplafond". Hoewel de nauwkeurigheid van hersen-naar-hersen voorspelling correleert met de algehele hoogte van het herstelprofiel, varieert de vorm van de curve (welke dimensies worden hersteld) en biedt deze een specifieke diagnose voor hoe goed een model aligneert met de menselijke neurale structuur.

Betekenis en Beweringen

Het artikel beweert dat voorspellingsnauwkeurigheid onvoldoende is voor het diagnosticeren van model–hersen-alignering omdat het niet specificeert welke reproduceerbare hersenresponsdimensies worden hersteld.

Diagnostische Kracht: Het voorgestelde kader maakt expliciet welke reproduceerbare dimensies worden hersteld, waardoor mismatches worden onthuld die scalair scores verbergen (bijvoorbeeld tussen voorgeöorde en willekeurige modellen met gelijke nauwkeurigheid).
Mensgerichte Evaluatie: Door hersen-naar-hersen voorspelling te gebruiken om een menselijke referentie te definiëren, gaat het kader voorbij abstracte benchmarks naar een diagnostische vergelijking van wat wordt hersteld uit het doelbrein.
Conditionele Interpretatie: De auteurs benadrukken dat hoge herstelling van de reproduceerbare doelreferentie conditioneel bewijs is van alignering. Het geeft aan dat een bron-naar-doel-fit reproduceerbare dimensies herstelt voor een specifieke ROI, dataset en uitleesklasse, maar claimt niet dat de hele modelrepresentatie "hersen-achtig" is.

Het werk draagt een unificerend kader bij voor het evalueren van zowel model–hersen- als hersen–hersen-alignering, en betoogt dat het begrijpen van de structuur van herstel even kritiek is als de grootte van de voorspellingsnauwkeurigheid in NeuroAI.