🧬 biology

Directional Confusions Reveal Divergent Inductive Biases Through Rate-Distortion Geometry in Human and Machine Vision

Dit onderzoek toont aan dat richtingsgebonden verwarringen tussen menselijke en machinevisie, geanalyseerd via een Rate-Distortion-geometrie, blootleggen dat deze systemen ondanks vergelijkbare nauwkeurigheid fundamenteel verschillende inductieve biases vertonen die door robuustheidstraining niet volledig worden opgelost.

Oorspronkelijke auteurs: Leyla Roksan Caglar, Pedro A. M. Mediano, Baihan Lin

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Leyla Roksan Caglar, Pedro A. M. Mediano, Baihan Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Titel: Waarom Computers en Mensen op een Andere Manier Vergissen

Stel je voor dat een mens en een kunstmatige intelligentie (een computer) een wedstrijd doen in het herkennen van dieren op foto's. Ze maken beide ongeveer evenveel fouten. Als je alleen naar het aantal fouten kijkt, lijken ze even goed. Maar als je naar welke fouten ze kijken, zie je een heel groot verschil.

Dit onderzoek legt uit waarom dat zo is, met behulp van een slimme manier van kijken die "richtingverwarring" noemt.

1. De Verkeersborden-analogie: Wie wordt met wie verward?

Stel je voor dat je een verkeersbord moet herkennen.

De Mens: Als een mens een verkeerd bord ziet, denkt hij misschien: "Oh, dit lijkt wel een beetje op dat andere bord, en dat weer op een derde." De verwarring is verspreid. Een mens kan een 'stopbord' verwarren met een 'voorzichtigheid'-bord, maar ook met een 'geen invoer'-bord. De fouten zijn veelzijdig maar mild. Het is alsof de mens een brede, zachte mist heeft waarin alle borden een beetje in elkaar overlopen.
De Computer: Een computer maakt vaak heel specifieke, extreme fouten. Hij ziet misschien een 'zebra' en denkt direct: "Dat is een streepjescode!" Maar hij zal nooit denken dat een streepjescode een zebra is. De computer stort in één specifieke richting in. De fouten zijn weinig maar extreem. Het is alsof de computer een enorm gat in de weg heeft waar alle verkeerde borden in vallen, terwijl de rest van de weg perfect is.

De onderzoekers noemen dit: Mensen hebben een brede maar zwakke verwarring, computers hebben een smalle maar sterke ineenstorting.

2. De Reis door de Berg: De "Rate-Distortion" Kaart

Om dit te meten, gebruiken de onderzoekers een wiskundig idee dat lijkt op het plannen van een reis door een bergachtig landschap.

De Reis: Je wilt zo min mogelijk energie gebruiken (informatie) om toch een goed doel te bereiken (juiste herkenning).
De Kaart: De onderzoekers tekenen een kaart van hoe moeilijk het is om de fouten te verminderen.
- Bij mensen is de kaart glad en geleidelijk. Het kost een beetje meer moeite om elke fout te verbeteren, maar je kunt overal naartoe.
- Bij computers is de kaart ruw en vol met afgronden. Als je probeert de fouten te verbeteren, stort het systeem plotseling in op één punt, en wordt het daarna heel moeilijk om verder te gaan.

Zelfs als de computer en de mens evenveel fouten maken (dezelfde "score"), zien hun kaarten er totaal anders uit. De computer heeft een heel andere manier van denken (een andere "inductieve bias") dan de mens.

3. Waarom is dit belangrijk?

Vaak denken we: "Als de computer net zo goed scoort als de mens, is hij net zo slim." Dit onderzoek zegt: Nee, dat is niet waar.

Het Valstrikje: Je kunt een computer trainen om minder fouten te maken (bijvoorbeeld door hem duizenden vervormde foto's te laten zien). De totale hoeveelheid verwarring neemt dan af en lijkt op die van een mens.
De Realiteit: Maar de soort verwarring verandert niet echt. De computer blijft nog steeds in die ene "grote kuil" vallen in plaats van de brede, zachte mist van de mens te hebben.

Dit betekent dat een computer die "net zo goed" scoort als een mens, nog steeds heel kwetsbaar kan zijn op manieren die wij niet verwachten. Hij faalt om andere redenen dan wij.

4. De Conclusie in Eenvoudige Woorden

Stel je voor dat twee auto's even snel rijden.

Auto A (de mens) heeft een zacht veersysteem. Als er een steen op de weg ligt, veert hij rustig door en blijft hij stabiel.
Auto B (de computer) heeft een stijf frame. Hij rijdt ook even snel, maar als hij op een steen rijdt, schiet hij plotseling de lucht in en crasht hij.

De onderzoekers hebben een nieuwe manier bedacht om te kijken niet alleen naar de snelheid (de score), maar naar hoe de auto reageert op de steen (de richting van de fout). Ze ontdekten dat computers en mensen fundamenteel anders zijn ingesteld.

Kortom: Om echte "menselijke" intelligentie te bouwen, moeten we niet alleen kijken naar hoeveel fouten een computer maakt, maar ook naar hoe hij die fouten maakt. We moeten computers leren om hun fouten breder en zachter te verspreiden, net als wij mensen, in plaats van ze in één groot gat te laten vallen.

Titel

Directionale verwarring onthult divergerende inductieve biases via Rate-Distortion-geometrie in menselijke en machinevisie.

1. Het Probleem

Hoewel moderne kunstmatige neurale netwerken (ANN's) en mensen vaak vergelijkbare classificatie-accuraatheid bereiken op visuele taken, maken ze systematisch verschillende soorten fouten. Traditionele evaluatiemethoden focussen op de frequentie van fouten (accuraatheid) en behandelen verwarringsmatrijzen als ongestructureerd of symmetrisch. Dit negeert echter de richting van de fouten: wie wordt voor wie aangezien?

De auteurs stellen dat deze directionele verwarringen (asymmetrieën in verwarring) een cruciale signatuur vormen van onderliggende inductieve biases (de aannames die een systeem maakt over de wereld). Menselijke perceptie vertoont bekende asymmetrieën (bijv. een merel wordt meer als een vogel gezien dan andersom), terwijl modellen vaak "sink-like collapses" vertonen waarbij diverse subcategorieën in één dominante categorie instorten zonder de omgekeerde verwarring. De vraag is of deze structurele verschillen zichtbaar zijn wanneer systemen op gelijke accurate niveau worden vergeleken, en hoe deze relateert aan de generalisatie-geometrie.

2. Methodologie

Data en Experimenten:

Dataset: Gebruik van de Generalization (GEN) repository met $K=16$ ImageNet-afgeleide categorieën.
Condities: 12 soorten perturbaties (bijv. kleur, contrast, ruis, rotatie) om out-of-distribution (OOD) situaties te creëren.
Systeembereik: Vergelijking tussen menselijke psychofysische data ( $\sim$ 83k trials) en diverse diepe visiemodellen (GoogLeNet, ResNet-152, VGG-19, en modellen met verschillende robustness-training regimes zoals "Distortion-trained", "Specialised" en "All-noise").

Rate-Distortion (RD) Raamwerk:
De auteurs behandelen elk systeem als een ruisbeheersend communicatiekanaal gedefinieerd door zijn verwarringsmatrijs. Ze gebruiken een Rate-Distortion (RD) framework gebaseerd op informationstheorie om de trade-off tussen informatiebehoud en categorisatiefouten te kwantificeren.

Inferentie: Een latente vervormingsmatrix ( $\rho$ ) wordt geschat via Maximum-A-Posteriori (MAP) schatting.
RD Frontier: Door de inverse-temperatuur parameter ( $\lambda$ ) te variëren, wordt de optimale kanaalverdeling berekend (Blahut-Arimoto algoritme) om de RD-granite (frontier) te traceren.
Geometrische Signatures: Drie metingen worden afgeleid uit de RD-granite:
1. Slope ( $\beta$ ): De marginale kostprijs van informatie om fouten te reduceren.
2. Curvature ( $\kappa$ ): Hoe niet-uniform deze trade-off is over verschillende operationele punten.
3. Efficiency (AUC): Het oppervlak onder de RD-curve, een maat voor de algehele efficiëntie van het systeem.

Asymmetrie-metingen:
Om de richting van fouten te kwantificeren, definiëren ze:

Breedte (Breadth): Het fractie van asymmetrische klassenparen ( $f_{pairs}$ ).
Sterkte (Strength): De gemiddelde grootte van de directionele afwijking binnen die paren ( $\bar{\Delta}$ ).
Frobenius Asymmetrie: Een genormaliseerde norm van de asymmetrie in de verwarringsmatrijs.

Mechanistische Simulatie:
Om de causaliteit te testen, simuleren de auteurs systemen met twee types van asymmetrie:

Breed-zwak: Verspreide, zwakke biases over vele paren.
Sink-achtig: Geconcentreerde, sterke biases naar een paar dominante klassen.
Deze worden vergeleken op hun invloed op de RD-geometrie, gecontroleerd voor algehele accurate.

3. Belangrijkste Resultaten

A. Dissociatie in Asymmetrie-organisatie (Breedte vs. Sterkte)

Mensen: Vertonen een brede maar zwakke asymmetrie-structuur. Veel klassenparen vertonen een kleine directionele bias.
ANN's: Vertonen een spare maar sterke structuur. Fouten zijn geconcentreerd in "sink-like" collapses (sterke one-way fouten naar dominante prototypes), met minder betrokken paren.
Dubbele Dissociatie: Modellen die significant meer asymmetrisch zijn dan mensen, hebben niet per se een lagere accurate. Omgekeerd kunnen modellen met menselijke asymmetrie-niveaus significant nauwkeuriger zijn. Dit bewijst dat asymmetrie-structuur en accurate onafhankelijke maten zijn.

B. Relatie met Rate-Distortion Geometrie

De organisatie van asymmetrie (breedte vs. sterkte) voorspelt de RD-geometrie (AUC, $\beta$ , $\kappa$ ) bovenop wat alleen accurate kan verklaren.
Efficiëntie (AUC): Bij menselijke modellen correleert bredere asymmetrie met hogere efficiëntie. Bij modellen met "sink-like" collapses leidt toenemende asymmetrie vaak tot lagere efficiëntie.
Controle voor Accurate: Wanneer gecontroleerd wordt voor accurate binnen matched blokken, blijven specifieke associaties bestaan (vooral bij gespecialiseerde modellen), wat aantoont dat de directionele structuur unieke informatie over generalisatie bevat die niet in de totale score zit.

C. Robustness Training

Training voor robustheid vermindert de globale magnitude van asymmetrie en brengt deze dichter bij menselijke niveaus.
Echter, deze training faalt om het menselijke "breedte-strength"-profiel te herstellen. Modellen blijven vatbaar voor sterke, geconcentreerde collapses, wat aangeeft dat scalare metrics (zoals totale asymmetrie) onvoldoende zijn om menselijke alignering te garanderen.

D. Mechanistische Simulatie

De simulaties bevestigen dat dezelfde toename in asymmetrie-magnitude tegenovergestelde effecten kan hebben op de RD-granite, afhankelijk van de organisatie:
- Breed-zwak: Breidt de RD-granite uit (hogere efficiëntie).
- Sink-achtig: Laat de RD-granite instorten (lagere efficiëntie).
Dit verklaart waarom twee systemen met dezelfde globale asymmetrie-score fundamenteel verschillende generalisatiestrategieën kunnen hebben.

4. Bijdragen en Significatie

Technische Bijdragen:

Nieuwe Metriek: Introductie van de "breedte-strength" decompositie van directionele verwarring als een compacte signatuur voor inductieve bias.
RD-Geometrie Koppeling: Het aantonen dat de organisatie van fouten (niet alleen de grootte) de Rate-Distortion frontier bepaalt, wat inzicht geeft in de onderliggende representatiemansvelden.
Diagnostisch Instrument: Het bieden van een methode om menselijke en machinevisie te vergelijken die onafhankelijk is van pure accurate, waardoor kwalitatieve verschillen in faalmodi zichtbaar worden.

Significatie:

Beyond Accuracy: Het paper toont aan dat het bereiken van menselijke accurate of zelfs menselijke globale foutenpercentages niet betekent dat een model menselijke robuustheid of inductieve biases heeft.
Representational Geometry: De bevindingen suggereren dat menselijke representaties gebaseerd zijn op gladde, graduele similariteitsgradiënten (anisotroop maar soepel), terwijl ANN's vaak instorten naar een klein aantal dominante attractor-toestanden.
Toekomstige Training: Het stelt voor dat toekomstige trainingen niet alleen gericht moeten zijn op het minimaliseren van fouten, maar op het herverdelen van foutstructuren naar een bredere, zwakkere asymmetrie (het menselijke profiel). Dit zou kunnen worden bereikt door regularisatietermen die "sink-like" collapses straffen.

Kortom, dit werk positioneert directionele verwarringen en RD-geometrie als essentiële, interpreteerbare tools om de "black box" van inductieve biases in AI te doorgronden, vooral onder distributieveranderingen.