🤖 AI

The Confusion is Real: GRAPHIC -- A Network Science Approach to Confusion Matrices in Deep Learning

Dit artikel introduceert GRAPHIC, een architectuur-onafhankelijke methode die netwerkwetenschap toepast op verwarringsmatrijzen afgeleid van tussenliggende neurale netwerklagen om systematisch de dynamiek van klassenverwarring, lineaire scheidbaarheid en datasetproblemen tijdens het trainingsproces te visualiseren en te kwantificeren.

Oorspronkelijke auteurs: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een student leert verschillende dieren te identificeren in een fotoalbum. Meestal kijk je alleen naar hun eindscore: "Ze hebben 90% goed!" Maar dat vertelt je niet waarom ze de 10% fout hadden, of ze een kat met een hond verwarren omdat ze op elkaar lijken, of omdat de student gewoon gissen doet.

Dit artikel introduceert een nieuw hulpmiddel genaamd GRAPHIC (een lange, chique afkorting die staat voor grafieken en verwarring). Denk aan GRAPHIC als een "Verwarringskaart" die je laat gluren in het brein van de student terwijl ze studeren, niet pas aan het einde.

Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Geheime Test" (De Lineaire Classificatie)

Deep learning-modellen (de "studenten") hebben vele verborgen lagen waar ze informatie verwerken. We kunnen niet gemakkelijk zien wat ze in deze middenlagen denken.

De Truc: De onderzoekers nemen de "notities" die het model in deze middenlagen opschrijft en geven ze aan een zeer eenvoudige, eerlijke leraar (een Lineaire Classificatie).
De Test: Deze leraar vraagt: "Als ik alleen deze notities zag, zou ik dan het verschil kunnen zien tussen een 'platvis' en een 'mens'?"
Het Resultaat: Dit creëert een Verwarringsmatrix. Het is een rooster dat precies laat zien hoe vaak het model één ding voor een ander aanziet. Bijvoorbeeld, het kan tonen dat het model 20% van de tijd een "platvis" verward met een "mens".

2. Het Rooster Omzetten in een "Sociaal Netwerk"

In plaats van alleen naar een saaie spreadsheet met cijfers te kijken, verandert GRAPHIC dit rooster in een sociaal netwerkkaart.

De Knopen (Punten): Elke categorie (zoals "Appel", "Beer" of "Auto") is een punt op de kaart.
De Randen (Lijnen): Als het model twee dingen vaak verward, verbindt een lijn ze.
- Een dikke lijn betekent dat ze zeer verward zijn (bijvoorbeeld, het model denkt vaak dat een "platvis" een "mens" is).
- Een dunne lijn betekent dat ze zelden verward zijn.
- Pijlen tonen de richting van de fout (bijvoorbeeld, "Mens" wordt zelden een "Platvis" genoemd, maar "Platvis" wordt vaak een "Mens" genoemd).

3. Wat Hebben Ze Ontdekt?

Door te kijken hoe dit "sociale netwerk" verandert naarmate het model leert, ontdekten de onderzoekers enkele verrassende dingen:

De "Populaire Kids" van de Eerste Dag: In het allereerste seconde van training werden een paar willekeurige klassen (zoals "Computertoetsenbord" of "Zee") "hubs". Het model raadde deze namen voor bijna alles. Dit was niet omdat het model slim was; het was gewoon vanwege de volgorde waarin de foto's werden getoond. Het is alsof een leraar je eerst een foto van een toetsenbord laat zien, en je de volgende 10 foto's dan maar "toetsenbord" raadt omdat je vastzit aan dat idee.
Het Vormen van Kliekjes: Naarmate de training vorderde, begonnen de punten zich te groeperen in "kliekjes" op basis van echte betekenis. "Dieren" begonnen bij elkaar te hangen, en "Bomen" begonnen bij elkaar te hangen. Het model leerde de concepten, niet alleen pixels te memoriseren.
Het "Platvis" vs. "Mens" Mysterie: De kaart toonde een sterke lijn die "Platvis" en "Mens" verbond. Waarom? De onderzoekers keken naar de foto's en realiseerden zich dat de dataset bevooroordeeld was. Veel foto's van "platvissen" toonden vissers die hun vangst omhoog hielden. Het model leerde: "Als ik een mens zie die een vis vasthoudt, is het een platvis." Het was geen visuele gelijkenis; het was een contextuele aanwijzing uit een slechte dataset.
De "Baby" vs. "Jongen" vs. "Meisje" Vervaging: Het model raakte zeer verward tussen baby's, jongens en meisjes. De onderzoekers vroegen 31 mensen om dezelfde foto's te labelen, en de mensen raakten ook verward! De foto's waren gewoon te wazig of de leeftijden te dubbelzinnig. Het model was niet "dom"; de labels in de dataset waren gewoon rommelig.
De "Bladkleur" Bias: Het model verwardde "Esdoornbomen" met "Eikenbomen". Waarom? De foto's van Esdoorns waren meestal genomen in de herfst (rode/gele bladeren), terwijl Eiken groen waren. Het model leerde bomen te identificeren op basis van het seizoen, niet het boomtype.

4. De "Transformer" Verrassing

De onderzoekers testten twee soorten modellen: een standaardmodel (ResNet) en een nieuwere, complexere (een Vision Transformer).

Het Standaardmodel: Naarmate het leerde, werd het beter in het lineair scheiden van dingen (zoals appels van sinaasappels sorteren) tot het einde toe.
De Transformer: Het begon beter te worden in het scheiden van dingen, maar toen, in zijn vroege stadia, werd het eigenlijk slechter in het scheiden ervan voordat het weer beter werd. Het is alsof de Transformer sommige eenvoudige regels moest "ontleren" om complexere regels te leren, terwijl het standaardmodel gewoon regels op elkaar bleef stapelen.

Samenvatting

GRAPHIC is als een microscoop voor de "fouten" die een neurale net maakt. In plaats van alleen te zeggen "het model is 90% accuraat", tekent het een kaart van wie wie verward. Dit helpt onderzoekers te zien of het model de juiste dingen leert, of dat het gewoon slechte gewoontes oppikt (zoals het verwarren van een vis met een mens vanwege een visser op de achtergrond) of dat de dataset zelf kapot is (zoals wazige foto's van baby's).

Het verandert de "black box" van AI in een zichtbaar sociaal netwerk van verwarringen, en onthult dat soms de verwarring echt is, en soms de schuld is van de data.

Technische Samenvatting: GRAPHIC – Een Netwerkwetenschappelijke Benadering van Verwarringsmatrijzen in Deep Learning

Probleemdefinitie

Explainable Artificial Intelligence (XAI) is cruciaal geworden voor het aanpakken van betrouwbaarheidsproblemen in deep learning, met name in hoog-risicodomeinen zoals medische diagnostiek en autonoom rijden. Echter, bestaande post-hoc uitlegbare methoden staan voor aanzienlijke beperkingen:

Lokale methoden (bijv. Grad-CAM, LIME) richten zich op individuele samples, waardoor ze kwetsbaar zijn voor labelruis en steekproefbias, en falen in het bieden van een globaal overzicht van modelgedrag.
Concept-gebaseerde methoden (bijv. TCAV) vertrouwen op door mensen gedefinieerde concepten, die mogelijk niet overeenkomen met de abstracte representaties die daadwerkelijk door het netwerk zijn geleerd.
Globale structurele methoden richten zich vaak op de organisatie van de feature-ruimte, maar missen een systematische manier om class-niveau verwarringsdynamiek in de tijd te visualiseren.
Bestaande visualisaties van verwarringsmatrijzen (bijv. ConfusionFlow) zijn vaak beperkt tot de laatste laag en het geconvergeerde model, waardoor de evolutie van leerdynamiek en het gedrag van tussenliggende lagen ontbreekt.

Er bestaat een specifiek gat in het construeren en analyseren van verwarringsmatrijzen (CM's) voor verborgen lagen van neurale netwerken (NN's) om te begrijpen hoe class-separabiliteit en verwarring evolueren tijdens het trainen.

Methodologie: GRAPHIC

De auteurs stellen GRAPHIC (Graph-based Representation and Analysis of Predictions and Hidden-layer Interpretability via Confusion) voor, een architectuur-agnostisch kader dat class-niveau verwarring behandelt als een probleem uit de netwerkwetenschap.

1. Genereren van Verwarringsmatrijzen voor Verborgen Lagen

Omdat verborgen lagen geen class-voorspellingen direct produceren, maakt GRAPHIC gebruik van Lineaire Classificators (LC's) die getraind zijn op de feature-vectoren van tussenliggende lagen.

Trainingsstrategie: De LC's worden getraind met een aangepaste cross-entropy-verliesfunctie die zowel echte labels ( $y$ $y$ ) als de voorspellingen van het te analyseren NN ( $\tilde{y}$ $\tilde{y}$ ) integreert:
$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$
- $\lambda = 1$ (Echte Labels): Meet de intrinsieke lineaire separabiliteit van de features op die laag.
- $\lambda = 0$ (Voorspelde Labels): Meet het huidige "begrip" van het model en de trainingsdynamiek. De LC wordt getraind om de voorspellingen van het NN na te bootsen, waardoor inzichten in class-leren worden verkregen zonder steun op ground truth.
CM-constructie: De getrainde LC's worden toegepast op onzichtbare feature-vectoren (van een vastgehouden deel van de trainingsset of validatieset) om genormaliseerde verwarringsmatrijzen $C$ te genereren.

2. Grafische Representatie

De verwarringsmatrijzen worden geïnterpreteerd als adjacentiematrices van gerichte grafen:

Knopen: Representeren de classes in de dataset.
Randen: Representeren de waarschijnlijkheid dat een sample van class $i$ wordt voorspeld als class $j$ .
Gewichtstoekenning: De adjacentiematrix wordt gedefinieerd als $C_{ad} = C - C \odot I_N$ , waarbij foutieve voorspellingen (diagonaal buiten de elementen) worden geïsoleerd om de focus te leggen op verwarring.

3. Netwerkwetenschappelijke Analyse

De auteurs passen standaard netwerkwetenschappelijke tools toe op deze grafen:

Community-detectie: Met behulp van Modulariteit ( $Q$ )-maximalisatie (via het Directed Louvain-algoritme) om "Verwarringsgemeenschappen" (CC's) te identificeren—groepen classes die vaak met elkaar worden verward. Dit onthult emergente semantische structuren zonder vooraf gedefinieerde labels.
Assortativiteit: Berekening van de assortativiteitscoëfficiënt om te meten hoe goed de geleerde verwarringsstructuur overeenkomt met vooraf gedefinieerde groeperingen (bijv. "natuurlijk" versus "door mensen gemaakt" of dataset-superclasses).
Temporele Evolutie: Analyse van deze grafen over trainings-epochs en netwerklagen heen om de evolutie van leerdynamiek te traceren.

Belangrijkste Bijdragen

Nieuwe Analyse-aanpak: GRAPHIC is de eerste architectuur-agnostische methode om verwarringsmatrijzen voor tussenliggende lagen te genereren en te analyseren met behulp van LC's die getraind zijn op zowel echte als voorspelde labels. Het interpreteert deze matrices als gerichte grafen om netwerkwetenschappelijke tools te benutten.
Dataset- en Labelingsdiagnostiek: De methode identificeert verborgen datasetproblemen, labelingsambiguïteiten en biases die worden verduisterd door het grote aantal classes. Deze bevindingen worden gevalideerd via een menselijke studie.
Observatie van Lineaire Separabiliteitstrends: De studie levert empirisch bewijs over de lineaire separabiliteit van tussenliggende lagen, waarbij met name een afname in separabiliteit wordt waargenomen in vroege decoders van visuele transformers, in tegenstelling tot de monotoon toename die wordt gezien in CNN's.

Experimentele Resultaten

Experimenten werden uitgevoerd op ResNet-50 (CNN) en EffVit (Vision Transformer) met behulp van CIFAR-100 en Tiny ImageNet.

1. Evolutie van Verwarringsgemeenschappen

Vroege Training: Een paar dominante classes fungeren als "verwarringshubs" (bijv. "computerkeyboard", "zee", "wombat" in ResNet-50). De specifieke hubs hangen sterk af van de volgorde van de trainingsdata, niet alleen van modelinitialisatie.
Convergentie: Naarmate de training vordert, ontstaan semantisch betekenisvolle gemeenschappen (bijv. dieren, bomen, mensen). Verwarring tussen groepen neemt af en de modulariteit neemt toe.
Lagerverschillen: In ResNet-50 tonen diepere lagen duidelijkere groeperingen en hogere modulariteit. In EffVit winnen vroege decoders aanvankelijk lineaire separabiliteit, maar verliezen deze naarmate de training vordert, wat wijst op een andere leerdynamiek in vergelijking met CNN's.

2. Datasetproblemen en Biases

GRAPHIC visualiseerde succesvol specifieke datasetartefacten:

Bladkleur-bias: Esdoornbomen en eikenbomen werden vaak verward. Analyse toonde aan dat het model leunde op seizoensgebonden bladkleuren (rood/geel voor esdoorn, groen voor eik) in plaats van structurele kenmerken. Het aanpassen van bladkleuren in testafbeeldingen corrigeerde de voorspellingen.
Contextuele Bias: Een sterke, niet-reciproque verwarring werd gevonden tussen "platvis" en "mens". Dit werd teruggevoerd naar datasetafbeeldingen waarbij vissers platvissen vasthouden, waardoor het model de context (een vis vasthouden) associeerde met de class "mens".
Labelingsambiguïteit: Classes zoals "jongen", "meisje" en "baby" vormden een strakke verwarringsgemeenschap. Een menselijke studie (31 deelnemers) bevestigde dat deze classes inherent ambigu zijn, zelfs voor mensen, vanwege beeldkwaliteit en grenzen van leeftijd/geslachtsdefinities.
Tiny ImageNet-problemen: Verwarringen tussen "cabriolet" en "sportauto", en "tabby" en "Egyptische kat" werden geïdentificeerd, wat label-overlappingen en inconsistenties in definities in de dataset onthulde.

3. Lineaire Separabiliteit

ResNet-50: Lineaire separabiliteit (gemeten door LC-accuraatheid op echte labels) nam monotoon toe met diepte en trainings-epochs, in overeenstemming met eerdere literatuur.
EffVit: Hoewel latere decoders een toenemende separabiliteit vertoonden, vertoonden vroege decoders een afname in lineaire separabiliteit na een initiële stijging. Dit suggereert dat visuele transformers anders leren dan CNN's, mogelijk door lineaire separabiliteit in vroege stadia te "ontleren" om complexere representaties te vormen.

Betekenis en Claims

Het artikel claimt dat GRAPHIC een nieuw perspectief biedt op hoe neurale netwerken leren door "echte verwarringen" bloot te leggen via een datagedreven, structurele aanpak.

Hanteerbare Inzichten: Door class-niveau verwarring te visualiseren, helpt GRAPHIC bij het identificeren van dataset-biases en labelingsfouten die standaard accuratenheidsmetingen missen.
Architecturale Begrip: Het onthult fundamentele verschillen in leerdynamiek tussen CNN's en Transformers, specifiek met betrekking tot de stabiliteit van lineaire separabiliteit in tussenliggende lagen.
Vertrouwen en Betrouwbaarheid: De methode biedt interpreteerbare visualisaties die datasetontwerp kunnen sturen en modelbetrouwbaarheid kunnen verbeteren, wat cruciaal is voor hoog-risico-toepassingen zoals medische beeldvorming.
Beperkingen: De auteurs erkennen de rekenkundige overhead van het trainen van LC's op meerdere lagen en epochs, hoewel ze strategieën suggereren zoals early stopping en het hergebruiken van LC's om dit te mitigeren. Ze merken ook op dat het interpreteren van de semantische betekenis van waargenomen verwarringen nog steeds handmatige analyse vereist.

Kortom, GRAPHIC overbrugt de kloof tussen lokale uitlegbaarheid en globale structurele analyse, en gebruikt netwerkwetenschap om een systematisch, class-niveau overzicht te bieden van het trainingsproces en de integriteit van de dataset.