🤖 AI

The Confusion is Real: GRAPHIC -- A Network Science Approach to Confusion Matrices in Deep Learning

Dieser Beitrag stellt GRAPHIC vor, eine architekturunabhängige Methode, die Netzwerkwissenschaft auf aus den mittleren Schichten neuronaler Netze abgeleitete Konfusionsmatrizen anwendet, um Klassendynamiken, lineare Trennbarkeit und Datensatzprobleme während des Trainingsprozesses systematisch zu visualisieren und zu quantifizieren.

Ursprüngliche Autoren: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie ein Schüler lernt, verschiedene Tiere in einem Fotoalbum zu identifizieren. Normalerweise schauen Sie nur auf die Endpunktzahl: „Sie haben 90 % richtig!" Das sagt Ihnen aber nicht, warum sie die 10 % falsch hatten, oder ob sie eine Katze mit einem Hund verwechseln, weil sie ähnlich aussehen, oder weil der Schüler einfach nur rät.

Dieser Artikel stellt ein neues Werkzeug namens GRAPHIC vor (was für einen langen, ausgefallenen Akronym über Graphen und Verwechslungen steht). Betrachten Sie GRAPHIC als eine „Verwechslungskarte", die es Ihnen erlaubt, während des Lernens einen Blick in das Gehirn des Schülers zu werfen, nicht nur am Ende.

So funktioniert es, mit einfachen Analogien:

1. Der „Geheimtest" (Der lineare Klassifikator)

Deep-Learning-Modelle (die „Schüler") haben viele versteckte Schichten, in denen sie Informationen verarbeiten. Wir können nicht leicht sehen, was sie in diesen mittleren Schichten denken.

Der Trick: Die Forscher nehmen die „Notizen", die das Modell in diesen mittleren Schichten schreibt, und geben sie einem sehr einfachen, ehrlichen Lehrer (einem linearen Klassifikator).
Der Test: Dieser Lehrer fragt: „Wenn ich nur diese Notizen sähe, könnte ich dann den Unterschied zwischen einem 'Flachfisch' und einem 'Menschen' erkennen?"
Das Ergebnis: Dies erzeugt eine Verwechslungsmatrix. Es ist ein Raster, das genau zeigt, wie oft das Modell ein Ding mit einem anderen verwechselt. Zum Beispiel könnte es zeigen, dass das Modell „Flachfisch" 20 % der Zeit mit „Mensch" verwechselt.

2. Das Raster in ein „Soziales Netzwerk" verwandeln

Anstatt nur eine langweilige Tabelle mit Zahlen anzusehen, verwandelt GRAPHIC dieses Raster in eine Karte eines sozialen Netzwerks.

Die Knoten (Punkte): Jede Kategorie (wie „Apfel", „Bär" oder „Auto") ist ein Punkt auf der Karte.
Die Kanten (Linien): Wenn das Modell zwei Dinge oft verwechselt, verbindet eine Linie sie.
- Eine dicke Linie bedeutet, dass sie sehr verwechselt werden (z. B. denkt das Modell oft, ein „Flachfisch" sei ein „Mensch").
- Eine dünne Linie bedeutet, dass sie selten verwechselt werden.
- Pfeile zeigen die Richtung des Fehlers an (z. B. wird „Mensch" selten als „Flachfisch" bezeichnet, aber „Flachfisch" oft als „Mensch").

3. Was haben sie entdeckt?

Indem sie beobachteten, wie sich dieses „soziale Netzwerk" verändert, während das Modell lernt, stellten die Forscher einige überraschende Dinge fest:

Die „Beliebtesten" des ersten Tages: In der allerersten Sekunde des Trainings wurden ein paar zufällige Klassen (wie „Computer-Tastatur" oder „Meer") zu „Knotenpunkten". Das Modell riet diese Namen für fast alles. Das lag nicht daran, dass das Modell schlau war; es lag einfach an der Reihenfolge, in der die Fotos gezeigt wurden. Es ist so, als würde Ihnen ein Lehrer zuerst ein Bild einer Tastatur zeigen; Sie würden dann für die nächsten 10 Bilder einfach „Tastatur" raten, nur weil Sie auf dieser Idee feststecken.
Bildung von Cliquen: Während des Trainings begannen die Punkte, sich zu „Cliquen" zu gruppieren, basierend auf echter Bedeutung. „Tiere" begannen, sich zusammenzutun, und „Bäume" begannen, sich zusammenzutun. Das Modell lernte die Konzepte, nicht nur Pixel auswendig.
Das „Flachfisch" vs. „Mensch"-Rätsel: Die Karte zeigte eine starke Linie, die „Flachfisch" und „Mensch" verbindet. Warum? Die Forscher schauten sich die Fotos an und stellten fest, dass der Datensatz verzerrt war. Viele Fotos von „Flachfischen" zeigten Fischer, die ihren Fang hochhielten. Das Modell lernte: „Wenn ich einen Menschen sehe, der einen Fisch hält, ist es ein Flachfisch." Es war keine visuelle Ähnlichkeit; es war ein kontextueller Hinweis aus einem schlechten Datensatz.
Die „Baby" vs. „Junge" vs. „Mädchen"-Unschärfe: Das Modell war zwischen Babys, Jungen und Mädchen sehr verwirrt. Die Forscher baten 31 Menschen, dieselben Fotos zu beschriften, und die Menschen waren auch verwirrt! Die Fotos waren einfach zu unscharf oder die Altersangaben zu mehrdeutig. Das Modell war nicht „dumm"; die Beschriftungen im Datensatz waren einfach unordentlich.
Die „Blattfarbe"-Verzerrung: Das Modell verwechselte „Ahornbäume" mit „Eichen". Warum? Die Fotos von Ahorn wurden meist im Herbst aufgenommen (rote/gelbe Blätter), während Eichen grün waren. Das Modell lernte, Bäume nach der Jahreszeit zu identifizieren, nicht nach dem Baumtyp.

4. Die „Transformer"-Überraschung

Die Forscher testeten zwei Arten von Modellen: ein Standardmodell (ResNet) und ein neueres, komplexeres Modell (ein Vision Transformer).

Das Standardmodell: Während es lernte, wurde es durchgehend besser darin, Dinge linear zu trennen (wie Äpfel von Orangen zu sortieren).
Der Transformer: Es begann damit, besser darin zu werden, Dinge zu trennen, aber dann wurde es in seinen frühen Stadien tatsächlich schlechter darin, sie zu trennen, bevor es wieder besser wurde. Es ist so, als müsste der Transformer einige einfache Regeln „verlernen", um komplexere zu lernen, während das Standardmodell einfach weiter Regeln übereinander stapelte.

Zusammenfassung

GRAPHIC ist wie ein Mikroskop für die „Fehler", die ein neuronales Netzwerk macht. Anstatt nur zu sagen „das Modell ist zu 90 % genau", zeichnet es eine Karte davon, wer wen verwechselt. Dies hilft Forschern zu sehen, ob das Modell die richtigen Dinge lernt, oder ob es nur schlechte Gewohnheiten aufgreift (wie einen Fisch mit einem Menschen zu verwechseln, weil ein Fischer im Hintergrund ist) oder ob der Datensatz selbst kaputt ist (wie unscharfe Fotos von Babys).

Es verwandelt die „Blackbox" der KI in ein sichtbares soziales Netzwerk von Verwechslungen und zeigt, dass die Verwirrung manchmal echt ist und manchmal die Schuld des Datensatzes ist.

Technische Zusammenfassung: GRAPHIC – Ein Ansatz der Netzwerkwissenschaft für Konfusionsmatrizen im Deep Learning

Problemdefinition

Erklärbare Künstliche Intelligenz (XAI) ist entscheidend geworden, um Zuverlässigkeitsbedenken im Deep Learning zu adressieren, insbesondere in hochriskanten Bereichen wie der medizinischen Diagnostik und dem autonomen Fahren. Allerdings stoßen bestehende post-hoc-Explainability-Methoden auf erhebliche Einschränkungen:

Lokale Methoden (z. B. Grad-CAM, LIME) konzentrieren sich auf einzelne Stichproben, was sie anfällig für Label-Rauschen und Stichprobenverzerrungen macht, und versagen darin, einen globalen Überblick über das Modellverhalten zu bieten.
Konzeptbasierte Methoden (z. B. TCAV) beruhen auf menschlich definierten Konzepten, die möglicherweise nicht mit den abstrakten Repräsentationen übereinstimmen, die tatsächlich vom Netzwerk gelernt wurden.
Globale strukturelle Methoden fokussieren sich oft auf die Organisation des Merkmalsraums, fehlt jedoch eine systematische Möglichkeit, die Verwirrungsdynamik auf Klassenebene über die Zeit zu visualisieren.
Bestehende Visualisierungen von Konfusionsmatrizen (z. B. ConfusionFlow) sind häufig auf die letzte Schicht und das konvergierte Modell beschränkt und verpassen die Evolution der Lern dynamiken sowie das Verhalten der Zwischenschichten.

Eine spezifische Lücke besteht in der Konstruktion und Analyse von Konfusionsmatrizen (CMs) für versteckte Schichten neuronaler Netze (NN), um zu verstehen, wie sich die Trennschärfe zwischen Klassen und die Verwirrung während des Trainings entwickeln.

Methodik: GRAPHIC

Die Autoren schlagen GRAPHIC (Graph-based Representation and Analysis of Predictions and Hidden-layer Interpretability via Confusion) vor, ein architekturagnostisches Framework, das Klassenverwirrung als Problem der Netzwerkwissenschaft behandelt.

1. Generierung von Konfusionsmatrizen für versteckte Schichten

Da versteckte Schichten keine Klassenvorhersagen direkt produzieren, setzt GRAPHIC Lineare Klassifikatoren (LCs) ein, die auf den Merkmalsvektoren der Zwischenschichten trainiert werden.

Trainingsstrategie: Die LCs werden unter Verwendung einer benutzerdefinierten Cross-Entropy-Verlustfunktion trainiert, die sowohl wahre Labels ( $y$ $y$ ) als auch die Vorhersagen des zu analysierenden NN ( $\tilde{y}$ $\tilde{y}$ ) integriert:
$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$
- $\lambda = 1$ (Wahre Labels): Misst die intrinsische lineare Trennschärfe der Merkmale in dieser Schicht.
- $\lambda = 0$ (Vorhergesagte Labels): Misst das aktuelle „Verständnis" des Modells und die Trainingsdynamik. Der LC wird trainiert, die Vorhersagen des NN zu reproduzieren und liefert so Einblicke in das Klasslernen, ohne sich auf Ground Truth zu verlassen.
CM-Konstruktion: Die trainierten LCs werden auf nicht gesehene Merkmalsvektoren (aus einem zurückgehaltenen Teil des Trainingsdatensatzes oder Validierungsdatensatzes) angewendet, um normalisierte Konfusionsmatrizen $C$ zu generieren.

2. Graphenrepräsentation

Die Konfusionsmatrizen werden als Adjazenzmatrizen gerichteter Graphen interpretiert:

Knoten: Repräsentieren die Klassen im Datensatz.
Kanten: Repräsentieren die Wahrscheinlichkeit, dass eine Stichprobe aus Klasse $i$ als Klasse $j$ vorhergesagt wird.
Gewichtung: Die Adjazenzmatrix wird definiert als $C_{ad} = C - C \odot I_N$ , wodurch fehlerhafte Vorhersagen (Nicht-Diagonalelemente) isoliert werden, um sich auf Verwirrung zu konzentrieren.

3. Analyse mittels Netzwerkwissenschaft

Die Autoren wenden Standardwerkzeuge der Netzwerkwissenschaft auf diese Graphen an:

Community-Erkennung: Durch Maximierung der Modularität ( $Q$ ) (via dem Directed Louvain-Algorithmus) werden „Verwirrungs-Communities" (CCs) identifiziert – Gruppen von Klassen, die häufig miteinander verwechselt werden. Dies offenbart emergente semantische Strukturen ohne vordefinierte Labels.
Assortativität: Berechnung des Assortativitätskoeffizienten, um zu messen, wie gut die gelernte Verwirrungsstruktur mit vordefinierten Gruppierungen übereinstimmt (z. B. „natürlich" vs. „menschgemacht" oder Datensatz-Superklassen).
Zeitliche Evolution: Analyse dieser Graphen über Trainings-Epochen und Netzwerkschichten hinweg, um die Evolution der Lern dynamiken nachzuvollziehen.

Hauptbeiträge

Neuartiger Analyseansatz: GRAPHIC ist die erste architekturagnostische Methode, die Konfusionsmatrizen für Zwischenschichten unter Verwendung von LCs generiert und analysiert, die sowohl auf wahren als auch auf vorhergesagten Labels trainiert wurden. Sie interpretiert diese Matrizen als gerichtete Graphen, um Werkzeuge der Netzwerkwissenschaft zu nutzen.
Datensatz- und Label-Diagnostik: Die Methode identifiziert verborgene Datensatzprobleme, Label-Unklarheiten und Verzerrungen, die durch die schiere Anzahl der Klassen verschleiert werden. Diese Erkenntnisse werden durch eine Human-Studie validiert.
Beobachtung von Trends der linearen Trennschärfe: Die Studie liefert empirische Belege für die lineare Trennschärfe von Zwischenschichten und beobachtet insbesondere einen Rückgang der Trennschärfe in frühen Decodern von visuellen Transformern, im Gegensatz zum monotonen Anstieg, der bei CNNs zu sehen ist.

Experimentelle Ergebnisse

Experimente wurden mit ResNet-50 (CNN) und EffVit (Vision Transformer) unter Verwendung von CIFAR-100 und Tiny ImageNet durchgeführt.

1. Evolution der Verwirrungs-Communities

Frühes Training: Einige dominante Klassen fungieren als „Verwirrungs-Hubs" (z. B. „Computer-Tastatur", „Meer", „Opossum" bei ResNet-50). Die spezifischen Hubs hängen stark von der Reihenfolge der Trainingsdaten ab, nicht nur von der Modellinitialisierung.
Konvergenz: Mit fortschreitendem Training entstehen semantisch sinnvolle Communities (z. B. Tiere, Bäume, Menschen). Die Verwirrung zwischen Gruppen nimmt ab und die Modularität steigt.
Schichtunterschiede: Bei ResNet-50 zeigen tiefere Schichten klarere Gruppierungen und eine höhere Modularität. Bei EffVit gewinnen frühe Decoder zunächst an linearer Trennschärfe, verlieren diese jedoch im weiteren Verlauf des Trainings wieder, was auf eine andere Lern dynamik im Vergleich zu CNNs hindeutet.

2. Datensatzprobleme und Verzerrungen

GRAPHIC visualisierte erfolgreich spezifische Datensatzartefakte:

Verzerrung durch Blattfarbe: Ahornbäume und Eichen wurden häufig verwechselt. Die Analyse ergab, dass das Modell sich auf saisonale Blattfarben verließ (rot/gelb für Ahorn, grün für Eichen) statt auf strukturelle Merkmale. Das Ändern der Blattfarben in Testbildern korrigierte die Vorhersagen.
Kontextuelle Verzerrung: Eine starke, nicht-reziproke Verwirrung wurde zwischen „Flunder" und „Mann" festgestellt. Dies wurde auf Datensatzbilder zurückgeführt, auf denen Angler Flundern halten, wodurch das Modell den Kontext (Halten eines Fisches) mit der Klasse „Mann" assoziierte.
Label-Unklarheit: Klassen wie „Junge", „Mädchen" und „Baby" bildeten eine enge Verwirrungs-Community. Eine Human-Studie (31 Teilnehmer) bestätigte, dass diese Klassen aufgrund der Bildqualität und der Grenzen der Definition von Alter/Geschlecht selbst für Menschen inhärent mehrdeutig sind.
Tiny ImageNet-Probleme: Verwirrungen zwischen „Cabrio" und „Sportwagen" sowie „getigerte Katze" und „ägyptische Katze" wurden identifiziert, was Label-Überlappungen und Inkonsistenzen in der Definition des Datensatzes aufdeckte.

3. Lineare Trennschärfe

ResNet-50: Die lineare Trennschärfe (gemessen durch die LC-Genauigkeit auf wahren Labels) stieg monoton mit der Tiefe und den Trainings-Epochen an, was mit früheren Studien übereinstimmt.
EffVit: Während spätere Decoder eine zunehmende Trennschärfe zeigten, wiesen frühe Decoder nach einem anfänglichen Anstieg einen Rückgang der linearen Trennschärfe auf. Dies deutet darauf hin, dass visuelle Transformer Lokalität und globalen Kontext möglicherweise anders lernen als CNNs, indem sie die lineare Trennschärfe in frühen Stadien möglicherweise wieder „verlernen", um komplexere Repräsentationen zu bilden.

Bedeutung und Behauptungen

Die Autoren behaupten, dass GRAPHIC eine neue Perspektive darauf bietet, wie neuronale Netze lernen, indem es durch einen datengesteuerten, strukturellen Ansatz „echte Verwirrungen" aufdeckt.

Handlungsrelevante Erkenntnisse: Durch die Visualisierung der Verwirrung auf Klassenebene hilft GRAPHIC dabei, Datensatzverzerrungen und Label-Fehler zu identifizieren, die von Standard-Genauigkeitsmetriken übersehen werden.
Architekturverständnis: Es offenbart fundamentale Unterschiede in den Lern dynamiken zwischen CNNs und Transformern, insbesondere hinsichtlich der Stabilität der linearen Trennschärfe in Zwischenschichten.
Vertrauen und Zuverlässigkeit: Die Methode liefert interpretierbare Visualisierungen, die das Design von Datensätzen leiten und die Modellzuverlässigkeit verbessern können, was für hochriskante Anwendungen wie die medizinische Bildgebung entscheidend ist.
Einschränkungen: Die Autoren erkennen den rechenintensiven Aufwand für das Training von LCs in mehreren Schichten und Epochen an, schlagen jedoch Strategien wie Early Stopping und Wiederverwendung von LCs vor, um dies zu mildern. Sie weisen zudem darauf hin, dass die Interpretation der semantischen Bedeutung der beobachteten Verwirrungen weiterhin eine manuelle Analyse erfordert.

Zusammenfassend schließt GRAPHIC die Lücke zwischen lokaler Erklärbarkeit und globaler struktureller Analyse und nutzt Netzwerkwissenschaft, um einen systematischen, klassenbezogenen Überblick über den Trainingsprozess und die Integrität des Datensatzes zu bieten.