How to gain valuable insight from scarce data with Machine Learning: a post-hoc explanation tool to identify biases in biological images classification

Diese Studie zeigt, dass durch den Einsatz von SHAP-basierten Erklärungen in Machine-Learning-Modellen versteckte Verzerrungen in kleinen biomedizinischen Bilddatensätzen aufgedeckt und gleichzeitig relevante biologische Informationen extrahiert werden können, um Fehlschlüsse zu vermeiden und sinnvolle Erkenntnisse zu gewinnen.

Das Wesentliche

Das große Problem: Der "Stumme" Schüler

Stellen Sie sich vor, Sie wollen einem sehr klugen Schüler (dem Künstlichen Intelligenz-Modell) beibringen, zwei verschiedene Arten von Heilung an Mäusen zu erkennen:

1. Regeneration: Das Gewebe wächst wie ein neuer, gesunder Arm nach (wunderschön!).
2. Narbenbildung: Das Gewebe heilt mit einer Narbe (funktioniert, aber nicht perfekt).

Das Problem ist: Sie haben nur sehr wenige Fotos von diesen Mäusen. In der Welt der KI ist das wie ein Schüler, der nur drei Bücher lesen darf, bevor er eine Prüfung macht. Normalerweise lernen solche Schüler dann nicht die Inhalte der Bücher, sondern merken sich die Trennlinien oder den Einband.

Was passiert ist: Der Schüler hat die Mäuse, nicht die Heilung gelernt

Die Forscher gaben dem KI-Modell viele Bilder von Mäuse-Gewebe. Das Modell lernte im Training scheinbar perfekt: "Aha, Bild A ist Regeneration, Bild B ist Narbe!" Es erreichte fast 100 % Punkte im Training.

Aber als sie das Modell dann mit ganz neuen Bildern von ganz anderen Mäusen testeten, fiel es durch. Es konnte die Heilung nicht mehr erkennen.

Warum?
Die KI hatte nicht gelernt, wie Gewebe heilt. Stattdessen hatte sie gelernt, die einzelnen Mäuse zu erkennen.

• Die Analogie: Stellen Sie sich vor, Sie wollen einem Schüler beibringen, "gute" von "schlechten" Schülern zu unterscheiden. Aber alle "guten" Schüler tragen rote Mützen und alle "schlechten" blaue. Der Schüler merkt sich nicht die Intelligenz, sondern die Mützenfarbe. Wenn Sie ihm dann einen Schüler mit einer blauen Mützen geben, der aber eigentlich sehr intelligent ist, denkt der KI-Schüler: "Oh, blaue Mütze = schlecht!" und liegt falsch.

In diesem Fall hatten die Mäuse, die sich regenerierten, zufällig andere "Mützen" (kleine, unsichtbare Details im Bild, die nur sie ausmachen) als die Mäuse mit Narben. Die KI war so gut darin, die Mäuse zu identifizieren, dass sie die eigentliche Aufgabe (Heilungstyp) ignorierte.

Der Detektiv-Trick: Wie man den Fehler findet (SHAP)

Die Forscher waren nicht enttäuscht, sondern neugierig. Sie nutzten ein Werkzeug namens SHAP.

• Die Analogie: Stellen Sie sich SHAP wie einen Detektiv mit einer Lupe vor. Der Detektiv fragt das KI-Modell: "Was hast du dir eigentlich angesehen, um diese Entscheidung zu treffen?"
• Das Modell antwortete: "Ich habe auf diese winzigen Details geschaut, die nur bei Maus Nr. 1 vorkommen."
• Als die Forscher dann das Modell darauf trainierten, die Mäuse selbst zu unterscheiden (nicht die Heilung), funktionierte es perfekt! Die KI war ein Meister im Erkennen von Mäusen.

Das war der Beweis: Die KI hatte die falsche Aufgabe gelöst. Sie war ein super "Maus-Erkennungs-System", aber ein schlechter "Heilungs-Detektiv".

Die Überraschende Entdeckung: Der echte Schatz im Müll

Aber hier kommt der spannende Teil. Als die Forscher genauer hinsahen, wie die KI die Mäuse verwechselte, stellten sie etwas Interessantes fest:
Die KI verwechselte Mäuse nicht zufällig. Sie verwechselte Mäuse, die 3 Tage nach der Verletzung waren, oft mit anderen Mäusen von 3 Tagen. Und Mäuse von 10 Tagen wurden mit anderen von 10 Tagen verwechselt.

Die Erkenntnis:
Obwohl die KI die Heilungsart (Narbe vs. Regeneration) nicht unterscheiden konnte, hatte sie gelernt, den Zeitpunkt (3 Tage vs. 10 Tage) zu erkennen!

• Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Kuchen zu backen, aber Sie haben nur eine alte, kaputte Schüssel. Sie können den Kuchen nicht perfekt backen. Aber Sie merken: "Wenn ich die Schüssel so halte, schmeckt es nach Tag 3, wenn ich sie so halte, nach Tag 10."
• Die Forscher haben das Modell dann darauf trainiert, genau das zu tun: Den Heilungsfortschritt (Tag 3 vs. Tag 10) zu erkennen. Und das funktionierte hervorragend!

Das Fazit für alle

Diese Studie lehrt uns zwei wichtige Dinge für die Zukunft:

1. Vorsicht bei kleinen Datenmengen: Wenn man nur wenige Bilder hat, lernt die KI oft nur die "Muster" der einzelnen Probanden (die Mäuse), nicht die eigentliche medizinische Frage. Man muss sehr genau prüfen, was das Modell wirklich gelernt hat.
2. Fehler sind Gold wert: Indem die Forscher genau analysierten, warum das Modell versagte (durch die "Lupe" von SHAP), fanden sie nicht nur den Fehler, sondern entdeckten eine neue, wichtige biologische Information (den Heilungszeitpunkt), die sie sonst übersehen hätten.

Kurz gesagt: Manchmal führt der Weg zu einer neuen Entdeckung nicht durch das perfekte Funktionieren einer Maschine, sondern durch das genaue Verstehen, warum sie eigentlich "dumm" war. Die KI hat uns gezeigt, dass der Heilungsprozess im Zeitverlauf viel deutlicher sichtbar ist als der Unterschied zwischen Narbe und Regeneration – zumindest mit diesen wenigen Bildern.

Technische Zusammenfassung

Titel:

Gewinnung wertvoller Erkenntnisse aus knappen Daten mittels maschinellem Lernen: Ein post-hoc-Erklärungstool zur Identifizierung von Verzerrungen bei der Klassifizierung biologischer Bilder.

1. Problemstellung

Maschinelles Lernen (ML), insbesondere Deep Learning (DL) mit Convolutional Neural Networks (CNNs), hat sich als leistungsstarkes Werkzeug zur Analyse biomedizinischer Bilder erwiesen. Dennoch stoßen diese Modelle in der Biologie und regenerativen Medizin oft an Grenzen:

• Datenknappheit: Experimentelle Daten sind aufgrund ethischer Bedenken, hoher Kosten und des Zeitaufwands für die Erhebung oft limitiert und stammen von einer geringen Anzahl individueller Probanden (hier: Mäuse).
• Verzerrungen (Bias) und Overfitting: In vielen Studien werden ML-Modelle auf kleinen Datensätzen trainiert, was zu Overfitting führt. Modelle lernen oft zufällige Korrelationen oder "Spurious Correlations" (z. B. individuelle Merkmale der Versuchstiere) statt der eigentlichen biologischen Muster.
• Fehlende Generalisierungsfähigkeit: Modelle, die auf Trainingsdaten hohe Genauigkeit zeigen, versagen häufig bei der Vorhersage auf unabhängigen Testdaten (neuen Tieren), was zu falschen wissenschaftlichen Schlussfolgerungen führt.

Das spezifische Ziel dieser Studie war es, Gewebeheilung in Mäusen zu klassifizieren: Unterscheidung zwischen Regeneration (gewünschte Heilung) und Narbenbildung (Fibrose) basierend auf mikroskopischen Bildern von subkutanem Fettgewebe.

2. Methodik

Datengrundlage:

• Modell: Adulte C57BL/6-Mäuse mit einer subkutanen Fettgewebe-Resektion. Je nach Behandlung (Naloxon-Methiodid vs. NaCl) und Resektionsgröße wurde entweder Regeneration oder Narbenbildung induziert.
• Bilderfassung: Konfokale Zwei-Photonen-Mikroskopie (40x Vergrößerung). Es wurden 3D-Tiles (Bestände aus mehreren 2D-Slices) aufgenommen, die Zellkerne (DRAQ5-Färbung) und Kollagenfasern (Second-Harmonic-Generation) zeigen.
• Datensatz: Insgesamt 48.788 2D-Bilder von 28 Mäusen (15 regenerative, 13 narbige), aufgenommen zu zwei Zeitpunkten: Tag 3 (D3) und Tag 10 (D10) nach der Verletzung.

Maschinelles Lernen & Architekturen:

• Modelle: Es wurden Deep Neural Networks (ResNet18, SqueezeNet, VGG11) und ein XGBoost-Classifier (basierend auf extrahierten Bildmerkmalen) verwendet.
• Aufgabe 1 (Binäre Klassifikation): Unterscheidung zwischen "Regeneration" und "Narbenbildung".
  • Strategie: Strikte Trennung der Daten auf Mäuse-Ebene (alle Bilder einer Maus entweder im Trainings- oder im Testset), um Datenlecks zu vermeiden.
• Aufgabe 2 (Individuen-Klassifikation): Unterscheidung der einzelnen Mäuse voneinander.
  • Strategie: Bilder desselben Tieres wurden auf Trainings- und Testset verteilt (Cross-Validation), um zu prüfen, ob das Modell individuelle "Fingerabdrücke" lernt.
• Erklärungstools (Explainable AI):
  • SHAP (SHapley Additive exPlanations): Zur Identifizierung der wichtigsten Merkmale für die Vorhersagen.
  • Abhängigkeitsplots (Dependence Plots): Zur Analyse, wie spezifische Merkmale die Vorhersage beeinflussen und ob sich Muster zwischen den Aufgaben überschneiden.
  • Fehleranalyse: Untersuchung der Konfusionsmatrizen, um systematische Fehlermuster zu erkennen.

3. Wichtige Ergebnisse

1. Scheitern der binären Klassifikation (Regeneration vs. Narbe):

• Die Modelle zeigten auf Trainings- und Validierungsdaten eine hohe Genauigkeit (bis zu 97 %).
• Auf dem unabhängigen Testset (neue Mäuse) brach die Leistung jedoch ein und erreichte nur noch Zufallsniveau (ca. 50 % Genauigkeit).
• Schlussfolgerung: Die Modelle hatten keine biologischen Muster der Heilung gelernt, sondern waren überangepasst (Overfitting).

2. Erfolg der Individuen-Klassifikation:

• Im Gegensatz zur binären Aufgabe konnten die Modelle (sowohl CNNs als auch XGBoost) die einzelnen Mäuse mit hoher Genauigkeit (bis zu 89 % im Training, ~73 % im Test) voneinander unterscheiden.
• Dies bestätigte die Hypothese, dass die Modelle eher individuelle Tier-spezifische Merkmale (z. B. leichte Variationen in der Bildaufnahme oder biologische Heterogenität) als die Heilungsart gelernt hatten.

3. SHAP-Analyse und Entdeckung der Verzerrung:

• Der Vergleich der SHAP-Werte zeigte eine hohe Überlappung (77 %) der wichtigsten Merkmale zwischen der binären Klassifikation und der Individuen-Klassifikation.
• Die Abhängigkeitsplots zeigten, dass die Vorhersagemuster für die Klasse "Regeneration" fast identisch waren mit den Mustern, die zur Erkennung der spezifischen "regenerierenden Mäuse" genutzt wurden.
• Erkenntnis: Das Modell nutzte individuelle Tier-Merkmale als Proxy für die Heilungsart, da diese Merkmale im Trainingsset zufällig mit den Labels korrelierten.

4. Fehleranalyse und Entdeckung relevanter biologischer Signale:

• Bei der Analyse der Fehler der Individuen-Klassifikation zeigte sich, dass die Verwechslungen nicht zufällig waren. Mäuse wurden oft mit anderen Mäusen derselben Heilungsart verwechselt, aber hauptsächlich basierend auf dem Zeitpunkt (Tag 3 vs. Tag 10).
• Neue Hypothese: Die Modelle hatten tatsächlich biologisch relevante Informationen (den zeitlichen Verlauf der Heilung) erfasst, diese aber im Kontext der ursprünglichen Aufgabe falsch interpretiert.
• Validierung: Als die Modelle explizit darauf trainiert wurden, Tag 3 vs. Tag 10 zu unterscheiden (unabhängig von der Heilungsart), gelang eine erfolgreiche Generalisierung auf den Testset. Dies bestätigte, dass der Datensatz Informationen über den Heilungszeitpunkt enthält, die stärker ausgeprägt sind als die Unterschiede zwischen Regeneration und Narbenbildung zu diesem frühen Zeitpunkt.

4. Hauptbeiträge

1. Post-hoc-Analyse als Werkzeug zur Bias-Erkennung: Die Studie demonstriert, dass das Training eines Modells auf einer alternativen Aufgabe (hier: Individuen-Erkennung) und der anschließende Vergleich der Erklärungen (SHAP) ein effektiver Weg ist, um versteckte Verzerrungen in kleinen Datensätzen aufzudecken.
2. Umgang mit knappen Daten: Es wird gezeigt, dass Modelle auch bei limitierten Daten biologisch relevante Muster lernen können, wenn die Aufgabe besser mit den verfügbaren Daten übereinstimmt (z. B. Zeitpunkt vs. Heilungsart).
3. Vermeidung falscher Schlussfolgerungen: Die Arbeit warnt davor, hohe Trainingsgenauigkeit bei kleinen biomedizinischen Datensätzen blind zu vertrauen, ohne die Generalisierungsfähigkeit und die zugrundeliegenden Merkmale zu prüfen.
4. Methodischer Ansatz: Eine Kombination aus Deep Learning, XGBoost und SHAP-basierter Fehleranalyse, um "Spurious Correlations" zu isolieren und echte biologische Signale zu extrahieren.

5. Bedeutung und Fazit

Diese Studie ist ein wichtiges Beispiel für verantwortungsvolles maschinelles Lernen in der Biomedizin. Sie zeigt, dass scheinbar gescheiterte Modelle (die die primäre Aufgabe nicht lösen) dennoch wertvolle Einblicke liefern können, wenn man ihre Fehler und Entscheidungswege sorgfältig analysiert.

Der zentrale Befund ist, dass in kleinen Datensätzen individuelle biologische Variationen oft stärkeren Einfluss auf die Modellvorhersagen haben als die eigentliche Zielvariable. Durch die Nutzung von Erklärungstools (SHAP) und die Umorientierung der Trainingsaufgaben konnten die Autoren nicht nur die Ursache des Scheiterns identifizieren, sondern auch eine neue, erfolgreiche Klassifikationsaufgabe (Zeitpunkt der Heilung) ableiten. Dies unterstreicht die Notwendigkeit, in der biomedizinischen Forschung ML-Modelle nicht nur als "Blackbox" zu betrachten, sondern deren interne Logik kritisch zu hinterfragen, um robuste und biologisch sinnvolle Erkenntnisse zu gewinnen.