How to gain valuable insight from scarce data with Machine Learning: a post-hoc explanation tool to identify biases in biological images classification

Deze studie demonstreert dat het gebruik van post-hoc uitlegmiddelen zoals SHAP cruciaal is om schijnbare prestaties van machine learning-modellen op kleine biologische datasets te analyseren, waardoor verborgen biases (zoals het herkennen van individuele muizen in plaats van weefselherstel) worden onthuld en waardevolle biologische inzichten kunnen worden gewonnen.

De kern

🧪 De Grote Droom: Weefsels genezen zonder littekens

Stel je voor dat je een snee in je huid krijgt. Meestal geneest je lichaam dit door een litteken te vormen. Dat is snel en veilig, maar het litteken werkt niet meer zo goed als de oorspronkelijke huid. Wetenschappers dromen ervan om het lichaam te leren om de huid volledig te laten herstellen, alsof het nooit beschadigd was (dit noemen ze regeneratie).

De auteurs van dit paper werken aan een manier om dit te stimuleren bij muizen. Ze hopen dat ze met Kunstmatige Intelligentie (KI) kunnen voorspellen of een wond gaat genezen als een litteken of als een perfect nieuw stukje weefsel.

🤖 Het Probleem: De KI is te slim voor zijn eigen gewin

De wetenschappers verzamelden foto's van muizenweefsel. Maar er was een groot probleem: ze hadden maar heel weinig foto's (een "schaarste dataset"). In de echte wereld is het moeilijk en duur om veel dieren te gebruiken voor onderzoek.

Ze trainden een slimme computer (een Machine Learning-model) om op de foto's te kijken en te zeggen: "Dit is een litteken" of "Dit is regeneratie".

Wat dachten ze?
De computer leerde tijdens de training perfect. Het leek alsof hij de biologie begrepen had.

Wat gebeurde er echt?
Toen ze de computer op nieuwe muizen lieten testen, faalde hij volledig. Het was alsof je een kind leert de letters A en B te herkennen, en dan vraagt je: "Wat is C?" en het kind zegt: "Ik weet het niet, want ik heb C nooit gezien."

🕵️‍♂️ De Oplossing: De "Sherlock Holmes" aanpak

De wetenschappers dachten: "Waarom faalt hij? Wat ziet hij eigenlijk?"
In plaats van de computer gewoon te laten doen, gebruikten ze een speciaal gereedschap (SHAP) om te kijken waarom de computer bepaalde keuzes maakte. Dit is als een detective die de vingerafdrukken van de computer bekijkt.

De verrassende ontdekking:
De computer had niet geleerd om het verschil tussen een litteken en regeneratie te zien. Hij had geleerd om de individuele muizen te herkennen!

De Analogie: De Verkleedpartij
Stel je voor dat je een groep vrienden hebt die een verkleedpartij geven.

• De taak: De computer moet raden wie er "verkleed als een superheld" is en wie "verkleed als een boef".
• De fout: De computer kijkt niet naar de kostuums. Hij kijkt naar de neus van de persoon.
  • Hij ziet: "Ah, die neus hoort bij Jan. En Jan staat altijd in de superheld-groep."
  • Hij ziet: "Die neus hoort bij Piet. En Piet staat altijd in de boef-groep."
• Het resultaat: Als de computer Jan ziet, roept hij "Superheld!", ook als Jan eigenlijk een boef-kostuum draagt. Hij heeft de persoon herkend, niet de taak.

In dit onderzoek leerde de computer dus niet de biologie, maar de unieke "stijl" van elke muis (misschien een klein vlekje op de foto, of een specifieke textuur die per dier verschilt).

💡 De Wending: Wat kunnen we dan wél leren?

Toen ze dit ontdekt hadden, keken ze verder. Ze zagen dat de computer, terwijl hij de muizen herkende, ook een ander patroon zag:

• De muizen van dag 3 na de operatie leken op elkaar.
• De muizen van dag 10 na de operatie leken op elkaar.

Het bleek dat het verschil tussen "dag 3" en "dag 10" veel duidelijker zichtbaar was op de foto's dan het verschil tussen "litteken" en "regeneratie".

De Analogie: De Rijpe Aardbei
Het is alsof je probeert te voorspellen of een aardbei zoet is (litteken vs. regeneratie) op basis van een foto. Maar de computer ziet dat de aardbeien op de foto's van maandag (dag 3) groen zijn en die van vrijdag (dag 10) rood.
De computer zegt: "Ik kan niet zeggen of hij zoet is, maar ik weet zeker dat deze van maandag is en deze van vrijdag!"

🚀 De Conclusie: Lessen voor de Toekomst

Dit onderzoek leert ons drie belangrijke dingen:

1. Wees voorzichtig met weinig data: Als je een slimme computer te veel data geeft, maar te weinig verschillende voorbeelden, gaat hij trucs gebruiken (zoals het herkennen van de persoon in plaats van de ziekte).
2. Kijk naar de "waarom": Het is niet genoeg om te zeggen "de computer werkt goed". Je moet uitleggen waarom hij goed werkt. Als je dat doet, zie je dat hij soms op de verkeerde dingen let.
3. Haal het beste uit weinig data: Zelfs als de computer faalt in zijn oorspronkelijke doel (litteken vs. regeneratie), kon hij wel een ander, waardevol biologisch patroon vinden (dag 3 vs. dag 10).

Kortom:
De wetenschappers gebruikten een "detective-methodiek" om te zien dat hun computer eigenlijk een "portretkunstenaar" was in plaats van een "bioloog". Door dit inzicht, konden ze de computer een nieuwe, haalbare opdracht geven waar hij wél goed in was. Dit helpt onderzoekers om niet in de val te trappen van schijnbare successen en om toch waardevolle inzichten te halen uit kleine datasets.

Technische samenvatting

Titel: Het verkrijgen van waardevolle inzichten uit schaarse data met Machine Learning: een post-hoc uitlegtool om bias te identificeren in classificatie van biologische afbeeldingen.

1. Het Probleem

Machine Learning (ML) en Deep Learning (DL) zijn krachtige tools voor het analyseren van biomedische afbeeldingen, maar hun toepassing wordt vaak beperkt door de schaarste aan data. In de biologie zijn datasets vaak klein, duur en ethisch complex om te verzamelen (door het gebruik van proefdieren).

• De uitdaging: Kleine datasets leiden vaak tot overfitting, waarbij modellen geen algemene biologische patronen leren, maar toevallige correlaties (spurious correlations) of artefacten van specifieke individuen memoriseren.
• De context: De studie richt zich op regeneratieve geneeskunde, met als doel het onderscheid te maken tussen weefselherstel via regeneratie versus littekenvorming (scarring) bij muizen. De verwachting was dat ML dit onderscheid vroeg in het herstelproces (dag 3 of 10) zou kunnen voorspellen, maar de beschikbare data was beperkt en heterogeen.

2. Methodologie

De auteurs hebben een uitgebreide ML-pijplijn ontwikkeld en getest op een dataset van 48.788 2D-beelden (afkomstig van 28 muizen) die met een confocale biphotonmicroscoop zijn gemaakt.

• Data Voorbereiding:
  • Beelden werden geconverteerd, gefilterd (verwijdering van zwarte/ruis-beelden) en genormaliseerd.
  • Om data-lekkage te voorkomen, werden alle 2D-slices van dezelfde 3D-tile en alle tiles van dezelfde muis consistent in dezelfde dataset (train of test) geplaatst.
• Modellen:
  • Deep Learning: Drie Convolutional Neural Networks (CNNs): ResNet18, SqueezeNet en VGG11.
  • Traditionele ML: XGBoost, getraind op handmatig geëxtraheerde features (textuur, morfologie, histogram) via de PyFeats bibliotheek.
• Experimentele Opzet:
  1. Binair Classificatie: Het onderscheid tussen "regenererend" en "littekenvormend" weefsel.
  2. Individuele Classificatie: Het herkennen van de specifieke muis waar het beeld vandaan komt.
  3. Post-hoc Analyse: Toepassing van SHAP (SHapley Additive exPlanations) om te analyseren welke features de modellen gebruikten voor hun voorspellingen.
  4. Foutenanalyse: Bestuderen van de verwarringsmatrijzen (confusion matrices) om patronen in de fouten te vinden.

3. Belangrijkste Resultaten

• Mislukking van de binare classificatie:

  • De modellen presteerden uitstekend op de trainings- en validatiesets (hoge nauwkeurigheid), maar faalden volledig op de onafhankelijke testset (nauwkeurigheid daalde naar ~0.5, wat gelijkstaat aan raden).
  • Dit duidde op ernstig overfitting: de modellen leerden niet het biologische proces van herstel, maar iets anders.

• Succesvolle individuele classificatie:

  • Wanneer de modellen werden getraind om individuele muizen te herkennen, presteerden ze uitstekend op zowel trainings- als testsets.
  • Dit bevestigde de hypothese dat de modellen "spurious correlations" leerden: ze herkenden subtiele, beeldspecifieke handtekeningen van individuele muizen in plaats van het weefseltype.

• SHAP-analyse onthult de bias:

  • De analyse toonde aan dat de belangrijkste features voor het onderscheiden van muizen grotendeels identiek waren aan die voor de binare classificatie (77% overlap).
  • Dependence plots toonden aan dat de voorspelling voor "regenererend" in de binare taak sterk leek op de voorspelling voor specifieke muissubgroepen. De modellen gebruikten dus individuele kenmerken als proxy voor het hersteltype.

• Ontdekking van biologisch relevante informatie:

  • Door de fouten in de individuele classificatie te analyseren, zagen de auteurs dat muizen niet willekeurig werden verward, maar gegroepeerd werden op basis van tijd na verwonding (dag 3 vs. dag 10) en het herstelresultaat.
  • Een nieuwe experimentele opzet waarbij modellen werden getraind om D3 (dag 3) versus D10 (dag 10) te onderscheiden, resulteerde in succesvolle generalisatie.
  • Dit suggereert dat de data wel degelijk biologisch waardevolle informatie bevatte, maar dat de oorspronkelijke taak (regeneratie vs. litteken) te subtiel was voor deze specifieke dataset, terwijl het tijdsverschil (D3 vs D10) een sterker signaal gaf.

4. Kernbijdragen

1. Post-hoc uitleg als diagnose-tool: Het artikel demonstreert dat het zorgvuldig analyseren van modeluitleg (via SHAP) essentieel is om verborgen bias te detecteren, vooral bij kleine datasets. Het blootlegt of een model de juiste biologische patronen leert of slechts individuen herkent.
2. Strategie voor schaarse data: In plaats van te concluderen dat ML niet werkt op kleine biologische datasets, tonen de auteurs aan dat je door de fouten en de uitleg te analyseren, kunt ontdekken welke andere biologische vragen (zoals tijdsverloop) wel goed beantwoord kunnen worden met dezelfde data.
3. Validatie van "Name That Dataset" in de biologie: Het bevestigt dat datasets van individuele dieren unieke "signatures" hebben die modellen kunnen leren, wat een groot risico vormt voor generalisatie in medische studies.

5. Betekenis en Conclusie

De studie waarschuwt onderzoekers dat succesvolle training op kleine datasets niet betekent dat het model het juiste biologische concept heeft geleerd. Door gebruik te maken van uitlegtools (Explainable AI) kunnen onderzoekers:

• Spurious correlations identificeren en elimineren.
• Verborgen bias (zoals individuele dierkenmerken) blootleggen.
• Nieuwe inzichten halen uit imperfecte data door de taak te herschalen naar wat de data daadwerkelijk ondersteunt (in dit geval: het onderscheid tussen dag 3 en dag 10 in plaats van regeneratie vs. litteken).

Dit benadrukt dat in de biomedische research, waar data schaars is, interpretatie van modelgedrag minstens zo belangrijk is als het trainen van het model zelf, om valse conclusies te voorkomen en echte biologische mechanismen te onthullen.