Lack of Consensus for Manual Mouse Sleep Scoring Limits Implementation of Automatic Deep Learning Models

Omdat gebrek aan consensus in handmatige muisslaapscoring leidt tot grote variabiliteit en labelruis, hebben bestaande deep learning-modellen moeite met generalisatie, maar retraining op diverse datasets en toekomstige standaardisatie bieden de weg naar robuuste, bruikbare tools.

De kern

Titel: Waarom computers het slapen van muizen nog niet perfect kunnen "lezen"

Stel je voor dat je een groep muizen wilt bestuderen om te begrijpen hoe ze slapen. In de wereld van de wetenschap is dit heel belangrijk, omdat muizen vaak gebruikt worden om menselijke ziektes te onderzoeken. Maar er is een groot probleem: het handmatig controleren van hun slaap is extreem tijdrovend. Wetenschappers kijken urenlang naar signalen (zoals hersengolven) en moeten elke minuut beslissen: is de muis wakker, in een lichte slaap of in een diepe droomslaap?

Om dit sneller te maken, hebben experts in de loop der jaren slimme computerprogramma's (kunstmatige intelligentie) ontwikkeld. De hoop was: "Laat de computer het werk doen, dan kunnen we overal in de wereld dezelfde resultaten krijgen."

Maar deze studie, geschreven door een groot team van onderzoekers uit verschillende landen, komt met een verrassende en belangrijke conclusie: Die slimme computers werken niet goed als je ze naar een ander laboratorium stuurt.

Hier is wat ze hebben ontdekt, vertaald in begrijpelijke taal met een paar leuke vergelijkingen.

1. De "Koffie-uitdaging": Waarom de computers falen

Stel je voor dat je een koffiebarista traint in Kopenhagen. Hij maakt de beste koffie ter wereld, gebaseerd op de specifieke koffiebonen, het water en de machine in die ene zaak. Als je die barista nu naar een café in Lyon of Bologna stuurt, faalt hij. De bonen zijn anders, het water is anders, en de machine tikt anders.

Zo werkt het ook met de slaap-computers:

• Het probleem: De modellen zijn getraind op data van één specifiek laboratorium. Ze hebben geleerd hoe die muizen slapen met die specifieke apparatuur.
• De realiteit: Zodra je het model naar een ander lab stuurt (met andere apparatuur, andere muizenrassen of andere opstellingen), raken ze de weg kwijt. Het is alsof je een auto laat rijden op een weg die er heel anders uitziet dan waarvoor hij is ontworpen. De modellen presteren wisselend en vaak slecht bij nieuwe data.

2. De oplossing: De "Reis" van de computer

De onderzoekers dachten: "Wat als we de computers niet laten trainen op één plek, maar ze laten reizen?"

Ze namen vier van de beste bestaande modellen en trainden ze opnieuw. Maar nu niet met data van één lab, maar met data van vijf verschillende laboratoria over de hele wereld.

• Het resultaat: Het werkte! De modellen die getraind waren op deze "diverse reis" waren veel slimmer en robuuster. Ze konden zich aanpassen aan nieuwe situaties.
• De les: Het maakt niet uit hoeveel data je hebt, het gaat om variatie. Een model dat veel verschillende soorten "slapende muizen" heeft gezien, is beter dan een model dat 10.000 keer dezelfde muis heeft gezien.

3. Het echte probleem: Zelfs de mensen zijn het niet eens!

Hier wordt het nog interessanter. De onderzoekers vroegen zich af: "Waarom is het zo moeilijk om dit te automatiseren?"

Ze deden een experiment: Ze gaven dezelfde 9 muizenaantekeningen aan 10 verschillende experts (twee uit elk van de vijf laboratoria). Ze vroegen hen allemaal om dezelfde muizen te scannen.

Het resultaat was verrassend: Zelfs de menselijke experts waren het niet helemaal eens.

• De analogie: Stel je voor dat je een schilderij laat bekijken aan 10 kunstcritici. De één zegt: "Dit is duidelijk blauw." De ander zegt: "Nee, het is paars met een beetje blauw." De derde zegt: "Het is grijs."
• De bevinding: Vooral bij de REM-slaap (de droomfase, waar muizen vaak trillen en hun ogen bewegen onder hun oogleden) was er veel onenigheid. Soms dachten experts dat een muis wakker was, terwijl anderen dachten dat hij sliep.
• Het gevolg: Als de "gouden standaard" (de menselijke experts) al niet eens het eens zijn, hoe kan een computer dan perfect zijn? De computer leert immers wat de mensen zeggen. Als de mensen verschillende antwoorden geven, raakt de computer in de war.

4. Wat betekent dit voor de toekomst?

De studie concludeert dat we niet zomaar nieuwe, nog slimmere computers moeten bouwen. Dat lost het probleem niet op.

In plaats daarvan moeten we eerst eenheid creëren:

1. Standaard regels: Alle laboratoria moeten afspreken: "Wanneer is een muis precies wakker en wanneer slaapt hij?" We hebben een soort "slapen-voor-muizen-handboek" nodig, net zoals er regels zijn voor het slapen van mensen.
2. De beste tools nu: Ondanks dat er nog geen perfect systeem is, hebben de onderzoekers vier modellen vrijgegeven die getraind zijn op data van over de hele wereld. Deze zijn de beste "veilige opties" die we nu hebben. Ze zijn niet perfect, maar ze zijn veel betrouwbaarder dan de oude versies.

Samenvatting in één zin

Om computers te laten helpen met het scannen van muisslaap, moeten we eerst stoppen met het bouwen van steeds slimmere algoritmen en beginnen met het maken van één gezamenlijk boekje met regels, zodat alle mensen (en dus ook de computers) eindelijk hetzelfde "dialect" spreken.

Technische samenvatting

Probleemstelling

Hoewel er al decennia wordt geprobeerd om de handmatige slaapstadiëring van muizen (op basis van EEG en EMG) te automatiseren, heeft geen enkel model het handmatige proces volledig kunnen vervangen in verschillende laboratoria. De auteurs stellen de hypothese dat dit te wijten is aan twee hoofdproblemen:

1. Signaalvariabiliteit: Technische verschillen in opzet (hardware, elektrodeplaatsing, referenties) en biologische variatie tussen muizen.
2. Labelruis (Label Noise): Gebrek aan consensus bij handmatige scoring door experts. Zelfs binnen hetzelfde laboratorium scoren experts slaapstadia (Wakefulness, NREMS, REMS) verschillend, wat leidt tot inconsistentie in de trainingsdata.

Bestaande state-of-the-art modellen (zoals SPINDLE, SS-ANN, Grieger en SlumberNet) presteren vaak goed op data uit het eigen laboratorium, maar falen bij generalisatie naar data van andere laboratoria.

Methodologie

De studie is opgebouwd uit drie hoofdonderdelen:

1. Validatiestudie (Generalisatie):

   • Vier bestaande deep learning-modellen (SPINDLE, SS-ANN, Grieger, SlumberNet) werden gereproduceerd.
   • Deze modellen werden getest op data van vijf verschillende laboratoria (Cohort A-E, totaal 83 wilde-type muizen).
   • De prestaties werden geëvalueerd met een "Leave-One-Lab-Out" (LOLO) benadering om te zien hoe goed modellen generaliseren naar onbekende laboratoria.

2. Optimalisatiestudie (Diverse Training):

   • De auteurs trainden de modellen opnieuw op een diverse dataset afkomstig van meerdere laboratoria.
   • Drie scenario's werden vergeleken:
     • Baseline: Oorspronkelijke modellen getraind op data van één lab.
     • Fixed n: Modellen getraind op een diverse dataset van gelijke grootte als de originele datasets.
     • All n: Modellen getraind op alle beschikbare data van vier laboratoria (grote, diverse dataset).
   • De prestaties werden gemeten op de vijfde, niet-getrainde lab-data.

3. Consensusstudie (Labelruis):

   • Om de mate van labelruis te kwantificeren, werden negen identieke EEG/EMG-opnames (Cohort F) handmatig gescoord door 10 experts (twee per lab).
   • De onderlinge overeenstemming werd gemeten met Cohen's kappa, zowel binnen laboratoria als tussen laboratoria.
   • De impact van deze variabiliteit op downstream-analyses (bijv. boutlengte, totale tijd per slaapfase) werd onderzocht.
   • De handmatige "hypnodensiteiten" (probabiliteit van slaapstadia gebaseerd op expert-consensus) werden vergeleken met de output van de getrainde deep learning-modellen.

Belangrijkste Resultaten

• Slecht generalisatievermogen van bestaande modellen: De vier state-of-the-art modellen presteerden inconsistent op externe data. Hoewel ze vaak goed waren in het detecteren van waaktoestand (Wakefulness), varieerde de prestatie voor REM-slaap (REMS) sterk tussen laboratoria. Sommige modellen vertoonden een neiging om de meerderheidsklasse te voorspellen, wat de recall voor minder voorkomende fasen verlaagde.
• Diversiteit in data is cruciaal: Het opnieuw trainen van de modellen op een diverse dataset (van meerdere laboratoria) leidde tot een significante verbetering in de algehele prestatie (macro F1-score) op onbekende data.
  • Het trainen op een diverse dataset (zelfs met een vaste steekproefgrootte) was effectiever dan het trainen op een grotere dataset van slechts één bron.
  • De prestatieverbetering tussen "diverse, vaste grootte" en "diverse, grote dataset" was statistisch niet significant, wat aangeeft dat diversiteit belangrijker is dan omvang voor generalisatie.
• Significante labelruis: Er was aanzienlijke variatie in handmatige scoring, zowel binnen als tussen laboratoria.
  • De overeenstemming was het hoogst voor waaktoestand (Kappa ~0.90-0.95) en het laagst voor REM-slaap (Kappa ~0.77-0.93).
  • De variatie zat vooral in de start- en eindpunten van slaapbouts, wat leidde tot verschillen in de berekende boutlengte.
• Model-calibratie: De getrainde modellen vertoonden een neiging om slaapstadia (NREMS/REMS) te overschatten ten opzichte van waaktoestand, vooral wanneer experts het oneens waren. De modellen reageerden echter wel op de consensus van de experts: waar experts het eens waren, was de modelzekerheid hoog.

Bijdragen en Significatie

1. Paradigmaverschuiving: De studie concludeert dat de focus voor het automatiseren van slaapstadiëring niet primair moet liggen op het ontwikkelen van nieuwe, complexere modellen, maar op het standaardiseren van scoringrichtlijnen en het verzamelen van diverse trainingsdata.
2. Robuuste Tools: De auteurs hebben vier robuuste modellen beschikbaar gesteld die zijn getraind op data van vijf laboratoria. Deze modellen dienen als gestandaardiseerde tools die beter generaliseren dan eerdere versies.
3. Hypnodensiteit als standaard: Het artikel pleit voor het gebruik van "hypnodensiteiten" (probabilistische output in plaats van discrete labels) om de onzekerheid van modellen en biologisch gemengde slaapstadia (zoals overgangen) beter weer te geven.
4. Open Science: Alle getrainde modellen en de nieuwe dataset (Cohort F met 10 expert-labels) zijn openbaar beschikbaar gesteld (GitHub en OpenNeuro), wat reproducibiliteit en verdere samenwerking in het veld faciliteert.

Conclusie:
De beperkte generalisatie van automatische slaapscoringsmodellen wordt niet alleen veroorzaakt door signaalvariabiliteit, maar vooral door de gebrekkige consensus in handmatige scoring (labelruis). Zonder een gestandaardiseerde set richtlijnen voor muisslaapscoring blijft de volledige automatisatie een uitdaging. De studie biedt echter een praktische oplossing door het gebruik van diverse trainingsdata om robuuste, generaliseerbare modellen te creëren.