Automatic pain face analysis in mice: Applied to a varied dataset with non-standardized conditions

Dit artikel introduceert een deep learning-model dat, getraind op een groot en divers dataset, de gemiddelde scores van de Mouse Grimace Scale betrouwbaar voorspelt onder niet-gestandaardiseerde omstandigheden en hiermee zelfs de prestaties van gemiddelde menselijke beoordelaars overtreft.

De kern

Hoe computers de pijn van muizen kunnen "lezen": Een verhaal over gezichten, data en een nieuwe bril

Stel je voor dat je een muizenhuisje binnenstapt. De muizen rennen, spelen en slapen. Maar wat als een van die muizen pijn heeft? Muizen zijn slimme overlevingskunstenaars; ze verbergen hun pijn vaak om niet als zwakke prooi te lijken. Voor een onderzoeker is het dus een lastige puzzel: Is die muizentje echt in orde, of zit hij in de pijn?

Vroeger moesten mensen (wetenschappers) met een loep en een scorebordje (de "Mouse Grimace Scale" of MGS) naar de muizen kijken. Ze keken naar hun oren, neus, wangen en snorharen. Maar dit heeft twee grote problemen:

1. Het is tijdrovend: Mensen kunnen niet 24 uur per dag kijken.
2. Het is stressvol: Als een mens naar een muis kijkt, wordt de muis vaak nerveus en verbergt hij zijn pijn nog meer.

De oplossing: Een computer die "pijn" ziet
De auteurs van dit artikel hebben een slimme computer (een kunstmatige intelligentie) getraind om de gezichtsuitdrukkingen van muizen automatisch te analyseren. Het doel? Een computer maken die kan zeggen: "Die muis heeft pijn," zonder dat een mens erbij hoeft te zijn.

Het grote probleem: De "Kleurrijke Chaos"
Het is makkelijker gezegd dan gedaan. Stel je voor dat je een computer leert een auto te herkennen. Als je hem alleen foto's geeft van rode auto's op een parkeerplaats, denkt hij dat alle auto's rood zijn en alleen op parkeerplaatsen staan. Als je hem dan een blauwe auto op een weg laat zien, herkent hij hem niet.

Precies dit gebeurde met eerdere muizen-computers:

• Ze waren getraind op één soort muis (bijvoorbeeld zwarte muizen).
• Ze werkten alleen in één specifiek lab met één soort camera en één soort kooi.
• Zodra je ze een witte muis in een andere kooi liet zien, raakten ze in de war.

De echte wereld van muizen is echter een mengelmoes: zwarte, witte en bruine muizen, in verschillende kooien, met verschillende lichten, en onder verschillende omstandigheden.

De oplossing: De "Super-Dataset"
Om dit op te lossen, hebben de onderzoekers een gigantische verzameling foto's gemaakt: ongeveer 35.000 foto's van muizen!

• Ze kwamen uit 5 verschillende laboratoria.
• Ze bevatten 5 verschillende muizensoorten (zwart, wit, bruin).
• Ze waren gemaakt met verschillende camera's en in verschillende kooien.

Je kunt dit vergelijken met het trainen van een chef-kok. In plaats van dat hij alleen pizza's leert maken in één restaurant, laten ze hem koken in 5 verschillende keukens, met verschillende fornuizen en ingrediënten. Zo leert hij echt koken, en niet alleen die ene pizza maken.

Hoe werkt de computer?
De computer kijkt naar de "pijn-gezichten" (de MGS):

1. Oogleden: Worden ze strakker?
2. Neus: Ziet hij er bol uit?
3. Wangen: Zwellen ze op?
4. Oren: Draaien ze naar achteren?
5. Snorharen: Veranderen ze van vorm?

De computer leert dat als deze onderdelen samenwerken, de muis pijn heeft. Ze hebben de computer getraind met een methode die "transfer learning" heet. Dat is alsof je iemand eerst leert lezen (een basisvaardigheid) en hem daarna leert een specifiek boek te begrijpen. De computer leerde eerst alledaagse objecten herkennen, en daarna specifiek muizengezichten.

Wat was het resultaat?
Het resultaat is verrassend goed:

• De computer maakt minder fouten dan het gemiddelde menselijke onderzoeksteam.
• Als de computer en de mens naar dezelfde foto kijken, zijn ze het vaak eens (een correlatie van 0,85 op een schaal van 1,0).
• De computer kan zelfs werken met muizensoorten en kooien die hij nog nooit eerder heeft gezien, hoewel hij dan iets minder goed presteert dan bij de muizen waar hij specifiek voor getraind is.

De belangrijkste les
De studie toont aan dat je een computer niet kunt trainen met alleen "perfecte" foto's van één soort muis. Je moet hem blootstellen aan de chaos van de echte wereld. Hoe meer variatie (verschillende muizen, verschillende kooien, verschillende lichten) je in de training stopt, hoe slimmer en robuuster de computer wordt.

Conclusie: Waarom is dit belangrijk?
Dit betekent dat we in de toekomst muizen 24 uur per dag kunnen monitoren in hun eigen huisje, zonder dat een mens hoeft te komen kijken. De computer ziet de pijn eerder dan wij dat kunnen, waardoor we de dieren sneller kunnen helpen. Het is een stap naar een menselijker en wetenschappelijk betere manier van werken met proefdieren.

Kortom: De onderzoekers hebben een computer gemaakt die niet alleen naar muizen kijkt, maar ze echt begrijpt, zelfs als ze er anders uitzien dan de muizen waar hij mee is opgegroeid.

Technische samenvatting

Probleemstelling

Biomedisch onderzoek is afhankelijk van betrouwbare methoden om pijn, lijden en distress bij proefdieren (voornamelijk muizen) te beoordelen om hun welzijn te waarborgen. De Mouse Grimace Scale (MGS) is de standaard voor het beoordelen van gezichtsuitdrukkingen, maar wordt momenteel handmatig uitgevoerd door getraind personeel. Dit heeft beperkingen:

1. Subjektiviteit en variabiliteit: Handmatige scoring is tijdrovend en kan variëren tussen beoordelaars.
2. Stress door observatie: Het uit de kooi halen van muizen voor een standaard opname (cage-side) veroorzaakt extra stress en verandert het gedrag, waardoor de gezichtsuitdrukking niet natuurlijk is.
3. Beperkingen van bestaande automatisering: Bestaande geautomatiseerde tools zijn vaak beperkt tot specifieke muizenrassen, standaardisatie van de opnameomgeving (licht, achtergrond) en kunnen niet goed generaliseren naar niet-gestandaardiseerde omstandigheden (zoals in de thuisomgeving of "home cage").

De kernuitdaging is het ontwikkelen van een computer vision-model dat robuust is tegen de grote variabiliteit in muizenrassen, vachtkleuren, experimentele behandelingen en opnameomgevingen, zonder dat de muizen uit hun vertrouwde omgeving gehaald hoeven te worden.

Methodologie

1. Dataset:
De auteurs hebben een groot en divers dataset samengesteld van ongeveer 35.000 afbeeldingen van muizengezichten, verdeeld over vijf subsets (AW, JW, KH, LW, MR).

• Variabiliteit: De dataset omvat vijf verschillende muizenrassen (o.a. C57BL/6N, BALB/c, NMRI, DBA/1) met verschillende vachtkleuren (wit, zwart, lichtbruin).
• Omstandigheden: De data is verzameld in vijf verschillende laboratoria met uiteenlopende opnamesets (video's vs. foto's, RGB vs. grijs, verschillende kooien en verlichting).
• Labeling: Afbeeldingen zijn gelabeld met MGS-scores (0 tot 2) voor vijf gezichtseenheden (Action Units): orbital tightening (oogknijpen), neuszwelling, wangzwelling, oorpositie en snorharen-verandering. De gemiddelde MGS-score per afbeelding werd berekend.

2. Data Preprocessing:

• Frame Selectie: Voor video-subsets werden frames geselecteerd op basis van gezichtsdetectie (met DeepLabCut) om frames met zichtbare gezichtskenmerken te kiezen, gevolgd door een scherpte-filter (gebaseerd op Fast Fourier Transform).
• Impairment Label: Voor een voorafgaande taak (pretext task) werden labels "welzijn verstoord" of "welzijn niet verstoord" toegewezen op basis van de tijd van opname en de verwachte pijninductie.

3. Model Architectuur en Training:

• Backbone: Een ResNet-50 model werd gebruikt als basis.
• Transfer Learning: Het model werd getraind in drie fasen:
  1. Pre-training: Gewichten geïnitieerd met ImageNet-21k (Big Transfer BiT-M-R50x1).
  2. Pretext Task: Binary classificatie (verstoord vs. niet-verstoord welzijn) om de modelweegs aan te passen aan muizengezichten.
  3. Main Task: Regression om de gemiddelde MGS-score (een continue waarde tussen 0 en 2) te voorspellen.
• Data Augmentatie: Gebruik van RandAugment om het model robuust te maken tegen variaties.
• Validatie: De prestaties werden getest op een gehouden testset (10% van de dieren) en via cross-dataset evaluatie (trainen op één subset, testen op een andere).

Kernbijdragen

1. Grote, Heterogene Dataset: De publicatie van een dataset van ~35.000 afbeeldingen met MGS-labels uit vijf verschillende laboratoria en rassen, specifiek ontworpen om de uitdaging van niet-gestandaardiseerde omstandigheden aan te pakken.
2. Robuust Deep Learning Model: Een geautomatiseerd systeem dat de gemiddelde MGS-score voorspelt met een foutmarge die lager is dan die van het gemiddelde menselijke beoordelaar, zelfs zonder strikte standaardisatie van de opnameomgeving.
3. Analyse van Generalisatie: Een grondige studie naar hoe modellen presteren bij overdracht naar nieuwe subsets (verschillende rassen, behandelingen, opnamesets) en het bewijs dat het combineren van diverse subsets de generalisatie verbetert.
4. Open Science: Zowel de dataset als het getrainde model zijn openbaar beschikbaar gemaakt om verdere ontwikkeling van automatisering in dierexperimenten te stimuleren.

Resultaten

• Prestaties op dezelfde dataset:
  • Het model bereikte een Root Mean Squared Error (RMSE) van 0,26 wanneer getraind en getest op de gecombineerde dataset.
  • Dit is een lagere foutmarge dan de gemiddelde menselijke beoordelaar (inter-rater RMSE varieerde tussen 0,28 en 0,39).
  • De correlatie tussen het model en menselijke beoordelaars was zeer hoog (Pearson's r = 0,85).
• Cross-Dataset Evaluatie:
  • Wanneer een model getraind op één subset werd toegepast op een andere subset, nam de fout toe (RMSE steeg vaak naar 0,40 - 0,60).
  • Modellen getraind op een combinatie van subsets toonden betere generalisatie, maar presteerden nog steeds slechter dan modellen getraind en getest op dezelfde data.
  • De prestaties waren het best wanneer het model werd getraind op subsets met een brede spreiding van MGS-scores en verschillende vachtkleuren.
• Focus op Orbital Tightening (OT):
  • Hoewel orbital tightening de meest betrouwbare feature is voor menselijke beoordelaars, presteerde een model dat alleen op deze feature was getraind slechter (hogere RMSE) dan een model dat alle vijf de gezichtseenheden gebruikte. Dit suggereert dat het combineren van alle features nodig is voor een robuuste voorspelling.
• Invloed van Data Distributie:
  • Subsets met een smalle verdeling van lage MGS-scores (bijv. subset LW) leidden tot een schijnbaar lage RMSE, maar een lage correlatie, wat wijst op een "low-score bias" (het model voorspelde simpelweg het gemiddelde).

Significantie

Dit onderzoek is van groot belang voor de dierwetenschap en ethiek:

• Verbetering van Dierenwelzijn: Het stelt onderzoekers in staat om pijn en distress continu en ongestoord te monitoren in de thuisomgeving van de muizen, zonder extra stress door het uit de kooi halen.
• Validiteit van Data: Door pijn en stress vroegtijdig en objectief te detecteren, wordt de variabiliteit in experimentele data verminderd, wat leidt tot betere en reproduceerbaardere wetenschappelijke resultaten.
• Toekomstgerichtheid: Het bewijst dat het mogelijk is om geautomatiseerde pijnanalyse toe te passen onder realistische, niet-gestandaardiseerde omstandigheden. Dit opent de weg voor 24-uurs monitoring in de toekomst, wat essentieel is voor het welzijn van nachtdieren zoals muizen.
• Standaardisatie van Tools: De beschikbaarheid van de dataset en het model biedt een benchmark voor de gemeenschap om verdere verbeteringen in geautomatiseerde MGS-analyse te realiseren.