Different Paradigms from Computer Vision Align with Human Assessment of the Mouse Grimace Scale

Deze studie toont aan dat drie verschillende computervisie-paradigma's de betrouwbaarheid van de Mouse Grimace Scale voor het automatisch beoordelen van het welzijn van muizen kunnen waarborgen, waardoor een brede implementatie in dieronderzoek mogelijk wordt.

De kern

De Muizen-Grimas: Hoe Computers de Pijn van Muizen "Lezen" (Zonder Ze Te Kwellen)

Stel je voor dat je een muizenhuis hebt. In dit huis wonen honderden muizen die deel uitmaken van wetenschappelijk onderzoek. De wetenschappers willen weten of deze muizen het naar hun zin hebben of dat ze pijn hebben. Maar muizen zijn nachtdieren; ze slapen overdag en zijn pas actief als het donker is. Als een mens naar ze kijkt, worden ze vaak bang en verstoppen ze zich. Bovendien is het voor een mens heel lastig om 24 uur per dag te kijken of een muizenneusje een beetje naar beneden hangt of of een oortje iets anders staat.

Om dit op te lossen, hebben onderzoekers een systeem bedacht: de Muizen-Grimas-schaal (MGS). Dit is eigenlijk een "gezichtsmeter" voor muizen. Als een muis pijn heeft, verandert zijn gezicht:

• De ogen worden smaller (alsof je knijpt).
• De oren gaan naar achteren of staan strak.
• De snuit wordt strakker.
• De snorharen gaan recht staan.

Het Probleem: Mensen zijn te traag
Vroeger moest een mens elke muizenfoto bekijken en beoordelen: "Is dit gezichtje verdrietig of gelukkig?" Dit is niet alleen saai en tijdrovend, maar mensen maken ook fouten door vermoeidheid of vooroordelen. Als je duizenden muizen hebt, is dit onmogelijk om handmatig te doen.

De Oplossing: Computers die kijken
In dit onderzoek hebben de auteurs geprobeerd om computers te leren om deze "muizengezichten" automatisch te beoordelen. Ze hebben drie verschillende manieren (paradigma's) getest om te kijken welke het beste werkt. Je kunt dit vergelijken met drie verschillende manieren om een raadsel op te lossen:

1. De "Geheugen-Trainer" (Supervised Learning):
   Dit is alsof je een computer leert door duizenden voorbeelden te laten zien met het antwoord erbij. "Kijk, dit gezicht is verdrietig (score 2), en dit gezicht is blij (score 0)." De computer leert patronen door te kijken naar de hele foto.

   • Resultaat: Dit werkt heel goed! De computer is slim geworden.

2. De "Zelf-Lerende Ontdekker" (Self-Supervised Learning):
   Dit is alsof je de computer eerst duizenden foto's laat kijken zonder dat je zegt wat erop staat. De computer moet zelf patronen ontdekken: "Oh, hier is een oog, hier is een oor, hier is een neus." Daarna leert hij pas om te zeggen of de muis pijn heeft.

   • Resultaat: Dit was zelfs nog iets beter dan de eerste methode! De computer heeft een heel goed gevoel voor de details ontwikkeld.

3. De "Prikker" (Landmark Locations):
   Hierbij probeert de computer eerst precies de punten op het gezicht te vinden (zoals de punt van de neus, de binnenkant van het oog, de top van het oor) en meet dan de afstanden tussen die punten. Alsof je een meetlint gebruikt op een foto.

   • Resultaat: Dit werkte het minst goed. De computer had moeite om precies die punten te vinden, vooral als de muis bewoog of als de foto wazig was.

Wat hebben ze ontdekt?
De onderzoekers keken niet alleen naar het cijfer, maar ook naar waar de computer naar keek. Ze maakten "warmtekaarten" (zoals bij een nachtzichtbril) om te zien welke delen van de foto belangrijk waren voor de computer.

• De computer kijkt naar de muis, niet naar de achtergrond: De computer leerde zich te concentreren op de muis zelf (ogen, oren, snorharen) en negeerde de kooi of het stro. Dit is goed nieuws, want het betekent dat de computer echt het gezicht van de muis begrijpt.
• Nieuwe geheimen: De computer zag dingen die mensen misschien niet direct zien. Bijvoorbeeld: als de vacht van de muis opstaat (als een schuwe kat), of als de vorm van de bovenlip strakker is, is dat een teken van pijn.
• De "Scheur" in de foto: Soms keek de computer ook naar medische hulpmiddelen (zoals een klemmetje op een wondje) of naar brokjes voedsel in het gezichtje. Als er brokjes in het gezicht zitten, betekent dit vaak dat de muis heeft kunnen graven, en dat is een teken dat hij het goed heeft! De computer leerde deze context ook te gebruiken.

Wat betekent dit voor de toekomst?
Deze studie toont aan dat we muizen beter kunnen beschermen. Met deze slimme computersystemen kunnen we 24 uur per dag controleren of muizen pijn hebben, zelfs als het donker is en er geen mens in de buurt is.

• Betrouwbaarheid: De beste systemen maken maar heel weinig fouten. Ze missen bijna nooit een muis die pijn heeft (wat het allerbelangrijkste is).
• Toegankelijkheid: Je hebt geen supercomputer nodig. Een gewone laptop is krachtig genoeg om dit te doen.
• Ethiek: Dit helpt om de "3R-regels" (Replace, Reduce, Refine) in de dierproeven te volgen. We kunnen dieren sneller helpen en hun lijden verminderen.

Kort samengevat:
De onderzoekers hebben bewezen dat computers net zo goed (en soms zelfs beter) kunnen "lezen" in het gezicht van een muis als een ervaren dierenarts. Ze kijken naar dezelfde dingen als wij (ogen, oren, snuit), maar ze doen het sneller, zonder te moe te worden, en ze vinden zelfs nieuwe signalen die ons helpen om de muizen gelukkiger en pijnvrij te houden. Het is een stap in de richting van een menselijker en wetenschappelijk verantwoorde wereld voor proefdieren.

Technische samenvatting

Probleemstelling

Dierwelzijn is een cruciaal aspect in dierexperimenteel onderzoek, waarbij muizen het meest worden gebruikt. De Mouse Grimace Scale (MGS) is de standaardmethode om pijn en stress bij muizen te beoordelen op basis van gezichtsuitdrukkingen (zoals oogsluiting, orenpositie, neusbolging en snorharen).

• Beperkingen: De handmatige toepassing van de MGS is tijdrovend en onpraktisch voor grote aantallen dieren. Bovendien kan de aanwezigheid van mensen het gedrag van muizen beïnvloeden, wat leidt tot onnauwkeurige beoordelingen.
• Huidige staat van het onderzoek: Hoewel er reeds methoden zijn ontwikkeld om de MGS te automatiseren met computer vision, ontbreekt er een systematische vergelijking tussen verschillende paradigma's onder gestandaardiseerde voorwaarden. Bestaande studies gebruiken vaak verschillende datasets, preprocessing-pipelines en evaluatieprotocollen, wat directe vergelijkingen en betrouwbare conclusies over modelinterpretatie bemoeilijkt.

Methodologie

De auteurs hebben drie dominante computer vision-paradigma's getest en vergeleken op een grote, diverse dataset van bijna 35.000 muizengezichten (uit een eerdere studie van Andresen et al.). Voor deze studie werd een subset van 3.286 gelabelde afbeeldingen geselecteerd, waarbij alleen beelden met zichtbare "orbital tightening" (oogsluiting) en minimaal drie zichtbare gezichtsbewegingseenheden (FAU's) werden behouden.

De dataset werd omgezet in een binair classificatieprobleem: "welzijn verstoord" (impaired) versus "welzijn niet verstoord" (unimpaired), gebaseerd op een drempelwaarde van de gemiddelde MGS-score.

De drie geteste paradigma's waren:

1. Supervised Learning Features: Een ResNet-50 model, vooraf getraind op ImageNet (supervised), waarbij de laatste laag werd vervangen door een lineaire laag voor binair classificeren.
2. Self-Supervised Learning Features: Een ResNet-50 model, vooraf getraind op ImageNet met de Barlow Twins-criterium (self-supervised), eveneens gevolgd door een lineaire classificatielaag.
3. Landmark Locations: Een aanpak waarbij eerst 19 anatomische landmarks (o.a. ooghoeken, oren, neuspunt) worden gelokaliseerd met DeepLabCut (HRNet-W18). Deze genormaliseerde coördinaten worden vervolgens gebruikt als input voor een lineaire classifier (linear probing).

Evaluatie:

• Kwantitatief: De prestaties werden gemeten via precisie, recall en F1-score (macro-gegemiddeld over 5 runs). Specifiek werd gekeken naar het Type II-foutpercentage (false negatives), aangezien het niet detecteren van een dier met pijn (verstoord welzijn) de ernstigste consequentie heeft voor het dierwelzijn.
• Kwalitatief: Voor de twee best presterende modellen (supervised en self-supervised) werd Layer-wise Relevance Propagation (LRP) gebruikt om warmtekaarten (attention maps) te genereren. Dit visualiseert welke pixels in de afbeelding bijdragen aan de beslissing van het model.

Belangrijkste Resultaten

1. Kwantitatieve Prestaties:

• Self-supervised learning presteerde het beste met een gemiddelde precisie, recall en F1-score van respectievelijk 0,83, 0,84 en 0,83.
• Supervised learning volgde zeer dicht op met scores rond de 0,80 voor alle drie de metrieken.
• Landmark locations presteerde aanzienlijk slechter met een F1-score van 0,63.
• Type II-fouten (False Negatives): Dit is de kritieke metriek voor dierwelzijn.
  • Self-supervised: 16% (0,16)
  • Supervised: 20% (0,20)
  • Landmarks: 36% (0,36)
  • Conclusie: Zowel supervised als self-supervised methoden kunnen succesvol worden ingezet met een acceptabel laag type II-foutpercentage.

2. Kwalitatieve Analyse (Interpretatie):
De visualisatie van de beslissingsprocessen toonde aan dat de modellen zich primair richten op de muis en niet op de omgeving. De modellen gebruikten bekende MGS-kenmerken, maar ook nieuwe visuele cues:

• Bekende MGS-kenmerken: Ogen (en de vacht eromheen), oren (vorm en positie), snorharen en neuspunt.
• Nieuwe kenmerken:
  • De ventrale omtrek van de snuit/bovenlip: Een ronde vorm duidt op ontspanning (niet verstoord), terwijl een hoekige vorm duidt op spanning (verstoord).
  • Vacht: De modellen detecteerden piloerection (staande haren), een teken van stress.
  • Contextuele cues: De modellen gebruikten ook indirecte signalen zoals chirurgische clips, externe fixatoren of voedselresten in het gezicht (wat wijst op graafgedrag en dus welzijn), hoewel dit niet de primaire discriminator was.
• Verschil tussen modellen: Het self-supervised model richtte zich meer op kenmerken in de voorgrond (bijv. het linkeroor bij een zijaanzicht), terwijl het supervised model vaker op achtergrondkenmerken leek te vertrouwen.

Bijdragen en Significatie

1. Systematische Vergelijking: Het artikel vult een belangrijke onderzoekslacune door voor het eerst drie verschillende computer vision-paradigma's op dezelfde dataset te evalueren, waardoor een eerlijke vergelijking mogelijk is.
2. Validatie van Betrouwbaarheid: De studie toont aan dat geautomatiseerde systemen betrouwbaar kunnen worden ingezet voor het beoordelen van het welzijn van muizen, met name door het gebruik van self-supervised learning.
3. Interpreteerbaarheid: Door de toepassing van LRP wordt bewezen dat de modellen biologisch zinvolle kenmerken gebruiken die overeenkomen met menselijke expertise (MGS), maar ook nieuwe, waardevolle visuele indicatoren ontdekken (zoals de vorm van de snuit).
4. Praktische Toepasbaarheid: De methoden vereisen slechts minimale rekenkracht (kunnen draaien op standaard desktops/laptops) en zijn dus toegankelijk voor onderzoekers in de dierwetenschap.
5. Aanbeveling: De auteurs pleiten voor de brede adoptie van deze semi-automatische pipelines om dierwelzijn continu en objectief te monitoren, wat leidt tot snellere detectie van pijn en stress en een verbetering van de 3R-principes (Replace, Reduce, Refine).

Samenvattend bewijst dit werk dat computer vision, en specifiek self-supervised learning, een robuust en betrouwbaar alternatief biedt voor handmatige MGS-beoordeling, mits de systemen worden getraind op diverse datasets en hun beslissingsprocessen worden geverifieerd op biologische relevantie.