Automatic pain face analysis in mice: Applied to a varied dataset with non-standardized conditions

Die Studie stellt einen auf einem großen, diversen Datensatz trainierten Deep-Learning-Modell vor, das die automatische Schmerzerkennung bei Mäusen mittels der Mouse Grimace Scale unter nicht-standardisierten Bedingungen ermöglicht und dabei die Genauigkeit menschlicher Bewerter übertrifft.

Das Wesentliche

Titel: Der digitale Schmerz-Checker für Mäuse – Wie KI das Gesicht der Tiere „liest"

Stellen Sie sich vor, Sie könnten die Schmerzen eines Tieres einfach nur durch einen Blick auf sein Gesicht erkennen, ohne dass es ein Wort sagt. Genau das ist das Ziel der Forscher in dieser Studie. Sie haben eine künstliche Intelligenz (KI) entwickelt, die wie ein sehr aufmerksamer Tierarzt die Gesichter von Mäusen analysiert, um zu verstehen, ob es ihnen gut geht oder ob sie leiden.

Hier ist die Geschichte der Studie, einfach erklärt:

1. Das Problem: Warum Mäuse nicht schreien

Mäuse sind Meister der Verstellung. Wenn sie Schmerzen haben, verbergen sie ihre Gefühle instinktiv, um nicht als schwach zu gelten und von Raubtieren angegriffen zu werden. Wenn ein Mensch in den Stall kommt, verhalten sie sich oft noch vorsichtiger. Das ist wie bei einem Kind, das sich die Knie aufgeschlagen hat, aber weint nicht, weil Mama zusieht.

Bisher mussten geschulte Menschen die Mäuse aus ihrem gemütlichen Käfig holen und in eine spezielle Box legen, um Fotos zu machen. Das stresst die Tiere aber noch mehr – ein bisschen so, als würde man jemanden, dem es schon schlecht geht, extra noch zum Arzt fahren, nur um eine Blutprobe zu nehmen. Das ist nicht ideal.

2. Die Lösung: Ein riesiges Foto-Album für die KI

Die Forscher haben sich gedacht: „Was wäre, wenn wir der KI eine riesige Bibliothek von Fotos zeigen, damit sie lernt, wie eine schmerzende Maus aussieht?"

Sie haben ein riesiges Datenset (eine digitale Sammlung) mit etwa 35.000 Fotos von Mäusen zusammengestellt. Das Besondere daran ist die Vielfalt:

• Verschiedene Fellfarben: Weiße, schwarze und braune Mäuse.
• Verschiedene Umgebungen: Manche Mäuse waren in kleinen Käfigen, andere in großen; manche hatten helles Licht, andere Dunkelheit.
• Verschiedene Gründe: Manche hatten eine Operation hinter sich, andere waren krank oder hatten eine Behandlung erhalten.

Stellen Sie sich das vor wie einen Koch, der nicht nur ein Rezept für Spaghetti kocht, sondern tausende Gerichte aus aller Welt probiert hat. Nur so kann er wirklich gut kochen, egal welche Zutaten er bekommt.

3. Die „Maus-Grimassen-Skala" (MGS)

Wie misst man den Schmerz? Die Forscher nutzen eine Art „Gesichtsbewertung". Eine Maus, die Schmerzen hat, macht bestimmte Grimassen:

• Die Augen werden enger (wie bei einem Kneifen).
• Die Ohren drehen sich nach hinten.
• Die Schnurrhaare werden steif.
• Die Wangen und die Nase schwellen an.

Jedes dieser Merkmale wird auf einer Skala von 0 (kein Schmerz) bis 2 (starker Schmerz) bewertet. Die KI sollte lernen, diese winzigen Veränderungen zu erkennen.

4. Der Training-Process: Vom Anfänger zum Profi

Die KI wurde nicht einfach nur mit den Fotos gefüttert. Sie durchlief ein cleveres Training, ähnlich wie ein Sportler:

1. Allgemeines Training: Zuerst lernte die KI, Mäuse von Nicht-Mäusen zu unterscheiden (wie ein Kind lernt, Hunde von Katzen zu unterscheiden).
2. Spezialtraining: Dann lernte sie, ob eine Maus „leidet" oder „gesund" ist.
3. Feinjustierung: Schließlich lernte sie, den genauen Schmerzgrad (die Zahl zwischen 0 und 2) vorherzusagen.

5. Die Ergebnisse: Die KI ist besser als der Mensch (fast)

Das Ergebnis war beeindruckend:

• Die Genauigkeit: Die KI hat einen Fehler von nur 0,26 auf der Skala von 0 bis 2. Das bedeutet, sie liegt sehr nah an der Wahrheit.
• Vergleich mit Menschen: Interessanterweise war die KI sogar etwas genauer als der durchschnittliche menschliche Beobachter! Menschen machen oft Fehler, weil sie müde sind oder unterschiedlich interpretieren. Die KI ist immer gleich konzentriert.
• Der Korrelations-Faktor: Wenn die Menschen sagten „Die Maus hat Schmerzen", sagte die KI fast immer dasselbe. Ihre Meinungen stimmten zu 85 % überein.

6. Die Herausforderung: Nicht jedes Foto ist gleich

Es gab jedoch eine kleine Hürde. Wenn die KI nur mit Fotos von schwarzen Mäusen trainiert wurde und dann plötzlich eine weiße Maus sehen sollte, war sie etwas verwirrt. Das ist wie ein Lehrer, der nur mit Schülern aus Berlin unterrichtet hat und dann plötzlich Schüler aus München bekommt – der Dialekt ist anders.

Aber: Je mehr verschiedene Mäuse (schwarz, weiß, braun) und je mehr verschiedene Umgebungen die KI im Training sah, desto besser wurde sie. Die beste Version war eine KI, die alles gesehen hatte.

7. Was bringt uns das?

Das Ziel ist es, dass die KI eines Tages rund um die Uhr die Mäuse in ihren normalen Käfigen überwachen kann, ohne dass jemand sie stört.

• Kein Stress: Die Mäuse müssen nicht aus dem Käfig geholt werden.
• Früherkennung: Die KI kann Schmerzen sofort erkennen, noch bevor der Mensch sie bemerkt.
• Bessere Wissenschaft: Wenn die Mäuse weniger Stress haben, sind die wissenschaftlichen Ergebnisse aus den Laboren auch besser und zuverlässiger.

Zusammenfassend:
Die Forscher haben einen digitalen „Maus-Gesichts-Experten" gebaut, der durch das Studium von Tausenden von Fotos gelernt hat, Schmerz zu verstehen. Es ist wie ein unsichtbarer Wächter, der sicherstellt, dass die kleinen Laborbewohner so wenig Leid wie möglich erfahren, während wir wichtige medizinische Fortschritte machen.

Technische Zusammenfassung

1. Problemstellung

Die Bewertung von Schmerz, Leid und Distress bei Labormäusen ist ethisch und wissenschaftlich essenziell, da diese Faktoren die Datenqualität von Tierversuchen erheblich beeinflussen können. Der etablierte Standard zur Bewertung ist die Mouse Grimace Scale (MGS), bei der fünf Gesichtsausdrücke (Orbital-Verengung, Nasenwulst, Wangenwulst, Ohrenstellung, Vibrissenänderung) manuell von geschultem Personal auf einer Skala von 0 bis 2 bewertet werden.

Herausforderungen:

• Manuelle Limitationen: Die manuelle Bewertung ist zeitaufwendig, stört die Tiere durch die Anwesenheit von Menschen (was zu Verhaltensänderungen und Maskierung von Schmerz führen kann) und ist nicht für eine 24-Stunden-Überwachung im Heimkäfig geeignet.
• Limitationen bestehender Automatisierung: Bisherige automatisierte Tools für die MGS-Analyse erfordern oft standardisierte Aufnahmesituationen (z. B. spezielle Käfige am Rand des Käfigs) und sind häufig auf bestimmte Mäusestämme oder Fellfarben beschränkt.
• Datenvariabilität: Die enorme Variabilität in realen Umgebungen (unterschiedliche Mäusestämme, Fellfarben, Beleuchtung, Käfigeinrichtung, Kamerasysteme) stellt eine große Hürde für Computer-Vision-Modelle dar, die unter nicht-standardisierten Bedingungen (z. B. direkt im Heimkäfig) robust funktionieren sollen.

2. Methodik

Datensatz:
Die Autoren stellten einen großen, heterogenen Datensatz mit ca. 35.000 Bildern von Mäusegesichtern zusammen, der in fünf verschiedene Teilmengen (Subsets) unterteilt ist (benannt AW, JW, KH, LW, MR).

• Vielfalt: Der Datensatz umfasst fünf verschiedene Mäusestämme (C57BL/6N, BALB/c, C57BL/6J, NMRI, DBA/1), verschiedene Fellfarben (schwarz, albino, hellbraun), beide Geschlechter und unterschiedliche experimentelle Bedingungen (z. B. Operationen, Analgesie, LPS-Injektion).
• Aufnahmebedingungen: Die Bilder stammen aus verschiedenen Laboren mit unterschiedlicher Technik (Infrarot-Videos, RGB-Fotos, verschiedene Kameras, Heimkäfig-ähnliche Umgebungen vs. standardisierte Beobachtungskäfige).
• Annotation: Über 3.000 Bilder wurden manuell mit MGS-Scores (0–2 pro Gesichtseinheit) versehen. Die durchschnittlichen MGS-Scores wurden über alle gültigen Gesichtseinheiten berechnet.

Vorverarbeitung:

• Frame-Selektion: Bei Videodaten (Subsets AW, JW) wurde ein automatischer Gesichtsdetektor (basierend auf DeepLabCut) verwendet, um Frames mit maximaler Sichtbarkeit der Gesichtszüge (Augen, Nase, Ohren) auszuwählen und Unschärfe zu minimieren.
• Gesichtserkennung: Ein Bounding Box um das Gesicht wurde basierend auf den erkannten Merkmalen erstellt und skaliert.
• Impairment-Label: Für das Pretext-Training (siehe unten) wurden Bilder basierend auf dem Median der menschlichen Scores in „beeinträchtigt" oder „nicht beeinträchtigt" klassifiziert.

Modellarchitektur und Training:

• Backbone: Es wurde ein ResNet-50 Modell verwendet.
• Transfer Learning: Das Training erfolgte in mehreren Schritten:
  1. Pre-Training: Initialisierung mit Gewichten von ImageNet-21k (Big Transfer BiT-M-R50x1).
  2. Pretext-Task: Binäre Klassifikation (beeinträchtigt vs. nicht beeinträchtigt), um das Modell auf relevante Merkmale zu sensibilisieren.
  3. Haupttask (Regression): Vorhersage des durchschnittlichen MGS-Scores (kontinuierlicher Wert zwischen 0 und 2).
• Augmentierung: Einsatz von RandAugment zur Erhöhung der Robustheit gegenüber Variationen in Beleuchtung und Hintergrund.
• Evaluation: Die Leistung wurde mittels RMSE (Root Mean Squared Error) und Pearson-Korrelationskoeffizient bewertet. Es wurden sowohl intra-dataset (Train/Test auf gleichen Subsets) als auch cross-dataset Evaluations (Train auf Subset A, Test auf Subset B) durchgeführt.

3. Wichtige Beiträge

1. Öffentlicher, diverser Datensatz: Bereitstellung eines der bisher größten und vielfältigsten Datensätze für die MGS-Analyse, der explizit nicht-standardisierte Bedingungen abdeckt. Dies ermöglicht die Entwicklung robusterer Modelle für den Einsatz im Heimkäfig.
2. Deep-Learning-Modell für nicht-standardisierte Bedingungen: Demonstration, dass ein auf allen Subsets trainiertes Modell in der Lage ist, MGS-Scores unter variablen Bedingungen (verschiedene Stämme, Labore, Setup) vorherzusagen.
3. Benchmarking: Umfassende Vergleichsstudie zwischen menschlichen Bewertern, einzelnen Subsets und kombinierten Modellen, einschließlich der Analyse von Inter-Rater-Reliabilität (IRR).
4. Analyse von Gesichtseinheiten: Untersuchung, ob die Fokussierung nur auf die zuverlässigste Einheit (Orbital-Verengung) die Leistung verbessert (Ergebnis: Nein, siehe unten).

4. Ergebnisse

• Gesamtleistung: Das auf allen Subsets kombinierte Modell erreichte einen RMSE von 0,26 auf der Skala von 0–2. Dies ist ein geringerer Fehler als der durchschnittliche Fehler zwischen menschlichen Bewertern (Inter-Rater RMSE lag zwischen 0,28 und 0,39).
• Korrelation: Die Pearson-Korrelation zwischen dem Modell und menschlichen Bewertungen lag bei r = 0,85 für das kombinierte Modell, was eine sehr starke Übereinstimmung zeigt.
• Vergleich mit menschlichen Bewertern: Das Modell war genauer als ein einzelner menschlicher Experte im Vergleich zum Durchschnitt aller anderen Experten.
• Cross-Dataset Evaluation:
  • Modelle, die nur auf einem Subset trainiert und auf einem anderen getestet wurden, zeigten höhere Fehler (RMSE 0,33–0,63).
  • Die Kombination mehrerer Subsets für das Training verbesserte die Generalisierungsfähigkeit signifikant.
  • Modelle, die auf Subsets mit schwarzen (KH) oder hellbraunen (MR) Mäusen trainiert wurden, generalisierten besser auf andere Subsets als Modelle, die nur auf weißen Mäusen (LW) trainiert wurden (vermutlich aufgrund der größeren Variabilität der Trainingsdaten).
• Fokus auf Orbital-Verengung (OT): Entgegen der Hypothese führte das Training nur auf der Orbital-Verengung (die höchste menschliche Übereinstimmung aufweist) zu einem höheren RMSE (0,34) im Vergleich zum Training auf allen Gesichtseinheiten (0,26). Die Korrelation war zwar teilweise höher, was auf einen systematischen Bias hindeutet, aber die Vorhersagegenauigkeit insgesamt verschlechterte sich.
• Einfluss der Datenverteilung: Subsets mit einer engen Verteilung niedriger MGS-Scores (z. B. LW) führten zu niedrigeren RMSE-Werten, aber auch zu schwachen Korrelationen, da das Modell dazu neigte, einfach den Durchschnittswert vorherzusagen (Low-Score-Bias).

5. Bedeutung und Fazit

Die Studie zeigt, dass eine vollautomatische, 24-Stunden-Überwachung von Mäusen im Heimkäfig zur Schmerzerkennung technisch machbar ist, wenn ausreichend diverse Trainingsdaten verwendet werden.

• Robustheit: Ein Modell, das auf einer großen Vielfalt an Stämmen, Bedingungen und Aufnahmeumgebungen trainiert wurde, ist robuster als Modelle, die auf stark standardisierten Daten basieren.
• Praxisanwendung: Die Ergebnisse legen nahe, dass für die Anwendung auf neue, unbekannte Datensätze ein Modell, das auf allen verfügbaren Subsets trainiert wurde, die beste Wahl ist. Eine weitere Leistungssteigerung ist durch Fine-Tuning mit einer kleinen Menge menschlich annotierter Daten aus dem neuen Ziel-Datensatz möglich.
• Zukunft: Die Veröffentlichung des Datensatzes und des Modells fördert die Entwicklung von Tools, die den Tierschutz verbessern, indem sie Leid frühzeitig erkennen, ohne die Tiere durch menschliche Eingriffe zu stören.

Zusammenfassend beweist das Paper, dass Deep-Learning-Modelle durch Training auf heterogenen, nicht-standardisierten Daten die Lücke zwischen Laborbedingungen und der realen Anwendung im Heimkäfig schließen können und dabei die Genauigkeit menschlicher Experten übertreffen.