Adoption of MMPose, a general purpose pose estimation library, for animal tracking

Dit artikel beschrijft hoe de adoptie van de veelzijdige MMPose-bibliotheek onderzoekers in staat stelt om de meest geschikte modellen te selecteren voor dierlijke pose-schatting, waarbij een duidelijke afweging tussen nauwkeurigheid en snelheid wordt aangetoond en de beperkingen van zero-shot generalisatie worden benadrukt.

De kern

De "Google Maps" voor het gedrag van muizen

Stel je voor dat je een heel groot, druk park hebt met honderden muizen die daar rondrennen. Je wilt weten: Rennen ze snel? Zien ze eruit alsof ze verdrietig zijn? Leren ze een nieuwe route?

Vroeger deden onderzoekers dit door urenlang naar video's te kijken en met de hand te tekenen waar de neus en staart van de muis waren. Dat is als proberen een heel boek te typen door elke letter met de hand te schrijven: het duurt eeuwen, het is vermoeiend en je maakt fouten.

Nu hebben we slimme computers (kunstmatige intelligentie) die dat voor ons kunnen doen. Maar hier zit een addertje onder het gras: de meeste labs gebruiken één specifiek programma (zoals DeepLabCut of SLEAP). Dit is alsof je alleen maar een bepaalde merk auto mag rijden. Die auto is prima, maar hij heeft geen airco, hij is niet snel genoeg voor de race, en je kunt de radio niet aanpassen. Je bent vastgezet in de opties van die ene fabrikant.

Wat hebben deze onderzoekers gedaan?
Ze hebben een nieuw, openbaar gereedschapskistje gepakt genaamd MMPose. Dit is niet één auto, maar een gigantisch garagebedrijf waar je elke soort motor, elk type chassis en elke versnellingsbak kunt kiezen. Ze hebben getest welke "auto" (model) het beste werkt voor verschillende soorten muizen-detectie.

Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaagse termen:

1. De "Snelheid vs. Precisie" Dilemma

Stel je voor dat je een race moet winnen.

• De DEKR (De "Zware Tank"): Deze computer ziet alles heel scherp. Zelfs als een muis half verscholen zit achter een muurtje in een doolhof, ziet hij precies waar de neus is. Hij is echter traag. Het is als een vrachtwagen: superstabiel en nauwkeurig, maar hij rijdt niet snel.
• De SLEAP (De "Sportfiets"): Deze is supersnel. Hij kan honderden beelden per seconde verwerken. Maar als het erg druk wordt (bijvoorbeeld in een complex doolhof met veel obstakels), mist hij soms details. Hij is snel, maar minder nauwkeurig in de chaos.

De les: Er is geen "beste" model voor alles. Als je snelheid nodig hebt (bijvoorbeeld voor een grote test met duizenden muizen), kies je de fiets. Als je precisie nodig hebt in een rommelige omgeving, kies je de tank.

2. De "Super-App" die faalt (Foundation Models)

Er bestaat een nieuw soort "super-app" (TopViewMouse-5K) die is getraind op een enorme hoeveelheid video's van muizen. De gedachte was: "Als we deze app gebruiken, hoeven we zelf niets meer te leren, hij werkt direct!"

De onderzoekers probeerden deze app op hun eigen, moeilijke doolhof. Het resultaat? Het was een complete flop.

• De vergelijking: Stel je voor dat je een chef-kok hebt die alleen maar in een strakke, witte keuken heeft gewerkt (de "super-app"). Je stuurt hem nu naar een rommelige, donkere campingkeuken (het "doolhof"). Hij raakt in paniek en weet niet meer hoe hij moet koken.
• De app kon zich niet aanpassen aan de nieuwe, chaotische situatie. Zelfs als je hem probeerde te trainen met een mix van oude en nieuwe foto's, werd hij er niet beter op.

De les: Een "algemene" oplossing werkt niet voor alles. Je hebt een specialist nodig die specifiek is getraind op jouw situatie.

3. Waarom is dit belangrijk?

Vroeger waren onderzoekers gevangen in de opties van één software. Nu, met MMPose, kunnen ze zelf kiezen:

• "Ik heb een snel systeem nodig voor mijn experiment?" -> Kies de snelle optie.
• "Ik heb een super-nauwkeurig systeem nodig voor mijn complexe doolhof?" -> Kies de zware optie.

Het is alsof je van een standaard fabrieksmotor bent gegaan naar een bouwpakket waar je zelf de onderdelen kunt kiezen die het beste bij jouw racebaan passen.

Conclusie in één zin

Dit artikel zegt eigenlijk: "Stop met het gebruiken van één vast programma voor alles. Gebruik een flexibele toolbox (MMPose) om het perfecte gereedschap te kiezen voor jouw specifieke muizen-experiment, want wat werkt in een open veld, werkt niet per se in een rommelig doolhof."

Dit helpt wetenschappers om gedrag van dieren sneller, eerlijker en nauwkeuriger te bestuderen, wat uiteindelijk kan leiden tot betere medicijnen en inzichten in ziektes.

Technische samenvatting

Probleemstelling

Hoewel markerloze pose-schatting (pose estimation) een krachtige techniek is geworden voor het kwantificeren van dierlijk gedrag, lopen veel neurowetenschapslaboratoria vast in de beperkingen van bestaande tools zoals DeepLabCut (DLC) en SLEAP.

• Beperkte flexibiliteit: Deze tools bieden weliswaar toegankelijke interfaces, maar beperken gebruikers tot een smal scala aan modellen en configuraties. Ze abstracte vaak de aanpassing van modelarchitectuur weg, wat het moeilijk maakt om modellen af te stemmen op specifieke, complexe experimentele opstellingen.
• Gebrek aan standaardisatie: Er ontbreekt een gestandaardiseerd datasetformaat voor ratten- en muizenpose-schatting. Elke tool gebruikt zijn eigen formaat, wat datadeling en het benchmarken van modellen over verschillende studies heen bemoeilijkt.
• Afname van generalisatie: Bestaande "foundation models" (voortreffelijke modellen getraind op grote datasets) blijken vaak niet goed te generaliseren naar nieuwe, complexe omgevingen zonder specifieke aanpassing.

Methodologie

De auteurs hebben MMPose, een open-source, algemene computer-vision bibliotheek ontwikkeld door OpenMMLab (oorspronkelijk voor menselijke pose-schatting), geadopteerd voor het volgen van muizen.

1. Workflow en Standaardisatie:

   • Ze hebben een workflow opgezet die gebruikmaakt van het MS COCO keypoint-formaat, wat annotatiestandaardisatie mogelijk maakt en de integratie met objectdetectie-tools (zoals MMDetection) vergemakkelijkt.
   • Dit stelt onderzoekers in staat om modelarchitecturen, data-augmentaties en trainingsregimes flexibel te configureren.

2. Benchmarking Scenarios:
   De prestaties van verschillende modellen werden getest in twee zeer verschillende scenario's:

   • Scenario 1: Complexe Labyrint (Maze): Een visueel complex experiment met veel occlusie (verduistering) en variabele achtergronden, gericht op ruimtelijk leren.
   • Scenario 2: Open Veld (Open Field Arena - OFA): Een eenvoudiger experiment met een hoog-contrast witte achtergrond en minimale visuele rommel.

3. Gebruikte Modellen:
   Er werden negen modellen vergeleken, variërend van bestaande tools tot state-of-the-art computer-vision modellen:

   • Bestaande tools: DeepLabCut (DLC) en SLEAP.
   • Top-down modellen: Combinaties van objectdetectoren (Deformable DETR, RetinaNet, YOLOv3) met pose-estimators (HRNet, DeepPose).
   • Bottom-up model: DEKR (Direct Keypoint Regression).
   • Foundation Model: TopViewMouse-5K, een recent gepubliceerd model getraind op een grote dataset van bovenaanzichten van muizen, getest op "zero-shot" generalisatie en in combinatie met lokale data.

4. Evaluatiemetrieken:

   • Nauwkeurigheid: Gemeten met PCK (Proportion of Correct Keypoints) bij verschillende lichaamslengte-drempels (voornamelijk 0.5).
   • Snelheid: Gemeten in FPS (Frames Per Second) op NVIDIA V100/A100 GPU's.

Belangrijkste Resultaten

1. Trade-off tussen Nauwkeurigheid en Snelheid:

   • In de complexe labyrint-omgeving presteerde het bottom-up DEKR-model het beste, met een PCK > 90% bij een drempel van 0.5 lichaamslengte. Het was echter minder snel (11,7 FPS).
   • SLEAP was het snelst (52,8 FPS) maar had lagere nauwkeurigheid in complexe omgevingen.
   • YOLO DeepPose bood een goede balans tussen snelheid (26,1 FPS) en nauwkeurigheid.
   • Conclusie: Er is een duidelijke afweging; onderzoekers moeten kiezen op basis van of snelheid (voor high-throughput screens) of nauwkeurigheid (voor complexe gedragstaken) prioriteit heeft.

2. Invloed van Omgeving en Occlusie:

   • De prestaties varieerden sterk tussen de open ruimte en het labyrint. Modellen zoals de top-down Def-DETR-varianten leden de grootste nauwkeurigheidsdalingen (tot 22,5%) in het labyrint door occlusie.
   • YOLO HRNet bleek het meest stabiel met de kleinste daling (6,6%) tussen de twee omgevingen.

3. Beperkingen van Foundation Models (TopViewMouse-5K):

   • Modellen die uitsluitend waren getraind op de TopViewMouse-5K dataset, presteerden slecht op de labyrint-taken (PCK tussen 0,03 en 0,34) en faalden in zero-shot generalisatie.
   • Het toevoegen van TopViewMouse-5K data aan de lokale trainingssets leidde niet tot consistente verbeteringen; in sommige gevallen (zoals bij DEKR en Def-DETR) nam de nauwkeurigheid zelfs af.
   • Dit suggereert dat de huidige foundation datasets voor muizen niet divers genoeg zijn om robuust te generaliseren naar complexe, gelaagde omgevingen.

4. Simpel vs. Complex:

   • In de simpele Open Field Arena presteerden alle modellen goed (PCK > 0,90), wat aantoont dat de complexiteit van de omgeving de keuze van het model sterk beïnvloedt.

Belangrijkste Bijdragen

• Adoptie van Algemene Computer Vision: Het artikel demonstreert dat het gebruik van algemene vision-bibliotheken (MMPose) in plaats van gespecialiseerde, gesloten tools (DLC/SLEAP) meer flexibiliteit biedt voor neurowetenschappers om de beste modellen voor hun specifieke vraag te kiezen.
• Standaardisatie: Het bevorderen van het MS COCO-formaat voor dierlijke pose-schatting faciliteert datadeling, reproduceerbaarheid en het gebruik van geavanceerde algoritmen uit het bredere computer-vision veld.
• Empirisch Bewijs voor Modelkeuze: Het biedt een gedetailleerde benchmark die aantoont dat er geen "one-size-fits-all" model bestaat; de keuze hangt af van de complexiteit van het experiment en de beschikbare rekencapaciteit.
• Kritische Evaluatie van Foundation Models: Het waarschuwt voor het blindelings vertrouwen op grote, vooraf getrainde datasets zonder rekening te houden met de specifieke visuele complexiteit van het eigen experiment.

Significantie en Toekomstperspectief

Deze studie is significant voor de gedragsneurowetenschap en genetica omdat het:

1. Schalbaarheid en Reproduceerbaarheid verhoogt door het gebruik van gestandaardiseerde pipelines en dataformaten.
2. De Kruisbestuiving tussen computer vision en neurowetenschap stimuleert, waardoor onderzoekers toegang krijgen tot de nieuwste modellen (zoals transformers en bottom-up benaderingen).
3. De Noodzaak benadrukt voor diverse, gedeelde datasets om robuuste foundation modellen te creëren die echt generaliseren over verschillende laboratoria en experimentele opstellingen.

De auteurs concluderen dat onderzoekers MMPose moeten gebruiken om modellen te evalueren die het beste passen bij hun wetenschappelijke vragen, en dat de gemeenschap moet werken aan het delen van diverse datasets om de volgende generatie van generaliseerbare pose-estimatoren mogelijk te maken.