TRACE: End-to-end temporal inference and annotation of animal behaviors from video

TRACE is een end-to-end methode die, door gebruik te maken van een transformer-gebaseerde video-encoder en zelftoezichtend leren, automatisch en schaalbaar diergedrag direct uit ruwe video-opnames detecteert en annotateert, waardoor de beperkingen van handmatige annotatie en voorgedefinieerde tussenrepresentaties worden overwonnen.

De kern

TRACE: De slimme filmcriticus voor diergedrag

Stel je voor dat je een heel lange, saaie film hebt van een muis in zijn kooi. Deze film duurt urenlang. Nu, als mens, zou je uren moeten zitten om te kijken en te noteren: "Ah, hier krabt de muis zich," of "Daar staat hij op zijn achterpoten." Dat is niet alleen saai, maar ook heel subjectief. De ene onderzoeker ziet iets anders dan de andere.

De onderzoekers van dit paper hebben een oplossing bedacht: TRACE.

TRACE is als een super-slimme, onuitputtelijke filmcriticus die naar die video's kijkt en direct kan zeggen: "Op dit moment is de muis aan het drinken, en dit is precies wanneer het begint en eindigt."

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Geen "skelet", maar een "gehele film"

De meeste oude methoden proberen eerst het "skelet" van het dier te tekenen (waar zijn poten en staart zijn) en kijken dan naar die lijnen om te raden wat het dier doet.

• De analogie: Dit is alsof je probeert te begrijpen wat iemand zegt door alleen naar hun lippen te kijken, zonder naar hun gezichtsuitdrukking of de omgeving te kijken.
• TRACE's aanpak: TRACE kijkt naar de hele film. Het ziet niet alleen de beweging, maar ook hoe het dier eruitziet, wat er om hem heen gebeurt en hoe de sfeer verandert. Het begrijpt de context, net zoals een mens dat doet.

2. De "Tijds-microscoop"

Dieren doen verschillende dingen die heel kort duren (een snelle knipoog) of heel lang duren (urenlang slapen).

• De analogie: Stel je voor dat je een camera hebt die zowel een vergrootglas voor korte details als een verrekijker voor lange afstanden kan zijn.
• TRACE's aanpak: TRACE gebruikt een speciale techniek die als een "tijds-microscoop" werkt. Het kan heel korte momenten scherp zien, maar ook lange periodes in één oogopslag overzien. Hierdoor mist het geen snelle bewegingen en raakt het niet verdwaald in lange films.

3. De "Schaalbare Vertaler"

Het mooie aan TRACE is dat het niet alleen voor muizen werkt.

• De analogie: Stel je voor dat je een tolk hebt die niet alleen Nederlands spreekt, maar ook Frans, Chinees en zelfs de taal van chimpansees en vliegen.
• TRACE's aanpak: De onderzoekers hebben het getest op muizen, fruitvliegen en zelfs wilde chimpansees in de natuur. Het werkt voor allemaal! Het heeft geen speciale "handleiding" nodig voor elk dier; het leert gewoon uit de video zelf.

4. Waarom is dit een revolutie?

Vroeger was het analyseren van diergedrag als het sorteren van duizenden foto's met de hand.

• TRACE: Dit is alsof je een robot hebt die die foto's in een seconde sorteert, terwijl jij koffie drinkt.
• Het resultaat: De onderzoekers konden zien dat muizen met Alzheimer (een ziekte) zich anders gedroegen dan gezonde muizen. TRACE zag dit precies op het moment dat het gebeurde, iets wat met de hand bijna onmogelijk te doen was in zo'n grote hoeveelheid data.

Samenvattend

TRACE is een nieuwe manier om naar dierenvideo's te kijken. In plaats van eerst te proberen te tekenen waar de poten zijn, kijkt het rechtstreeks naar de beweging en de sfeer in de video. Het is snel, nauwkeurig en werkt voor bijna elk dier. Het maakt het voor wetenschappers mogelijk om de "taal" van dieren te vertalen, zonder urenlang zelf naar het scherm te hoeven staren.

Kortom: TRACE is de automatische vertaler die ons helpt te begrijpen wat dieren doen, zonder dat we de hele dag hoeven te kijken.

Technische samenvatting

Probleemstelling

De kwantitatieve analyse van dierlijk gedrag is fundamenteel voor neurowetenschappen en ethologie, maar wordt momenteel beperkt door de schaalbaarheid, subjectiviteit en gebrekkige reproduceerbaarheid van handmatige annotatie. Bestaande geautomatiseerde methoden vertrouwen vaak op een tussenstap: het afleiden van gedrag via vooraf gedefinieerde representaties, zoals trajecten van houding (pose trajectories) verkregen via pose-schatting (bijv. DeepLabCut, SLEAP).
Deze pose-gebaseerde benaderingen hebben twee belangrijke nadelen:

1. Ze vereisen taakspecifieke ontwerpkeuzes en een extra analytische stap om van sleutelpunten naar gedragsstaten te komen.
2. Ze verliezen vaak contextuele visuele informatie (zoals de visuele verschijning van het dier afhankelijk van de houding en omgevingsfactoren) die essentieel is voor de interpretatie van gedrag.
   Daarnaast zijn bestaande tijdsdetectieframeworks vaak niet optimaal aangepast aan de kenmerken van ethologisch gedrag: extreme onbalans in data, variabele tijdschalen en continue opnames in plaats van vooraf gesegmenteerde clips.

Methodologie: TRACE

TRACE (Temporal Recognition of Animal Behaviors Captured from Video) is een end-to-end methode die direct gedrag detecteert en annoteert vanuit ruwe videofeeds, zonder tussenliggende pose-representaties.

Architectuur:

• Backbone (Video-Encoder): TRACE maakt gebruik van een op Transformer gebaseerde video-encoder (Vision Transformer of ViT), vooraf getraind via zelftoezicht (self-supervised learning) op grote datasets (Kinetics-400 via VideoMAE). Dit model extrahere hiërarchische spatiotemporele kenmerken die beweging, verschijning en context integreren.
  • Er worden twee varianten gebruikt: ViT-Large (304M parameters) en ViT-Small (22M parameters).
  • Voor efficiëntie worden de zware backbone-weights ingevroren; alleen lichte "adapter"-modules worden aangepast tijdens het fine-tunen.
• Multi-Schaal Temporele Modellering: Om gedrag op verschillende tijdschalen te detecteren (van kort tot lang), projecteert TRACE de frame-kenmerken naar een multi-schaal temporele kenmerkpyramide. Dit maakt detectie mogelijk van zowel snelle als langdurige gedragsbouts.
• Detectie Head (TriDetHead): Een trident-detectiehoofd voert gelijktijdige voorspellingen uit voor:
  1. De identiteit van het gedrag (klasse).
  2. De temporele centrumlocatie.
  3. De start- en eindgrenzen (temporele grenzen).
     Dit gebeurt via een dichte, anker-vrije (anchor-free) detectie die sub-frame precisie toelaat.

Training en Loss-functies:

• Het model wordt getraind met een combinatie van drie loss-functies:
  • Focal Loss: Voor classificatie, om het probleem van class-imbalance (veel achtergrond, weinig gedrag) aan te pakken.
  • Distance-IoU (DIOU) Loss: Voor de regressie van temporele grenzen, wat stabiele gradiënten biedt voor precieze lokalisatie.
  • Generalized IoU (GIOU) Loss: Voor het trainen van een kwaliteitsbranch die de betrouwbaarheid van de voorspelling koppelt aan de overlap met de ground truth.
• Het model wordt getraind op continue video's die zijn opgesplitst in chunks, met data-augmentatie zoals random cropping en horizontale flipping.

Belangrijkste Bijdragen

1. End-to-End Benadering: TRACE elimineert de noodzaak voor pose-estimation als tussenstap, waardoor contextuele visuele informatie direct wordt gebruikt voor gedragsinference.
2. Schaalbaarheid en Generalisatie: De methode is getest op diverse soorten (muizen, fruitvliegen, chimpansees) en in verschillende omgevingen (laboratorium, wild), zonder dat soort-specifieke aanpassingen nodig waren.
3. Gebruikersvriendelijkheid: TRACE wordt geleverd met een Graphical User Interface (GUI) voor annotatie en inferentie, wat de toepasbaarheid voor onderzoekers vergroot.
4. Efficiëntie: Het systeem biedt hoge doorvoersnelheden (>12.500 FPS), waardoor het geschikt is voor het verwerken van grote datasets.

Resultaten

TRACE werd geëvalueerd op vier verschillende datasets:

1. Spontaan Muizengedrag: Detectie van zelfverzorging, opstaan, drinken en eten. TRACE bereikte een hoge nauwkeurigheid (ong. 95% per video) en kon significante gedragsverschillen detecteren tussen wilde-type muizen en muizen met een Alzheimer-model (bijv. verhoogd opstaan en verminderd zelfverzorging bij AD-muizen).
2. CalMS21 Benchmark (Muizen Sociale Interactie): Op deze standaardbenchmark voor sociale interacties (aanvallen, onderzoek, paartijd) behaalde TRACE een Mean Average Precision (mAP) van 94,5%. Dit overtreft de huidige state-of-the-art modellen (zoals VideoPrism en de Top-1 van de competitie) aanzienlijk.
3. Drosophila (Fruitvlieg): Succesvolle detectie van courtship-gedrag (circling, copulatie, vleugeluitstrekking) met een mAP van 86,3%.
4. PanAf (Chimpansees in het wild): Toepassing op camera-valbeelden van wilde chimpansees. TRACE detecteerde succesvol veelvoorkomende gedragingen (zitten, lopen, staan), hoewel zeldzame gedragingen minder goed presteerden door class-imbalance.

In alle gevallen toonde TRACE robuuste prestaties, zelfs bij verminderde resolutie, lagere frame-snelheden of beperkte trainingsdata (tot 4% van de dataset).

Betekenis en Conclusie

TRACE vertegenwoordigt een belangrijke verschuiving in de analyse van dierlijk gedrag. Door direct te leren van ruwe video in plaats van via pose-estimation, biedt het een meer contextbewuste en schaalbare oplossing. Het maakt het mogelijk om langdurige, continue opnames efficiënt te analyseren en biologisch betekenisvolle fenotypes te extraheren.

Hoewel het model afhankelijk is van gesuperviseerde annotaties en geen expliciete kinematische metingen of individuele tracking biedt (wat het ideaal maakt om te combineren met bestaande pose-tools), vult het de huidige gaten in de automatische gedragsanalyse in. TRACE biedt een krachtig, generaliseerbaar framework dat de reproduceerbaarheid en doorvoer van gedragsstudies in de neurowetenschappen en ethologie aanzienlijk kan verbeteren.