Animal behavioral analysis and neural encoding with transformer-based self-supervised pretraining

Dit paper introduceert BEAST, een schaalbaar framework dat zelftoezichtende pretraining van transformers combineert met gemaskerde auto-encoding en temporeel contrastief leren om effectieve gedragsanalyse en neurale codering mogelijk te maken voor diverse diersoorten, zelfs wanneer gelabelde data schaars is.

De kern

De "Super-leraar" voor Dierengedrag: Een Simpele Uitleg van BEAST

Stel je voor dat je een filmpje maakt van een muis die door een doolof loopt. Voor een mens is het makkelijk om te zien: "Ah, hij krabt aan zijn oor," of "Hij stopt met rennen en snuffelt." Maar voor een computer is dat filmpje gewoon een chaos van miljoenen pixels die veranderen. Om te begrijpen wat de muis doet, moeten we die computer eerst "leren kijken".

Dat is precies wat dit nieuwe onderzoek, genaamd BEAST, doet. Het is een slimme manier om computers te leren gedrag van dieren te begrijpen, zonder dat we urenlang hoeven te werken met de computer.

Hier is hoe het werkt, vergeleken met alledaagse dingen:

1. Het Probleem: De "Grote Boek" die niemand leest

Vroeger, als wetenschappers wilden weten wat een dier deed, moesten ze handmatig duizenden foto's bekijken en elke beweging van de pootjes of snorharen opschrijven.

• De analogie: Dit is alsof je een heel groot boek wilt samenvatten, maar je moet elke letter handmatig in een lijstje zetten voordat je kunt beginnen. Het kost jaren, is saai, en vaak maken mensen fouten.
• Het resultaat: Omdat het zoveel werk is, hebben wetenschappers vaak te weinig data om echt slimme conclusies te trekken.

2. De Oplossing: BEAST (De Slimme Leraar)

BEAST is een nieuw computerprogramma dat zelflerend is. Het kijkt naar duizenden uren aan videomateriaal van dieren, maar het hoeft niet te weten wat het dier precies doet. Het kijkt gewoon naar de beelden.

• De analogie: Stel je voor dat je een baby hebt die naar een televisie kijkt. De baby hoeft niet te weten dat het een "hond" is of dat het "rennen" heet. De baby leert gewoon door te kijken: "Oh, dit stukje beeld lijkt op dat andere stukje, maar dit andere stukje is heel anders."
• BEAST doet twee dingen tegelijk:
  1. Het "Puzzel-spel" (Masked Autoencoding): Het programma bedekt een groot deel van het beeld (zoals een puzzelstukje dat weg is) en probeert het te raden. Dit leert het de details van de vacht, de snorharen en de achtergrond.
  2. Het "Tijds-gevoel" (Contrastive Learning): Het kijkt naar beelden die vlak na elkaar komen. "Dit beeld is net na dat beeld," denkt het. "Ze lijken op elkaar, maar niet helemaal." Dit leert het programma hoe beweging werkt.

3. Waarom is dit zo speciaal? (De Magie)

Normaal gesproken moet je een computer eerst leren hoe je een muis vasthoudt (pose schatten) voordat je kunt zeggen wat hij doet. BEAST slaat die stap over.

• De analogie: Stel je voor dat je een tolk nodig hebt.
  • De oude manier: Je moet eerst een tolk leren de taal van de muis (elke poot, elk oor) perfect te vertalen naar een lijstje coördinaten. Pas daarna kun je vragen: "Wat doet hij?"
  • De BEAST-methode: BEAST is als een genie dat direct de betekenis van de beweging begrijpt, zonder eerst de woorden te hoeven spellen. Het ziet direct: "Ah, hij is aan het schrikken," zonder eerst te hoeven meten hoe ver zijn oren staan.

4. Wat kan BEAST allemaal?

Het onderzoek toont aan dat BEAST drie grote dingen heel goed kan:

1. De "Brein-Detective" (Neural Encoding):
   Wetenschappers kijken vaak naar de hersenen van een dier. Ze willen weten: "Welke beweging zorgt ervoor dat deze hersencel afvuurt?" BEAST kan de video bekijken en precies voorspellen wat er in de hersenen gebeurt. Het is alsof je een video ziet en direct weet wat de dromer droomt.
2. De "Positie-Meester" (Pose Estimation):
   Het kan heel precies volgen waar de pootjes en neusjes zijn, zelfs als er maar heel weinig voorbeelden zijn om het op te leren. Het is beter dan de oude methoden, zelfs met minder training.
3. De "Actie-Verteller" (Action Segmentation):
   Het kan een lang filmpje in stukjes knippen en zeggen: "Hier is hij aan het rusten, hier is hij aan het vechten, hier is hij aan het eten." Zelfs als er meerdere dieren tegelijk in beeld zijn.

5. Het Grote Voordeel: Snelheid en Gemak

Het mooiste aan BEAST is dat het geen dure labels nodig heeft.

• Vroeger: Je moest 10.000 foto's handmatig markeren. (Duurt maanden).
• Nu met BEAST: Je gooit gewoon alle ruwe video's in het systeem. Het leert zichzelf. Daarna heb je maar een heel klein beetje extra werk nodig om het af te stemmen op jouw specifieke experiment.

Kortom:
BEAST is als het geven van een superkracht aan wetenschappers. In plaats van urenlang te zitten met een pen en papier om bewegingen te noteren, kunnen ze nu de computer laten kijken, leren en begrijpen. Dit versnelt de ontdekkingen over hoe onze hersenen werken, hoe dieren zich gedragen, en helpt ons misschien zelfs om ziektes beter te begrijpen. Het is een stap van "handmatig werk" naar "slimme technologie".

Technische samenvatting

Probleemstelling

Het volledig begrijpen van de hersenen vereist een diepgaand inzicht in het gedrag dat ze genereren. Hoewel camera's veel worden gebruikt om dierlijk gedrag vast te leggen, vormen de bestaande methoden voor videanalyse een bottleneck:

1. Afhankelijkheid van gelabelde data: Traditionele modellen (zoals DeepLabCut) vereisen vaak uitgebreide, handmatig gelabelde datasets voor specifieke taken zoals pose-schatting (keypoints) of actie-segmentatie.
2. Gebrek aan generalisatie: Bestaande foundation-modellen (zoals DINOv2) zijn getraind op algemene internetdata en presteren niet optimaal op de specifieke, gecontroleerde omgevingen van neuro-wetenschappelijke experimenten (statische achtergronden, specifieke bewegingspatronen).
3. Onbenutte data: Experimenten genereren enorme hoeveelheden ongelabelde videodata die momenteel niet worden benut voor het verbeteren van downstream-taken.
4. Versnippering: Er is geen unified framework dat meerdere neuro-behaviorale taken (neuronale codering, pose-schatting, actie-segmentatie) efficiënt aanpakt zonder specifieke, zware labeling voor elke taak.

Methodologie: BEAST Framework

De auteurs introduceren BEAST (BEhavioral Analysis via Self-supervised pretraining of Transformers), een schaalbaar framework dat experiment-specifieke Vision Transformers (ViT) pretraint met behulp van ongelabelde video.

Kernarchitectuur en Loss-functies:
BEAST combineert twee self-supervised learning (SSL) objectives in één ViT-B/16 backbone:

1. Masked Autoencoding (MAE): Dit deel van de loss fungeert op frame-niveau. Het maskeert een groot deel (75%) van de patches van een frame en dwingt het model om de ontbrekende pixels te reconstrueren. Dit leert het model rijke, lage-niveau visuele details en uiterlijke kenmerken.
2. Temporale Contrastive Learning: Dit deel leert dynamische afhankelijkheden tussen frames.
   • Innovatie in sampling: In tegenstelling tot eerdere methoden (zoals VIC-MAE) die willekeurige frames uit dezelfde video als positieve paren gebruiken, definieert BEAST positieve paren als frames binnen een zeer smal tijdsvenster rondom het ankerframe (±1 frame). Negatieve paren zijn verre frames binnen dezelfde video of frames uit andere video's.
   • Redenering: Dit zorgt ervoor dat het model leert om gedrag te onderscheiden tegen een statische achtergrond, wat cruciaal is voor experimentele setups waar de camera en achtergrond constant zijn.

Training en Finetuning:

• Het model wordt voorgeïnitieerd met ImageNet-weights (MAE).
• Vervolgens wordt het getraind op ongelabelde video's van de specifieke experimentele setup (domain-specific pretraining).
• De totale loss is een combinatie van reconstructie- en contrastieve loss ($L_{MSE} + \lambda \cdot L_{InfoNCE}$).
• Voor downstream-taken kan het model worden gefinetuned (end-to-end of met een vaste backbone) voor specifieke taken.

Belangrijkste Bijdragen

1. Een Universeele Backbone: BEAST biedt één krachtige, veelzijdige backbone die drie fundamenteel verschillende neuro-behaviorale taken aankan zonder dat er voor elke taak een volledig nieuw model hoeft te worden ontwikkeld.
2. Efficiëntie en Schaalbaarheid: Het elimineert de noodzaak voor uitgebreide handmatige labeling voor de pretraining-fase. Labs kunnen hun eigen ongelabelde data gebruiken om een model te creëren dat specifiek is afgestemd op hun experimentele opstelling.
3. Nieuwe Frame-Sampling Strategie: De auteurs tonen aan dat het beperken van positieve paren tot directe tijdsburen (±1 frame) superieur is aan het gebruik van willekeurige frames uit dezelfde video voor langdurige gedragsexperimenten.
4. Vereenvoudiging van Workflows: Voor actie-segmentatie en neuronale codering kan BEAST de volledige, arbeidsintensieve pose-schatting-pipeline (keypoint-tracking) overslaan en toch betere resultaten leveren.

Resultaten

Het framework werd geëvalueerd op drie cruciale taken over meerdere soorten (muizen, vissen) en setups (head-fixed, vrij bewegend, enkel- en meervoudige dieren):

1. Neuronale Codering (Neural Encoding):

   • Doel: Het voorspellen van neurale activiteit op basis van gedrag.
   • Resultaat: BEAST presteerde superieur ten opzichte van baselines zoals keypoints, PCA, CEBRA en zelfs DINOv2. Het verklaarde meer variantie in neurale activiteit en leverde hogere "Bits Per Spike" (BPS) scores op.
   • Inzicht: Niet-keypoint gebaseerde representaties (directe video-embeddings) bevatten rijkere informatie dan traditionele pose-tracking.

2. Pose-schatting (Pose Estimation):

   • Doel: Het lokaliseren van anatomische landmarks (keypoints).
   • Resultaat: Met slechts 100 gelabelde frames voor finetuning, overtrof BEAST state-of-the-art modellen zoals ResNet-50 (AP10K) en DeepLabCut op alle datasets, inclusief uitdagende scenarios zoals vissen met drie camera-views.
   • Efficiëntie: Het reduceert de benodigde labeling drastisch terwijl de nauwkeurigheid toeneemt.

3. Actie-segmentatie (Action Segmentation):

   • Doel: Het classificeren van gedrag per frame (bijv. "grooming", "aanvallen").
   • Resultaat: BEAST (met patch-embeddings en multi-head attention pooling) behaalde de hoogste F1-scores, zelfs zonder pose-estimation als tussenstap. Op het CalMS21 dataset behaalde het een score van 0.84 F1, wat in de top 15 van de Multi-Agent Behavior Challenge ligt.
   • Voordeel: Het elimineert de noodzaak voor dure en tijdrovende pose-annotatie voor actie-classificatie.

Significantie en Impact

• Democratisering van Neuro-wetenschap: BEAST maakt geavanceerde videanalyse toegankelijk voor laboratoria met beperkte resources, omdat het de afhankelijkheid van grote gelabelde datasets en gespecialiseerde pose-tracking-expertise vermindert.
• Brug tussen ML en Neurowetenschap: Het paper toont aan hoe cutting-edge self-supervised learning (SSL) specifiek kan worden aangepast voor de unieke statistieken van neuro-wetenschappelijke data (statische achtergronden, repetitief gedrag).
• Toekomstperspectief: Het framework legt de basis voor "foundation models of animal behavior" die over diverse datasets getraind kunnen worden, waardoor labs in de toekomst alleen nog maar hoeven te finetunen in plaats van te pretrainen.
• Efficiëntie: In vergelijking met native videomodellen (zoals VideoMAE) is BEAST computatie-efficiënter (gebaseerd op frames in plaats van videoclips), wat het haalbaar maakt voor laboratoria zonder toegang tot enorme rekenkracht.

Kortom, BEAST stelt een nieuwe standaard voor in de analyse van dierlijk gedrag door ongelabelde data optimaal te benutten, waardoor nauwkeurigere en snellere inzichten in de relatie tussen hersenen en gedrag mogelijk worden.