💻 computer science

MSGL-Transformer: A Multi-Scale Global-Local Transformer for Rodent Social Behavior Recognition

Deze paper introduceert MSGL-Transformer, een multi-schaal transformer-model dat door middel van parallelle attentie-branches en een behavior-aware modulatieblok nauwkeurige en robuuste herkenning van sociale gedragingen van knaagdieren mogelijk maakt uit tijdsreeksen van pose-data.

Oorspronkelijke auteurs: Muhammad Imran Sharif, Doina Caragea

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Muhammad Imran Sharif, Doina Caragea

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film kijkt van twee ratten die met elkaar spelen. Voor een mens is het misschien duidelijk wat ze doen: één rat rent weg, de andere volgt, en dan stoten ze even met hun neuzen. Maar voor een computer is dit een enorme uitdaging. De bewegingen zijn snel, soms heel subtiel, en ze veranderen voortdurend.

Deze paper introduceert een slimme nieuwe computerprogramma, genaamd MSGL-Transformer, dat is ontworpen om precies dit soort rat-gedrag te begrijpen en te herkennen. Hier is hoe het werkt, vertaald in simpele taal met een paar creatieve vergelijkingen.

Het Probleem: De "Zoom" van de Camera

Vroeger keken computers naar gedrag alsof ze door een statische lens keken. Ze zagen de beweging, maar misten vaak het grotere plaatje.

Het dilemma: Sommige gedragingen zijn kort en snel (zoals een rat die plotseling wegrent), terwijl andere gedragingen langzaam en langdurig zijn (zoals een rat die een andere rat volgt).
De fout: Een computer die alleen naar het korte moment kijkt, mist de context. Een computer die alleen naar het lange verhaal kijkt, mist de snelle details. Het is alsof je een film probeert te begrijpen door alleen naar één frame te kijken, of alleen naar de samenvatting van de hele film. Je mist de magie van het verhaal.

De Oplossing: De "Meerdere Zooms" Camera

De auteurs hebben een nieuw model gebouwd dat werkt als een camera met drie verschillende lenzen die tegelijk werken:

De Macro-lens (Korte afstand): Deze kijkt heel nauwkeurig naar de bewegingen van de laatste paar seconden. Hij ziet de snelle wendingen en de subtiele neus-stootjes.
De Meso-lens (Middellange afstand): Deze kijkt naar wat er in de afgelopen minuten is gebeurd. Hij ziet patronen, zoals "de ene rat loopt altijd achter de andere aan".
De Panorama-lens (Wereldwijd): Deze kijkt naar het hele verhaal tot nu toe. Hij begrijpt de context: "Ah, ze zijn aan het vechten, dus die plotselinge beweging is waarschijnlijk een aanval."

Door deze drie "zooms" tegelijk te gebruiken, kan de computer zowel de snelle flitsen als het lange verhaal begrijpen.

De "Aandacht-Filter" (De BAM-blok)

Stel je voor dat je in een drukke kamer staat waar iedereen tegelijk praat. Je wilt alleen luisteren naar wat er echt belangrijk is.
Het model heeft een speciale module genaamd BAM (Behavior-Aware Modulation). Dit werkt als een slimme geluidsfilter of een hoofdtelefoon met ruisonderdrukking.

Als de rat een belangrijke beweging maakt (bijvoorbeeld een aanval), zet de BAM-module het volume van die beweging hard.
Als de rat gewoon wat rondloopt zonder iets bijzonders te doen, zet hij het volume zacht.
Dit zorgt ervoor dat de computer zich focust op de interessante momenten en niet wordt afgeleid door ruis.

Waarom is dit zo goed?

De onderzoekers hebben dit model getest op twee verschillende datasets:

RatSI: Een dataset met ratten (12 punten op hun lichaam).
CalMS21: Een dataset met muizen (28 punten op hun lichaam).

Het mooie is: hetzelfde model werkt voor beide!
Het is alsof je een vertaler hebt die zowel Frans als Spaans spreekt zonder zijn hoofd te hoeven herschrijven. Je hoeft alleen maar de woorden (de input) aan te passen. Het model heeft laten zien dat het beter presteert dan alle vorige methoden, zelfs bij de zeldzame en moeilijke gedragingen (zoals een rat die wegrent of een muis die aanvalt).

De Zwakke Plek: De "Zeldzame Gasten"

Er is nog één probleem. In de datasets komen sommige gedragingen heel vaak voor (zoals "alleen zijn"), maar andere heel zelden (zoals "aanvallen").

Vergelijking: Het is alsof je een schooltoets maakt waarbij 90% van de vragen over "appels" gaat en slechts 1% over "ananas". De computer leert heel goed om appels te herkennen, maar raakt in de war bij ananas.
Het model doet het goed, maar bij die zeldzame gedragingen maakt het nog wel eens fouten. De auteurs zeggen dat ze in de toekomst meer willen werken aan het "trainen" van de computer op die zeldzame gevallen.

Conclusie

Kortom: MSGL-Transformer is een slimme, flexibele computer die leert om naar ratten en muizen te kijken met meerdere "brillen" tegelijk. Hij ziet zowel de snelle flitsen als het lange verhaal, en hij filtert het belangrijke eruit. Dit helpt wetenschappers om beter te begrijpen hoe dieren met elkaar communiceren, zonder dat ze urenlang zelf hoeven te kijken naar video's.

Probleemstelling

Het automatisch herkennen van sociaal gedrag bij knaagdieren (ratten en muizen) is cruciaal voor neurowetenschappelijk onderzoek, maar vormt een aanzienlijke uitdaging. Traditionele methoden zijn handmatig, tijdrovend en vatbaar voor menselijke fouten, vooral bij snelle interacties of overlappende bewegingen. Bestaande deep-learningbenaderingen hebben moeite om zowel kortdurende, subtiele bewegingen (zoals neus-aan-neus contact) als langdurige gedragspatronen (zoals volgen of solitair gedrag) gelijktijdig te modelleren.

De belangrijkste beperkingen van bestaande methoden zijn:

Temporele schaal: Gedrag manifesteert zich op verschillende tijdschalen. Modellen die zich alleen richten op lokale context missen lange-termijn afhankelijkheden, terwijl modellen die zich alleen richten op globale context subtiele, korte bewegingen over het hoofd zien.
Dataset-ongelijkheid: Gedragsdatasets worden gedomineerd door langdurige, frequente gedragingen (bijv. "Solitair"), terwijl zeldzame maar belangrijke gedragingen (bijv. "Aanvallen" of "Weglopen") ondervertegenwoordigd zijn.
Afhankelijkheid van vooraf gedefinieerde structuren: Veel bestaande skeletgebaseerde modellen maken gebruik van vaste ruimtelijke grafen of hiërarchische vensters, wat de flexibiliteit beperkt bij het generaliseren naar verschillende soorten of pose-configuraties.

Methodologie: MSGL-Transformer

De auteurs stellen MSGL-Transformer voor, een lichtgewicht Transformer-architectuur die is ontworpen om gedragsdynamiek op meerdere tijdschalen te vangen zonder vooraf gedefinieerde ruimtelijke grafen. De architectuur bestaat uit de volgende kerncomponenten:

Multi-Schaal Global-Local Attention:
In plaats van één enkele attention-mechanisme, gebruikt het model drie parallelle takken om temporele afhankelijkheden te modelleren:
- Korteafstand-tak: Verwerkt de eerste helft van het tijdsvenster met causale masking (alleen naar huidige en vorige frames). Dit vangt snelle, lokale bewegingscues.
- Middellangeafstand-tak: Verwerkt het volledige venster met dezelfde causale masking.
- Globale tak: Verwerkt het volledige venster inclusief een learnable "global token" met volledige bidirectionele attention (zonder masking). Dit vangt lange-termijn context.
- De output van de korte- en middellangeafstand-takken wordt gemiddeld over overlappende posities om een lokale representatie ( $A_{local}$ ) te vormen, die vervolgens wordt gecombineerd met de globale representatie ( $A_{global}$ ) via residuele optelling.
Behavior-Aware Modulation (BAM) Blok:
Geïnspireerd op het SE-Network (Squeeze-and-Excitation) mechanisme, maar toegepast op temporele embeddings in plaats van kanalen. Het BAM-blok leert een modulatieve vector die de temporele embeddings dynamisch herschikt (reweighting) om gedragsrelevante bewegingspatronen te benadrukken en minder informatieve features te onderdrukken voordat de attention-operatie plaatsvindt.
Invoer en Preprocessing:
Het model werkt direct op sequenties van pose-coördinaten (skeletdata). Er worden geen vooraf gedefinieerde ruimtelijke grafen gebruikt.
- RatSI Dataset: 12 dimensies (3 keypointen × 2 ratten × 2 coördinaten).
- CalMS21 Dataset: 28 dimensies (7 keypointen × 2 muizen × 2 coördinaten).
- Het model gebruikt een vast tijdsvenster van $T=35$ frames met een sliding window strategie.

Kernbijdragen

Nieuwe Architectuur: Introductie van MSGL-Transformer, die multi-schaal attention combineert met een behavior-aware modulatiedeel om zowel korte als lange temporele patronen te vangen.
BAM Blok: Een nieuw mechanisme dat temporele embeddings moduleren om gedragsinformatie te versterken, specifiek ontworpen voor pose-sequenties.
Generaliseerbaarheid: Het model gebruikt dezelfde architectuur voor twee zeer verschillende datasets (ratten vs. muizen, verschillende keypoint-sets, verschillende gedragsvocabulaires) zonder structurele aanpassingen, behalve de invoer- en outputdimensies.
Zonder Grafen: Het vermijden van vooraf gedefinieerde ruimtelijke grafen maakt het model flexibeler en lichter dan bestaande skeletgebaseerde GCN- of Transformer-methoden.

Resultaten

Het model werd geëvalueerd op twee publieke datasets: RatSI (ratten, 5 gedragsklassen) en CalMS21 (muizen, 4 gedragsklassen).

1. RatSI Dataset:

Prestatie: Bereikte een gemiddelde nauwkeurigheid van 75,4% en een F1-score van 0,745 over negen cross-validatie splits.
Vergelijking: Presteerde significant beter dan baselines zoals TCN, LSTM en Bi-LSTM.
Ablatie: Het verwijderen van zowel het BAM-blok als de multi-schaal attention (MSA) leidde tot een daling in prestatie, wat aantoont dat beide componenten essentieel zijn.

2. CalMS21 Dataset:

Prestatie: Bereikte een nauwkeurigheid van 87,1% en een F1-score van 0,8745.
Vergelijking: Een verbetering van +10,7% in gemiddelde per-klasse nauwkeurigheid ten opzichte van de huidige state-of-the-art HSTWFormer. Het overtrof ook andere keypoint-methoden zoals ST-GCN, MS-G3D en CTR-GCN.
Zeldzame Klassen: Hoewel het model goed presteerde op dominante klassen, bleven zeldzame klassen (zoals "Attack" met slechts 2,8% van de data) een uitdaging, wat de impact van class imbalance onderstreept.

3. Generalisatie en Complexiteit:

Het model generaliseert uitstekend tussen soorten en datasets zonder herconfiguratie.
Met ongeveer 286.000 parameters is het model lichter dan visuele Transformers (die vaak miljoenen parameters hebben), maar zwaarder dan eenvoudige RNN's. De trainingstijd is acceptabel (~295 seconden per epoch op een NVIDIA RTX A4000).

Betekenis en Conclusie

De MSGL-Transformer vertegenwoordigt een significante stap voorwaarts in de automatisering van gedragsanalyse bij knaagdieren. Door de complexiteit van temporele schalen expliciet te modelleren via parallelle attention-takken en door gedragsrelevante features te versterken via BAM, overtreft het bestaande methoden in zowel nauwkeurigheid als generalisatievermogen.

De studie benadrukt dat:

Multi-schaal modellering noodzakelijk is voor het vangen van zowel subtiele, korte interacties als langdurige patronen.
Class imbalance nog steeds een grote uitdaging blijft voor het detecteren van zeldzame, maar biologisch belangrijke gedragingen.
Een lichtgewicht, graf-vrije architectuur effectief kan generaliseren over verschillende diersoorten en experimentele opstellingen, wat het een veelbelovende tool maakt voor toekomstig neurowetenschappelijk onderzoek.

Toekomstig werk zal zich richten op het verbeteren van de detectie van minderheidsklassen via class-aware loss-functies en data-augmentatie.