Rodent-Bench

Dit paper introduceert Rodent-Bench, een nieuw benchmark voor het evalueren van multimodale grote taalmodellen in het annoteren van ruisgedrag, waarbij wordt geconcludeerd dat huidige modellen vanwege uitdagingen in temporele segmentatie en het onderscheiden van subtiele gedragsstoestanden nog niet betrouwbaar genoeg zijn voor wetenschappelijk gebruik.

De kern

🐭 Rodent-Bench: De "Ratentest" voor slimme computers

Stel je voor dat je een groepje zeer slimme, geavanceerde robots hebt die alles kunnen zien en begrijpen. Ze kunnen foto's analyseren, teksten schrijven en zelfs films bekijken. Maar de vraag is: kunnen ze ook gedrag van dieren begrijpen?

Dit is precies wat de onderzoekers van de Universiteit van Bristol hebben willen testen. Ze hebben een nieuwe "examen" bedacht, genaamd Rodent-Bench. Het doel? Kijken of deze slimme computers (die Multimodale Large Language Models of MLLMs heten) goed genoeg zijn om video's van ratten en muizen te bekijken en te vertellen wat ze precies doen.

🎬 De Uitdaging: Een film van een rat

In de wetenschap is het heel belangrijk om te weten wat een dier doet. Is het aan het rusten? Is het aan het krabben? Is het bang en stilstaand (bevriezen)?
Normaal gesproken moeten mensen urenlang naar video's kijken om dit op te schrijven. Dat is saai, duur en tijdrovend. De onderzoekers hoopten dat de slimme computers dit werk voor hen zouden kunnen doen.

Ze hebben de computers een taak gegeven:

1. Kijk naar de video (van 10 minuten tot wel 35 minuten).
2. Zeg precies wanneer het dier iets anders gaat doen.
3. Schrijf dit op in een strakke lijst (een JSON-bestand), seconde voor seconde.

🧪 De Proef: Drie slimme koppen

De onderzoekers hebben drie van de slimste computers van dit moment op de proef gesteld:

• Gemini-2.5-Pro (De "hoofdrolspeler", heel slim).
• Gemini-2.5-Flash (De "snelle bliksem", iets minder slim maar snel).
• Qwen-VL-Max (Een andere sterke speler).

Ze gaven ze video's van verschillende situaties:

• Ratten die met elkaar spelen (sociale interactie).
• Ratten die zich poetsen (grooming).
• Ratten die krabben (vanwege jeuk).
• Ratten die "bevriezen" (een angstreactie waarbij ze heel stil zitten, maar niet slapen).

📉 Het Resultaat: De computers zakten het examen

Het nieuws is niet goed. De computers haalden het examen niet.

Stel je voor dat je een student vraagt om een heel lang, saai filmpje te bekijken en elk detail te beschrijven. Deze studenten (de computers) deden het volgende:

• Verkeerde timing: Ze wisten niet precies wanneer een gedrag begon of eindigde. Het was alsof ze de film versneld afkeken en gissen.
• Verwarring: Ze konden moeilijk het verschil zien tussen een rat die "bevriest" (bang is) en een rat die gewoon slaapt. Voor een mens is dat een groot verschil, voor de computer leek het hetzelfde.
• Knoeiwerk: Soms gaven ze het antwoord in de verkeerde vorm. In plaats van een nette lijst, schreven ze rommelige tekst of stopten ze halverwege. Alsof ze de opdracht niet helemaal begrepen.

De enige situatie waarin ze het redelijk deden, was bij het poetsen van de rat. Dat is een duidelijk, herhalend gebaar. Maar bij de moeilijkere dingen, zoals het onderscheiden van angst of korte bewegingen, faalden ze bijna volledig.

🤔 Waarom lukt het niet?

De onderzoekers geven een paar redenen waarom deze slimme computers nog niet klaar zijn voor dit werk:

1. Te lang: De video's zijn te lang voor sommige computers. Ze raken de draad kwijt, net als iemand die een heel lang verhaal moet onthouden en halverwege de details vergeet.
2. Te subtiel: Het verschil tussen "stil zitten" en "bang zijn" is heel klein. De computers missen de nuance. Ze zien de beweging, maar niet de bedoeling erachter.
3. Geen ervaring: Deze computers zijn getraind op alledaagse dingen (zoals katten en auto's), niet op de specifieke, saaie wetenschappelijke regels van ratengedrag.

💡 Wat betekent dit voor de toekomst?

Dit onderzoek is eigenlijk een waarschuwingsbord. Het zegt: "Hé, we denken dat AI alles kan, maar voor dit soort wetenschappelijk werk zijn we er nog niet."

De onderzoekers hebben met Rodent-Bench een meetlat gemaakt. Nu weten wetenschappers precies waar de computers tekortschieten. In de toekomst kunnen ze deze meetlat gebruiken om te zien of nieuwe, slimmere versies van deze computers het beter doen.

Kort samengevat:
De slimme computers zijn nog te "slordig" om als assistent te werken voor het bestuderen van ratengedrag. Ze kunnen wel een filmpje kijken, maar ze begrijpen de fijne kneepjes van het gedrag nog niet. De onderzoekers hopen dat Rodent-Bench helpt om de volgende generatie computers te trainen, zodat ze op een dag wel eens een echte hulp kunnen zijn voor de wetenschap.

Technische samenvatting

Titel: Rodent-Bench: Een benchmark voor de evaluatie van Multimodale Grootte Taalmodellen (MLLMs) bij het annoteren van knaagdiergedrag

1. Het Probleem

Gedragsanalyse is fundamenteel voor neurowetenschappelijk en biomedisch onderzoek, maar de handmatige annotatie van videobestanden van diergedrag vormt een tijdrovende bottleneck. Dit beperkt de schaalbaarheid en reproduceerbaarheid van onderzoek. Hoewel Multimodale Grootte Taalmodellen (MLLMs) indrukwekkende prestaties laten zien in algemene visueel-taaltaken, is hun toepassing op gespecialiseerde wetenschappelijke domeinen, zoals het analyseren van gedetailleerd diergedrag, nog grotendeels onontgonnen terrein.

Bestaande computer-vision-methoden vereisen vaak specifieke training voor elke gedragsopdracht en missen flexibiliteit. MLLMs beloven hierin een doorbraak door natuurlijke taal-instructies te accepteren en zich aan te passen aan nieuwe gedragingen zonder hertraining. Echter, er ontbreekt een gestandaardiseerde benchmark om te beoordelen of huidige MLLMs deze complexe taken (temporale segmentatie, subtiele contextuele nuances en lange video's) daadwerkelijk kunnen uitvoeren.

2. Methodologie

De auteurs introduceren Rodent-Bench, de eerste uitgebreide benchmark specifiek ontworpen om MLLMs te evalueren op het annoteren van knaagdiergedrag.

• Datasets: De benchmark omvat diverse openbare en privé datasets die verschillende gedragsparadigma's dekken:
  • CalMS21: Sociale interacties tussen meerdere knaagdieren.
  • Rodent Grooming: Detectie van verzorgingsgedrag.
  • Mouse-Ventral 1 & 2: Gedrag van onderop gefilmd (grooming, graven, krabben, likken).
  • Scratch-AID: Detectie van compulsief krabben veroorzaakt door een jeukmiddel.
  • Freezing: Detectie van "bevriezing" (een actieve angstreactie onderscheiden van rust of slapen), wat zeer subtiel is.
• Versies: Er zijn twee versies van de benchmark ontwikkeld om rekening te houden met de beperkingen van verschillende modellen:
  • Rodent-Bench-Short: Video's tot 10 minuten (voor modellen met strikte lengtebeperkingen).
  • Rodent-Bench-Long: Video's tot 35 minuten (voor modellen die langere video's kunnen verwerken).
• Taalmodellen: Drie state-of-the-art MLLMs werden geëvalueerd:
  • Gemini-2.5-Pro
  • Gemini-2.5-Flash
  • Qwen-VL-Max
• Evaluatieopdracht: De modellen kregen de opdracht om elk videosegment te analyseren en een JSON-bestand te genereren met niet-overlappende tijdssegmenten en bijbehorende gedragslabels.
• Evaluatiemetrics: Om de prestaties grondig te meten, worden meerdere metrics gebruikt:
  • Second-wise accuracy: Juiste classificatie per seconde.
  • Macro F1-score: Ongegewogen gemiddelde van F1-scores per klasse.
  • mean Average Precision (mAP): Kwaliteit van de temporale segmentatie over verschillende IoU-drempels.
  • Mutual Information & Matthew's Correlation Coefficient (MCC): Maatstaven voor de correlatie tussen voorspelling en ground truth, waarbij een score van 0 overeenkomt met willekeurige prestaties.

3. Belangrijkste Resultaten

De evaluatie toont aan dat de huidige generatie MLLMs niet voldoende presteert om als betrouwbare assistent voor wetenschappelijk onderzoek te worden ingezet.

• Algemene Prestaties: Geen enkel model behaalde sterke resultaten over alle datasets. De prestaties varieerden sterk afhankelijk van het gedragsparadigma.
• Sterke Punten: Modellen toonden bescheiden succes bij het detecteren van grooming (verzorging), een gedrag dat visueel duidelijk en langdurig is.
• Zwakke Punten:
  • Temporale Segmentatie: Modellen hadden grote moeite met het nauwkeurig bepalen van start- en eindtijden van gedragingen.
  • Subtiele Gedragingen: Het onderscheid tussen "bevriezing" (freezing) en gewoon stilzitten was extreem moeilijk; scores lagen hier vaak dicht bij het toevalsniveau.
  • Lange Video's: Prestaties verslechterden bij langere video's en complexe scenario's.
  • Formaatfouten: Veel modellen (vooral Qwen-VL-Max) produceerden onleesbare JSON-bestanden of stopten halverwege, wat automatische verwerking onmogelijk maakte.
• Vergelijking Modellen:
  • Gemini-2.5-Pro presteerde over het algemeen het beste, met lagere variantie dan de Flash-versie.
  • Qwen-VL-Max presteerde op de korte benchmark nauwelijks beter dan willekeur (chance level), mede door beperkingen in het verwerken van lange video's en formatfouten.

4. Belangrijkste Bijdragen

1. Rodent-Bench: De creatie van de eerste gestandaardiseerde benchmark voor wetenschappelijke gedragsannotatie met MLLMs, inclusief diverse datasets en video-lengtes.
2. Gestandaardiseerde Metrics: Introductie van een robuust evaluatiekader (MCC, mAP, Mutual Information) dat specifiek is afgestemd op de eisen van temporale segmentatie in de wetenschap.
3. Empirisch Bewijs: Het leveren van concrete data die aantoont dat er nog een significante kloof bestaat tussen de huidige capaciteiten van MLLMs en de eisen van de neurowetenschappen.
4. Inzicht in Beperkingen: Identificatie van specifieke zwakke plekken, zoals het onderscheiden van subtiele staten (freezing vs. rust) en het handhaven van consistentie in lange video's.

5. Betekenis en Toekomstperspectief

Het paper benadrukt dat, hoewel MLLMs potentie hebben om de gedragsanalyse te democratiseren (door geen specifieke training per experiment te vereisen), ze momenteel nog niet klaar zijn voor praktische inzet in de wetenschap. De huidige modellen missen de nodige temporele redeneercapaciteiten en contextuele precisie.

Rodent-Bench dient als een fundament om de voortgang van multimodale AI in de wetenschap te volgen. Het biedt onderzoekers een objectief meetinstrument om te bepalen wanneer modellen de betrouwbaarheid bereiken die nodig is voor geautomatiseerde annotatie. De resultaten roepen op tot verdere ontwikkeling van modellen die beter zijn in fijnmazige temporale redenering en het integreren van visuele context met gedragskennis.