Classifier architecture and data preprocessing jointly shape accelerometer-based behavioural inference

Dit onderzoek toont aan dat de keuze van het classificatiemodel, en niet alleen de data-preprocessing, de doorslaggevende factor is bij het nauwkeurig afleiden van dierlijk gedrag uit versnellingdata, waarbij moderne deep-learning-architecturen en ecologische validatie essentieel zijn voor betrouwbare resultaten.

De kern

Stel je voor dat je een onzichtbare vriend hebt die een horloge met een supergevoelige versnellingsmeter om zijn nek draagt terwijl hij door het oerwoud rent, klimt en slaapt. Dit horloge trilt en beweegt mee met elke stap, elke sprong en elke kriebel. De onderzoekers van dit artikel proberen deze trillingen te vertalen naar een dagboek van het dier: "Hij zat uren te slapen," "Hij at een hapje," of "Hij krabde zich."

Maar hier zit de twist: hoe je die trillingen meet en hoe je de computer leert ze te begrijpen, maakt een enorm verschil.

Hier is de uitleg van dit onderzoek, vertaald naar gewoon Nederlands met een paar creatieve vergelijkingen.

1. Het Probleem: Een rommelige kamer

De onderzoekers werken met apen (groene meerkatten) in Zuid-Afrika. Ze hebben 37 apen een halsband omgedaan die trillingen opneemt. Het probleem is dat de data een enorme, rommelige kamer is vol met trillingen.

• De halsband draait: Soms zit de halsband scheef, soms draait hij rond. Het is alsof je een kompas hebt dat soms naar het noorden wijst en soms naar het zuiden, afhankelijk van hoe je hem vasthoudt.
• De tijd is raar: De halsband neemt niet continu op, maar in korte flitsen (zoals een camera die elke paar minuten een foto maakt).
• De apen doen van alles: Ze slapen, eten, rennen en krabben zich. Sommige gedragingen (zoals slapen) komen vaak voor, andere (zoals rennen) zijn zeldzaam.

2. De Drie Proeven: Hoe pak je dit aan?

De onderzoekers hebben drie dingen getest om te zien wat de beste manier is om de computer slim te maken.

Proef 1: De "Fotoburst" (Hoe lang is je foto?)

Stel je voor dat je een video maakt van een aap.

• Lange video (13,8 seconden): Je ziet de aap eerst lopen, dan zitten en dan eten. De computer moet raden: "Wat deed hij eigenlijk?" Dit is verwarrend.
• Korte video (3,4 seconden): Je ziet alleen de aap rennen. Duidelijk!
• Het resultaat: Het bleek dat het niet uitmaakte voor de gemiddelde score van de computer. Maar voor de zeldzame gedragingen (zoals rennen of krabben) was de korte video veel beter. Het is alsof je een lange film bekijkt om te zien of iemand in de film een zeldzame bloem heeft gepikt; als je de film in stukjes van 3 seconden bekijkt, zie je die bloem veel makkelijker dan als je naar een hele lange scène kijkt waar de bloem maar een fractie van de tijd zichtbaar is.

Proef 2: De "Draaiende Kompass" (Hoe zit de halsband?)

De halsband kan scheef hangen. De onderzoekers probeerden de computer te leren de halsband "recht te zetten" in de software, alsof je een scheef hangend schilderij weer recht hangt.

• Het resultaat: Eigenlijk werd het slechter! De computer leerde dat de halsband op een bepaalde manier scheef hing en gebruikte dat als een trucje om te raden. Toen ze de halsband "recht" zetten, verdween die truc en moest de computer echt naar het gedrag kijken.
• De uitzondering: Voor het gedrag "slapen" hielp het wel. Waarom? Omdat de apen die sliepen vaak op een specifieke manier zaten met een scheef hangende halsband. Door de halsband recht te zetten, dwong je de computer om te kijken naar de slaap zelf en niet naar de scheefheid van de halsband.

Proef 3: De "Leermeesters" (Welke computer is het slimst?)

Dit was het belangrijkste deel. Ze testten negen verschillende soorten "leermeesters" (algoritmen) om te zien wie de beste leraar was.

• De Oude School (Random Forest, XGBoost): Dit zijn slimme, maar wat ouderwetse methoden. Ze zijn goed, maar ze hebben de neiging om alleen naar de meest voorkomende dingen te kijken. Als een aap 90% van de tijd zit en 10% loopt, zeggen ze: "Hij zit altijd!" en vergeten ze het lopen.
• De Moderne Deep Learning (HydraMultiROCKET & TabPFN): Dit zijn de nieuwe, supermoderne methoden.
  • HydraMultiROCKET: Dit is als een meesterchef die direct naar de ingrediënten (de ruwe trillingen) kijkt zonder eerst een recept te schrijven. Hij is extreem snel en slim.
  • TabPFN: Dit is als een genie dat miljoenen andere boeken heeft gelezen en nu een nieuwe tekst in één oogopslag begrijpt.
• Het resultaat: De moderne methoden waren veel beter. Ze konden de zeldzame dingen (zoals "zich krabben") veel beter herkennen dan de oude methoden, zonder dat ze fouten maakten bij de gewone dingen. Ze verdubbelden bijna het aantal keren dat ze de zeldzame gedragingen vonden!

3. De Grote Les: Kijk niet alleen naar de cijfers

De onderzoekers vergeleken hun computerresultaten met wat ze echt zagen via video's (de "waarheid").

• De valkuil: Als je alleen kijkt naar het gemiddelde cijfer (bijvoorbeeld: "90% goed"), denk je dat alles perfect is. Maar die cijfers verbergen vaak dat de computer de zeldzame, belangrijke dingen mist.
• De realiteit: De moderne computers waren het dichtst bij de waarheid, maar zelfs zij hadden last van de "nacht". 's Nachts zagen ze apen "groomen" (verzorgen) terwijl ze eigenlijk sliepen. Waarom? Omdat ze alleen overdag hadden geoefend, en 's nachts slapen apen anders dan overdag.

Conclusie: Wat moeten we doen?

Dit onderzoek zegt ons drie belangrijke dingen voor de toekomst:

1. Gebruik de nieuwe technologie: De oude methoden zijn prima, maar de nieuwe "Deep Learning" methoden (zoals HydraMultiROCKET) zijn de toekomst. Ze zijn sneller, slimmer en vinden de zeldzame dingen beter.
2. Geen één maat voor iedereen: Je kunt niet één instelling gebruiken voor alles. Soms wil je korte video's om rennen te zien, soms lange video's om rust te zien. Het is alsof je verschillende lenzen gebruikt voor een camera, afhankelijk van wat je wilt fotograferen.
3. Kijk naar de natuur, niet alleen naar de cijfers: Je kunt niet alleen zeggen "de computer is 95% goed". Je moet vragen: "Maakt de computer biologisch zinvolle dingen?" Als de computer zegt dat een aap 's nachts aan het socialiseren is terwijl hij slaapt, dan is de computer fout, zelfs als het cijfer hoog is.

Kortom: Om te begrijpen wat dieren doen, moeten we niet alleen betere camera's (sensoren) hebben, maar ook slimmere vertalers (modellen) die de taal van de natuur echt begrijpen, in plaats van alleen maar te tellen.

Technische samenvatting

Probleemstelling

Het kwantificeren van gedragsbudgetten bij wilde dieren via accelerometrie is een groeiend veld, maar er bestaan nog significante methodologische uitdagingen. Hoewel machine learning (ML) veelbelovend is, blijven de interacties tussen preprocessing-beslissingen (zoals tijdssegmentatie en sensororiëntatie) en moderne classificatie-algoritmen slecht begrepen.

• Global Metrics vs. Ecologische Betrouwbaarheid: Bestaande studies beoordelen modellen vaak op basis van globale prestatie-indicatoren (zoals ROC AUC of nauwkeurigheid). Het artikel betoogt dat deze metrics de gedrags-specifieke patronen en de ecologische betrouwbaarheid slecht weerspiegelen, vooral bij onbalans in de data (zeldzame gedragingen).
• Preprocessing Trade-offs: De keuze van de "burst length" (tijdsvenster) en de correctie van de halsband-oriëntatie (die kan verschuiven) heeft fundamentele gevolgen voor de labelzuiverheid en de transferabiliteit van modellen, maar deze effecten zijn vaak onduidelijk in complexere systemen.
• Algoritme-keuze: Traditionele ML-modellen (zoals Random Forests) werken vaak goed, maar missen de capaciteit om temporale structuren direct uit ruwe data te leren, terwijl diepe leermodellen (Deep Learning - DL) vaak te veel data of tuning vereisen.

Methodologie

De auteurs gebruikten een case study met groene vervetapen (Chlorocebus pygerythrus) in het wild (Mawana Game Reserve, Zuid-Afrika).

1. Datacollectie:

   • 37 volwassen apen werden uitgerust met UHF 1C Light halsbanden met tri-axiale accelerometers (10 Hz).
   • Data werd opgenomen in bursts van 13,8 seconden elke 90 seconden.
   • Een gelabelde dataset werd gegenereerd door 158 video's (43 uur) te synchroniseren met de acceleratie-data, resulterend in 1.102 bursts.
   • De 39 oorspronkelijke gedragingen werden samengevoegd tot 8 hoofdgedragingen: rusten, slapen, eten, lopen, rennen, ontvangen van grooming, geven van grooming, en zelfkrabben.

2. Experimenten:
   De studie voerde vier complementaire experimenten uit om de interactie tussen preprocessing en architectuur te testen:

   • Experiment 1 (Burst Length): Het effect van het verkorten van de tijdsvensters (van 13,8s naar 6,9s, 4,6s en 3,4s) op de classificatieprestaties.
   • Experiment 2 (Oriëntatiecorrectie): Het testen van een accelerometer-only methode om de halsbandoriëntatie te corrigeren (roll, pitch en geschatte yaw via loopgedrag) en het vergelijken van ongecorrigeerde data met dagelijkse en basisale (rolling window) correcties.
   • Experiment 3 (Algoritme Vergelijking): Vergelijking van 9 overzichte-algoritmen in drie categorieën:
     • Feature-based ML: Random Forest (RF), XGBoost, SVM.
     • Feature-based DL: CEM, GANDALF, TabPFN (een tabulaire foundation model).
     • Time-series DL: LSTM, TSSequencer, HydraMultiROCKET.
   • Experiment 4 (Ecologische Validatie): Validatie van de gegenereerde gedragsbudgetten tegen onafhankelijke "focal observations" (traditionele observaties) om biologische plausibiliteit te testen.

3. Statistische Analyse:

   • Gebruik van Generalized Linear Mixed Models (GLMMs) om interacties tussen algoritme, preprocessing en gedragstypen (gemeenschappelijk, ongewoon, zeldzaam) te analyseren.
   • Focus op precisie en recall per gedrag, niet alleen op globale metrics.

Belangrijkste Resultaten

1. Architectuur is de dominante factor:

   • HydraMultiROCKET (een time-series DL-architectuur) en TabPFN (een tabulaire foundation model) presteerden significant beter dan traditionele ML-modellen.
   • HydraMultiROCKET behaalde de hoogste ROC AUC (0,95) en was statistisch superieur aan alle andere modellen.
   • Traditionele modellen (RF, XGBoost) presteerden redelijk, maar LSTM presteerde slecht onder standaardinstellingen.
   • Cruciaal: Moderne DL-modellen verdubbelden de recall voor zeldzame gedragingen (zoals grooming en zelfkrabben) zonder de precisie te verlagen, terwijl traditionele modellen een duidelijke trade-off vertoonden (hoge precisie, maar lage recall voor zeldzame klassen).

2. Burst Length (Tijdsvenster):

   • Had geen significant effect op globale metrics (ROC AUC).
   • Had echter wel een groot effect op stabiliteit en gedrags-specifieke prestaties:
     • Korte bursts (Burst 4) verhoogden het aantal trainingsinstanties voor zeldzame gedragingen, wat de detectie van deze gedragingen verbeterde.
     • Lange bursts (Burst 1) waren beter voor gemeenschappelijke gedragingen omdat ze meer temporale context bieden.
   • Conclusie: De optimale burst-lengte is afhankelijk van het specifieke gedrag dat men wil detecteren.

3. Oriëntatiecorrectie:

   • Globale correctie van de halsbandoriëntatie (via een accelerometer-only methode) leidde tot een daling in de globale prestaties (ROC AUC).
   • De correctie verwijdert echter dataset-specifieke artefacten (bijv. een specifieke slaaphouding die per ongeluk gekoppeld was aan een halsbandstand). Dit resulteerde in een verbeterde detectie van slapen (een zeldzaam gedrag), maar een verslechtering voor andere gedragingen zoals rusten en rennen.
   • Dit suggereert dat correctie soms werkt als een vorm van regularisatie voor zeldzame klassen, maar biologie-informatie kan verliezen voor andere klassen.

4. Ecologische Validatie:

   • Modellen met vergelijkbare globale metrics (HydraMultiROCKET vs. TabPFN) leverden verschillende voorspellingen op voor specifieke gedragingen (bijv. rusten vs. grooming ontvangen).
   • Beide modellen onderschatten "eten" en "zelfkrabben" en overschatten andere gedragingen ten opzichte van focal observations.
   • 's Nachts vertoonden modellen grote afwijkingen (bijv. het classificeren van slapen als "grooming receiver"), wat wijst op beperkingen in de trainingsdata (slaap werd alleen overdag gelabeld) en de kinematische gelijkenis tussen houdingen.

Bijdragen en Significantie

• Verschuiving in Evaluatiemethodiek: De studie demonstreert dat globale prestatie-indicatoren ontoereikend zijn voor het optimaliseren van gedragsinferentie in complexe, wilde systemen. Er is een dringende behoefte aan gedragsbewuste evaluatiekaders die ecologische validatie integreren.
• Toegang tot Deep Learning: De auteurs tonen aan dat moderne, computationeel efficiënte deep-learning architecturen (zoals de ROCKET-familie en foundation modellen zoals TabPFN) toegankelijk zijn voor ecologen. Deze modellen vereisen minimale tuning en overtreffen traditionele methoden, zelfs bij beperkte en onbalans data.
• Aanbeveling voor Ensembles: Omdat verschillende preprocessing-instellingen en algoritmen verschillende gedragingen beter detecteren, pleiten de auteurs voor het gebruik van ensemble- of hiërarchische strategieën. In plaats van één "beste" model te zoeken, moeten onderzoekers modellen combineren om de complementaire sterkten te benutten (bijv. één model voor zeldzame gebeurtenissen, een ander voor stabiele staten).
• Praktische Richtlijnen:
  • Gebruik korte bursts voor zeldzame gedragingen en langere voor gemeenschappelijke.
  • Wees voorzichtig met oriëntatiecorrectie; deze kan artefacten verwijderen maar ook biologisch relevante signalen verstoren.
  • Valideer modellen niet alleen op statistische metrics, maar ook op biologische plausibiliteit (bijv. circadiaanse patronen).

Kortom, dit artikel biedt een roadmap voor het verbeteren van de betrouwbaarheid en interpretatie van acceleratie-gebaseerde gedragsstudies door de synergie tussen data-preprocessing en state-of-the-art modelarchitecturen te benutten.