Technische Samenvatting: PlayClass – Geautomatiseerde classificatie van speelgedrag bij pluimvee

Probleemstelling

Geautomatiseerde monitoring van dierenwelzijn heeft zich historisch gezien gericht op negatieve indicatoren (bijv. ziekte, pijn), waardoor positieve welzijnsgedragingen zoals spel aanzienlijk onderbelicht blijven. Hoewel computerzicht de schatting en tracking van dierlijke houdingen heeft verbeterd, brengt de toepassing hiervan op pluimvee unieke uitdagingen met zich mee: dichte groepen visueel vergelijkbare individuen leiden tot frequente occlusies en verwarring van identiteit. Bovendien is speelgedrag inherent moeilijk automatisch te classificeren vanwege schaarste aan data, ambiguïteit in definities (spel deelt vaak motorische patronen met niet-speelgedrag) en snelle overgangen tussen toestanden. Bestaand werk heeft geen geautomatiseerde classificatie van speelgedrag bij pluimvee op individueel niveau aangepakt.

Methodologie

De auteurs presenteren PlayClass, een pijplijn ontworpen om speelgedrag op individueel niveau te classificeren vanuit video's van bovenaf genomen kippenhokken. Het systeem integreert drie kerndelen:

1. Trackingstrategie (SAM 3 met adaptieve chunking)

Om opnames van 15 minuten te verwerken waarbij end-to-end tracking beperkt wordt door GPU-geheugen en foutopstapeling:

• Chunking: Video's worden verwerkt in chunks van 60 seconden.
• Initialisatie: Tracking wordt geïnitieerd met een tekstprompt ("kip") of een adaptieve grounding-strategie (het uitvoeren van SAM 3 over de eerste 5 seconden om een frame met hoge betrouwbaarheid en goede scheiding te vinden).
• Handhaving van identiteit: Om identiteitswissels tussen chunks te minimaliseren, gebruikt het systeem een YOLO-gestuurde selectie van chunkgrenzen. Een YOLO-detector en BoT-SORT-tracker identificeren frames met maximale onderlinge scheiding tussen kippen om als chunkgrenzen te dienen, wat een robuuste overdracht van identiteit faciliteert.
• Output: De pijplijn genereert meer dan 1,8 miljoen getrackte maskers met omhullende rechthoeken over 30 video's (45 individuen).

2. Kenmerkextractie

Het systeem extraheren twee complementaire kenmerkstromen per observatieraam:

• Handgemaakte bewegingskenmerken: 19 kenmerken per frame, afgeleid van getrackte maskers, die ruimtelijke vorm (oppervlakte, soliditeit), temporele dynamiek (snelheid, versnelling) en sociale context (afstanden tot anderen) vastleggen. Deze worden samengevat tot een vector van 171 dimensies met behulp van statistische momenten en percentielen.
• Embeddings van fundamentele modellen: De pijplijn evalueert bevroren embeddings van beeld- en videofundamentele modellen:
  • Beeldmodellen: DINOv3 (het extraheren van CLS-token-embeddings uit crops van omhullende rechthoeken).
  • Videomodellen: V-JEPA 2, V-JEPA 2.1 en VideoPrism (het verwerken van niet-overlappende clips en ruimtelijk middelen).

3. Classificatiearchitectuur

De taak is een classificatieprobleem met 3 klassen: Locomotief spel, Objectspel en Overig (niet-spel).

• Klasse-ongelijkheid: De dataset is ernstig onbalans (86,7% Overig, 9,3% Object, 4,0% Locomotief).
• Modellen: Twee architecturen werden getest: een Multi-Layer Perceptron (MLP) op gemiddelde gepoolde kenmerken en een 1D-CNN om temporele signalen te behouden.
• Validatie: Een Leave-One-Cage-Out (LOCO) cross-validatiestrategie werd toegepast om lekkage van omgevingsfactoren te voorkomen, zodat het model generaliseert over verschillende fysieke hokken.

Belangrijkste resultaten

De studie werd geëvalueerd op een dataset van 30 opnames die 45 kruisingen van Rode Junglehoen × Witte Leghorn kuikens omvatten, geannoteerd in 14.515 vensters.

• Basisprestatie: Handgemaakte bewegingskenmerken alleen, verwerkt via een eenvoudige MLP, behaalden een macro-gemiddelde F1-score van 73,4, waarmee een sterke basis wordt gelegd zonder geleerde visuele representaties.
• Prestaties van fundamentele modellen: Onder bevroren backbones presteerde V-JEPA 2.1 consistent beter dan alle andere modellen (DINOv3, VideoPrism, V-JEPA 2) op zowel ViT-B- als ViT-L-schalen.
• Beste prestatie: De hybride aanpak die handgemaakte kenmerken combineert met embeddings van V-JEPA 2.1 (ViT-L) leverde de hoogste prestatie op: 77,0 macro-gemiddelde F1.
• Schaling: Het vergroten van de modelgrootte (bijv. van DINOv3 naar ViT-H) leverde minimale winst op, wat suggereert dat representaties voor dit specifieke domein vroeg verzadigen.
• Foutanalyse:
  • Het model had de meeste moeite met Objectspel (66,1% recall), waarbij dit vaak werd verward met "Overig".
  • Fouten werden gedreven door kinematische ambiguïteit (bijv. "wormen pikken" deelt bewegingsprofielen met niet-spel) en occlusie.
  • Tobben (een sub-type van locomotief spel) vormde een distinct cluster met hoge recall (88%), waarschijnlijk vanwege het unieke meervoudige bewegingspatroon.
  • Drukte had een aanzienlijke impact op de nauwkeurigheid van objectspel (Spearman $\rho = 0,17$).

Betekenis en claims

Het artikel claimt het eerste geautomatiseerde kader te bieden voor classificatie van speelgedrag op individueel niveau bij pluimvee. De belangrijkste bijdragen zijn:

1. Een robuuste trackingpijplijn: Uitbreiding van SAM 3 naar opnames van lange duur via YOLO-gestuurde chunking en adaptieve grounding, waarbij identiteit wordt gehandhaafd ondanks frequente occlusies.
2. Benchmarken van fundamentele modellen: Het vestigen van V-JEPA 2.1 als de superieure backbone voor classificatie van diergedrag, die beeldgebaseerde en andere videomodellen overtreft.
3. Inzicht in spelherkenning: Het aantonen dat hoewel bevroren videorepresentaties een complementair signaal bieden, handgemaakte kinematische en vormkenmerken alleen een sterke, interpreteerbare basis vormen (73,4 F1). Dit suggereert dat een groot deel van het taakrelevante signaal in pluimveespel wordt vastgelegd door bewegings- en nabijheidsstatistieken.

De auteurs concluderen dat hoewel de pijplijn bemoedigend bewijs biedt voor geautomatiseerde spel detectie, uitdagingen blijven bestaan met betrekking tot occlusie en de definitorische ambiguïteit van spelsubtypes. Zij merken op dat de huidige afhankelijkheid van handmatige nabewerking voor identiteitscorrectie een volledig autonome implementatie beperkt, wat suggereert dat toekomstig werk zich moet richten op domeinadaptief pretraining en verbeterde identiteitsmatching tussen chunks.