💻 computer science

Cattle-CLIP: A Multimodal Framework for Cattle Behaviour Recognition from Video

In dit artikel wordt Cattle-CLIP gepresenteerd, een multimodaal raamwerk dat koeien-gedragherkenning verbetert door cross-modale semantische uitlijning en tijdsintegratie toe te passen, ondersteund door het nieuwe CattleBehaviours6-dataset, wat leidt tot hoge nauwkeurigheid en robuuste generalisatie zelfs bij beperkte data.

Oorspronkelijke auteurs: Huimin Liu, Jing Gao, Daria Baran, AxelX Montout, Neill W Campbell, Andrew W Dowsey

Gepubliceerd 2026-04-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huimin Liu, Jing Gao, Daria Baran, AxelX Montout, Neill W Campbell, Andrew W Dowsey

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Cattle-CLIP: De Slimme Koeien-Detective

Stel je voor dat je een boer bent met honderden koeien op je boerderij. Je wilt weten of ze gezond zijn, of ze genoeg eten en of ze zich comfortabel voelen. Vroeger moest je urenlang naar de koeien kijken om te zien of ze rustig lagen, aan het kauwen waren of misschien ziek leken. Maar nu, in de tijd van slimme technologie, kunnen camera's dat voor ons doen.

Het probleem? Koeien doen soms raar dingen, en camera-beelden zijn vaak wazig, donker of vanuit vreemde hoeken. Een gewone computer die alleen naar plaatjes kijkt, raakt hierdoor snel in de war.

Hier komt Cattle-CLIP om de hoek kijken. Dit is een nieuw computerprogramma dat werkt als een super-detective die niet alleen kijkt, maar ook luistert.

Hoe werkt dit? (De Magie van de Vertaler)

Stel je voor dat je een computer wilt leren wat "kauwen" is.

De oude manier: Je laat de computer duizenden filmpjes zien en zegt: "Dit is kauwen, dit is kauwen, dit is kauwen." De computer probeert dan patronen te vinden, maar hij begrijpt niet echt wat kauwen is. Hij leert het uitwendig, net als een kind dat woorden uit zijn hoofd leert zonder de betekenis te snappen.
De Cattle-CLIP manier: Deze computer heeft een twee-oog-systeem.
1. Oog 1 (Visueel): Kijkt naar het filmpje van de koe.
2. Oog 2 (Taal): Leest een beschrijving, zoals "een foto van een koe die aan het kauwen is".

Het programma koppelt het beeld direct aan het woord. Het is alsof je een kind leert wat een "hond" is door niet alleen naar een hond te wijzen, maar ook hardop te zeggen: "Kijk, dat is een hond." Door deze koppeling te maken, begrijpt de computer de betekenis van het gedrag, niet alleen de vorm.

De Uitdagingen en Oplossingen

De onderzoekers van de Universiteit van Bristol hadden een paar lastige problemen op te lossen:

1. De "Koeien-Verstopping" (Data Problemen)
Op een boerderij zijn er niet duizenden perfecte filmpjes van koeien beschikbaar. Meestal zijn er maar een paar.

De Oplossing: Ze gebruikten een trucje genaamd "Few-Shot Learning" (leren met weinig voorbeelden). Stel je voor dat je al weet hoe een hond eruitziet. Als je nu een wolf ziet, hoef je niet alles opnieuw te leren; je weet al dat het een viervoeter is met een staart. Cattle-CLIP doet hetzelfde: het leert eerst goed gedrag van koeien (zoals staan en liggen) en gebruikt die kennis om zeldzame gedragingen (zoals specifieke vormen van kauwen) te herkennen, zelfs als er maar heel weinig filmpjes van zijn.

2. De "Vervormde Foto's" (Camera Hoeken)
Koeien bewegen, liggen, staan en de camera's hangen hoog. Soms is een koe half in het donker, soms staat hij schuin. Een gewone computer zou denken: "Oh, dit is geen koe, het is een vlek."

De Oplossing: Ze bedachten een slimme manier om de filmpjes te "schikken" (data augmentation). In plaats van het beeld zomaar af te knippen (waarbij je misschien de kop van de koe zou verliezen), vullen ze de lege plekken op zodat de koe heel blijft. Zo ziet de computer altijd de hele koe, ongeacht hoe raar de hoek is.

3. De "Verwarrende Woorden" (Taal)
De computer die ze gebruikten was getraind op internet-foto's. Als je het woord "ruminating" (wederkauwen) typt, denkt de computer misschien: "Oh, dat is 'ru', 'min' en 'ating'... wat is dat?" Het woord is voor de computer te ingewikkeld opgebouwd.

De Oplossing: Ze vertaalden de moeilijke woorden naar iets wat de computer beter begrijpt. In plaats van "ruminating" zeiden ze "chewing" (kauwen). Hierdoor kon de computer de link tussen het beeld van de kauwende koe en het woord veel sneller maken.

Het Resultaat: Een Nieuwe Koeien-Databank

Om dit alles te testen, maakten de onderzoekers een nieuwe, openbare databank genaamd CattleBehaviours6. Dit is een verzameling van bijna 2000 filmpjes van 200 koeien, waarbij elke seconde is getagd met wat de koe precies doet:

Eten
Drinken
Lopen
Rusten
Zich likken (grooming)
Wederkauwen

Waarom is dit belangrijk?

Dit systeem is als een 24-uurs gezondheidswachter voor koeien.

Als een koe ophoudt met eten of drinken, is dat vaak het eerste teken dat ze ziek is.
Als een koe niet goed kauwt, kan dat wijzen op maagproblemen.
Als een koe niet rustig ligt, kan ze stress hebben.

Met Cattle-CLIP kunnen boeren en dierenartsen deze signalen direct opvangen, nog voordat de koe echt ziek wordt. Het maakt de landbouw slimmer, zorgt voor gelukkiger koeien en helpt de boer om tijd en geld te besparen.

Kort samengevat:
Cattle-CLIP is een slimme computer die leert wat koeien doen door te kijken én te lezen. Door slimme trucjes met weinig data en betere taalbeschrijvingen, kan hij zelfs de moeilijkste koeien-gedragingen herkennen. Het is een grote stap richting een toekomst waar technologie boeren helpt om voor hun dieren te zorgen, zonder dat ze de hele dag hoeven te kijken.

Probleemstelling

Het herkennen van koeien-gedrag is cruciaal voor de gezondheid, productiviteit en het welzijn van vee. Echter, robuuste gedragsherkenning in echte landbouwomgevingen wordt gehinderd door twee hoofdproblemen:

Data-schaarste: Er is een gebrek aan goed geannoteerde videodatasets voor vee.
Domein-kloof (Domain Gap): Er bestaat een aanzienlijke discrepantie tussen de grote web-schale datasets (waarop modellen zoals CLIP zijn getraind) en de specifieke, vaak ongestructureerde surveillancebeelden van boerderijen (verschillende belichting, hoeken, achtergronden).

Bestaande methoden zijn vaak afhankelijk van contact-sensoren (die stress veroorzaken) of traditionele computer vision-technieken die moeite hebben met nuance en generalisatie bij beperkte data.

Methodologie: Cattle-CLIP

De auteurs stellen Cattle-CLIP voor, een multimodaal kader dat gedragsherkenning herformuleert als een probleem van cross-modale semantische uitlijning (visueel vs. tekstueel) in plaats van puur visuele classificatie.

Kerncomponenten:

Temporale Integratie:
- In plaats van alleen beelden te analyseren, integreert het model een lichtgewicht module voor tijdsintegratie.
- Het extrahert features van individuele frames met de CLIP-beeldencoder en voegt deze samen via average pooling om een consistente videorepresentatie te creëren. Dit is essentieel voor het vastleggen van subtiele, aanhoudende gedragingen.
Aangepaste Data Augmentatie:
- Standaard "random cropping" (willekeurig bijsnijden) is schadelijk voor koeienvideo's omdat het kritieke delen (zoals het hoofd en de bek) kan verwijderen, wat nodig is voor gedragsherkenning.
- Oplossing: De auteurs verwijderen de crop-stap en gebruiken in plaats daarvan een "fill"-strategie (het vullen van de randen) om het oorspronkelijke beeldverhouding (aspect ratio) te behouden voordat het wordt herschaald. Dit behoudt de structurele integriteit van de koe.
Domeinspecifieke Tekst-Prompts:
- De standaard CLIP-prompt ("een foto van een {categorie}") werkt niet optimaal voor specifieke diergedragingen omdat het model woorden als "ruminating" (herkauwen) in onzinnige subwoorden splitst (bijv. "ru", "min", "ating").
- Oplossing: De auteurs passen de prompts aan door "ruminating" te vervangen door "chewing" (kauwen), een term die het model semantisch beter begrijpt, terwijl andere termen behouden blijven. Dit verbetert de uitlijning tussen visuele en taalkundige representaties.
Base-to-Novel Few-Shot Learning Strategie:
- Om het probleem van schaarse data voor zeldzame gedragingen aan te pakken, gebruiken ze een twee-traps aanpak:
  - Fase 1: Trainen op een "base" dataset van goed vertegenwoordigde gedragingen.
  - Fase 2: Aanpassen aan een "novel" (schaars) gedrag met slechts enkele voorbeelden ( $n \in \{2, 4, 8, 16\}$ ).
- Replay Mechanisme: Om "catastrophic forgetting" (het vergeten van eerder geleerde gedragingen) te voorkomen, wordt tijdens de tweede fase een subset van de base-data herhaaldelijk getraind samen met de schaarse data.

Dataset: CattleBehaviours6

De auteurs hebben een nieuwe, gestandaardiseerde dataset gepubliceerd: CattleBehaviours6.

Omvang: 1905 geannoteerde videoclips van 200 Holstein-Friesian koeien.
Gedragingen: 6 basis-individuele gedragingen: feeding (eten), drinking (drinken), standing-self-grooming (staand zelf poetsen), standing-ruminating (staand herkauwen), lying-self-grooming (liggend zelf poetsen) en lying-ruminating (liggend herkauwen).
Kwaliteit: Inclusief een gestandaardiseerde ethogram-definitie om consistentie in annotatie te garanderen. De data omvat variatie in belichting (dag/nacht, regen/zon) en camerahoeken.

Resultaten

Het model werd getest in zowel volledig toezicht (fully-supervised) als few-shot scenario's.

Fully-Supervised Performance:
- Cattle-CLIP bereikte een totale nauwkeurigheid van 96,1% over de zes gedragingen.
- Het presteerde bijna perfect bij feeding, drinking en standing-ruminating (hoge recall en precisie).
- Er was enige verwarring tussen lying-self-grooming en lying-ruminating, waarschijnlijk door de beperkte capaciteit om zeer fijne temporale details te onderscheiden met de huidige simple pooling-methode.
- Vergelijking: Cattle-CLIP (96,1%) presteerde significant beter dan state-of-the-art baselines zoals Video-Swin (93,2%), X-CLIP (93,9%) en EVL (91,1%).
Few-Shot Learning (Data-schaarste):
- In scenario's met zeer weinig data (bijv. slechts 2 voorbeelden per nieuwe klasse) bleek de twee-traps strategie met replay superieur aan een één-traps baseline.
- De Cattle-CLIP-modellen behielden hun vermogen om zowel de oude (base) als de nieuwe (novel) gedragingen te herkennen, terwijl één-traps modellen vaak faalden of zwaar overfitte op de base-gedragingen.
- De recall voor zeldzame gedragingen was aanzienlijk hoger bij de Cattle-CLIP aanpak, wat cruciaal is voor het detecteren van zeldzame gezondheidsproblemen.

Bijdragen en Significantie

Technische Innovatie: Het paper demonstreert dat het aanpassen van Vision-Language Models (VLMs) met domeinspecifieke augmentaties en prompts zeer effectief is voor landbouwtoepassingen, zelfs met beperkte data.
Praktische Toepasbaarheid: De methode lost het probleem van "catastrophic forgetting" op bij het toevoegen van nieuwe gedragingen, wat essentieel is voor boeren die nieuwe monitoringdoelen willen stellen zonder alles opnieuw te hoeven trainen.
Open Science: De publicatie van de CattleBehaviours6-dataset met een gestandaardiseerd ethogram biedt een cruciale benchmark voor de gemeenschap, aangezien openbare datasets voor koeiengedrag beperkt zijn.
Toekomstperspectief: Het werk legt de basis voor schaalbare, niet-invasieve monitoringssystemen die bijdragen aan precisie-veehouderij, dierenwelzijn en duurzaamheid.

Kortom, Cattle-CLIP bewijst dat multimodale learning, gecombineerd met slimme aanpassingen voor de landbouwcontext, een krachtige oplossing biedt voor de uitdagingen van datalimiet en domeinverschil in de veehouderij.