FSMC-Pose: Frequency and Spatial Fusion with Multiscale Self-calibration for Cattle Mounting Pose Estimation

Dit artikel introduceert FSMC-Pose, een efficiënt top-down framework dat frequentie- en ruimtelijke fusie combineert met multiscale zelfkalibratie om de houding van koeien tijdens het dekkingen nauwkeurig te schatten in complexe omgevingen, ondersteund door een nieuw dataset genaamd MOUNT-Cattle.

De kern

Stel je voor dat je op een drukke koeienboerderij staat. Het is een chaos: koeien lopen overal, ze staan dicht op elkaar, en soms blokkeren ze elkaar volledig. De boer wil weten: "Is deze koe in de bronst?" (dat is het moment waarop ze zich voortplant). De beste manier om dit te zien, is als een koe op een andere springt. Dat is een heel duidelijk signaal.

Maar voor een computer is dit een nachtmerrie. De achtergrond is modderig, de koeien hebben vaak hetzelfde patroon op hun vacht, en hun poten raken elkaar. Voor een gewone camera is het alsof je probeert een specifiek persoon te vinden in een dichte menigte terwijl iedereen dezelfde jas draagt en je door een modderig raam kijkt.

FSMC-Pose is de slimme oplossing die de onderzoekers hebben bedacht om dit probleem op te lossen. Laten we het uitleggen met een paar simpele metaforen:

1. De "Super-Bril" (CattleMountNet)

Stel je voor dat de computer een bril opzet die de wereld anders ziet dan wij.

• Het probleem: In de stal is het vaak donker, modderig en wazig. Een koe lijkt op de muur.
• De oplossing (SFEBlock): De onderzoekers hebben een speciale "lens" bedacht die werkt als een geluidsdemper in een drukke club. Hij filtert het "ruis" (de modder en de achtergrond) eruit en laat alleen de scherpe randen van de koe over. Het is alsof je een foto maakt en de achtergrond zwart maakt, zodat je alleen de koe ziet.
• Het probleem: Koeien hebben kleine hoeven en grote ruggepartijen. Een camera die goed is op kleine details, ziet de grote rug niet goed, en andersom.
• De oplossing (RABlock): Dit werkt als een zoomlens die tegelijkertijd in- en uitzoomt. Het kijkt naar de hele koe én naar de kleine gewrichten tegelijk. Zo mist de computer geen enkel detail, of het nu een grote rug of een klein hoefje is.

2. De "Diplomaat" (SC2Head)

Stel je voor dat twee koeien elkaar omhelzen (of in dit geval, één springt op de ander). Hun poten raken elkaar. Een gewone computer denkt dan: "Oh, dat is één lange koe met 20 poten!" en raakt in de war.

• De oplossing: De "dipomaat" in het systeem kijkt niet alleen naar de vorm, maar ook naar de ruimte en de kleur. Hij zegt: "Wacht even, die poot hoort bij koe A, en die hoort bij koe B, zelfs als ze elkaar raken." Hij corrigeert de computer als deze denkt dat de poten van de ene koe bij de andere horen. Hij zorgt ervoor dat het skelet van de koeien netjes en logisch blijft, zelfs in de grootste chaos.

3. De "Snelle Sportwagen"

Veel slimme camera-systemen zijn als een zware vrachtwagen: ze zijn sterk, maar ze zijn traag en verbruiken veel brandstof. Boeren hebben geen tijd om te wachten; ze hebben een systeem dat direct werkt.

• FSMC-Pose is als een sportieve elektrische auto. Hij is extreem licht (zeer weinig "gewicht" in de computer), maar hij is razendsnel.
• Terwijl andere systemen misschien 10 keer zo zwaar zijn en langzamer rekenen, doet FSMC-Pose het werk in een flits. Het is snel genoeg om op een simpele, goedkope computer (zoals in een boerenschuur) te draaien zonder vast te lopen.

Wat hebben ze gedaan?

De onderzoekers hebben niet alleen een slimme computer bedacht, maar ook een nieuwe "schoolboek" (dataset) gemaakt. Ze hebben duizenden foto's van springende koeien gemaakt en handmatig de poten en gewrichten getekend. Dit is het eerste keer dat er zo'n specifieke verzameling is voor dit probleem. Ze hebben dit boekje gebruikt om hun "sportauto" te trainen.

Het Resultaat

Het systeem werkt beter dan alle andere methoden die er nu zijn. Het ziet de koeien scherp, zelfs als ze elkaar blokkeren, en het doet dit zo snel dat het in het echt gebruikt kan worden.

Kortom: FSMC-Pose is een slimme, snelle en lichte computerhulp die boeren helpt om te zien welke koeien klaar zijn voor een gezin, zelfs als de stal eruitziet als een drukke, modderige menigte. Het is alsof je een superheld hebt die door de chaos heen kan kijken en precies weet wie wie is.

Technische samenvatting

Probleemstelling

Het nauwkeurig identificeren van de oestrus (bronst) bij melkvee is cruciaal voor de dierlijke welzijn, reproductieve efficiëntie en de winstgevendheid van de veestapel. Het beste visuele signaal voor oestrus is het "dekact" (mounting), waarbij een koe op een andere springt. Hoewel dit gedrag intuïtief is voor mensen, is het automatisch detecteren ervan in real-world omgevingen extreem uitdagend vanwege:

• Gedrukte omgevingen: In de stal staan koeien vaak dicht op elkaar, wat leidt tot ernstige onderlinge verduistering (occlusie).
• Verwarrende achtergronden: Modder, schaduwen en vergelijkbare vachtpatronen zorgen voor lage contrasten en maken het moeilijk om individuele koeien van de achtergrond te onderscheiden.
• Beperkte datasets: Er bestond tot nu toe geen openbare dataset specifiek gericht op dekact, wat onderzoek in dit domein belemmerde.
• Rekenkracht: Bestaande methoden zijn vaak te zwaar voor real-time monitoring op goedkope hardware, of ze falen bij complexe, dichte scenario's.

Methodologie: FSMC-Pose

De auteurs stellen FSMC-Pose voor, een lichtgewicht "top-down" framework dat bestaat uit een nieuw ruggegraatsnetwerk (CattleMountNet) en een verbeterde hoofdmodule voor positie-schatting (SC2Head).

1. CattleMountNet (Backbone)

Dit is een lichtgewicht netwerk gebaseerd op MobileNet en inverted residual structuren, verrijkt met twee specifieke blokken:

• SFEBlock (Spatial Frequency Enhancement Block):
  • Doel: Het verbeteren van de scheiding tussen koe en achtergrond in omgevingen met lage contrasten.
  • Techniek: Het combineert Wavelet Transform Convolutie (WTConv) met Gaussische filtering. De wavelet-transformatie analyseert het beeld in verschillende frequentiebanden om structurele details te behouden, terwijl de Gaussische filter ruis en achtergrondinterferentie onderdrukt. Dit helpt bij het accentueren van de contouren van de koe.
• RABlock (Receptive Aggregation Block):
  • Doel: Het vastleggen van context op meerdere schalen, aangezien dekact zowel kleine gewrichten (hoeven) als grote lichaamsdelen (rug) omvat.
  • Techniek: Het gebruikt parallelle dieptewijze convoluties (depthwise convolutions) met verschillende dilatatie-rates (1, 3 en 5). Hierdoor kan het netwerk tegelijkertijd lokale details en langere contextuele relaties vastleggen zonder de rekenkosten te verhogen.

2. SC2Head (Multiscale Self-calibration Head)

Om structurele misaligneringen te corrigeren wanneer koeien elkaar overlappen, introduceert de auteurs een zelfkalibrerende kop:

• Spatial Attention Branch (SAB): Focus op ruimtelijke afhankelijkheden om belangrijke lichaamsdelen te lokaliseren.
• Channel Attention Branch (CAB): Focus op kanaal-afhankelijkheden om de meest informatieve features te selecteren.
• Self-Calibration Branch (SCB): Een extra tak die lange-afstandsafhankelijkheden modelleert en structurele verschuivingen corrigeert die ontstaan door overlapping.
• De output combineert deze attention-mechanismen met een coördinaat-regressiestrategie voor nauwkeurige keypoint-predicatie.

Dataset: MOUNT-Cattle

Een belangrijke bijdrage is het creëren van de MOUNT-Cattle dataset:

• Oorsprong: Opgenomen in een commercieel melkveebedrijf in Beijing (juli-augustus 2024) met IR-camera's en 4K camcorders.
• Inhoud: Bevat 1.176 hoogwaardige annotaties van dekact-incidenten.
• Specificaties: Volgt het COCO-formaat met 16 keypointen (inclusief kop, nek, rug, staart en poten).
• Benchmark: Gecombineerd met de bestaande NWAFU-Cattle dataset voor een uitgebreide trainings- en testset (80/10/10 splits).

Resultaten

FSMC-Pose werd getest tegen sterke baselines (zoals RTMPose, SimCC, DEKR, CID) op de gecombineerde dataset.

• Nauwkeurigheid:
  • Bereikte een AP (Average Precision) van 89,0%, wat een verbetering is van 1,4% ten opzichte van de beste baseline (RTMPose).
  • AP75 (hoogere precisie) steeg met 3,0% naar 92,5%.
  • AR75 (recall bij hoge precisie) bereikte 93,1%.
• Efficiëntie:
  • Het model is extreem lichtgewicht: slechts 2,698 miljoen parameters (een reductie van 80% ten opzichte van RTMPose).
  • Rekenkosten: 0,354 GFLOPS (vergeleken met >1 GFLOP bij concurrenten).
  • Snelheid: Haalt 216,58 FPS op commodity GPU's, wat real-time monitoring mogelijk maakt.
• Kwalitatieve resultaten: In visuele tests presteerde FSMC-Pose aanzienlijk beter bij zware occlusie en lage contrasten, waarbij het coherent skeletten behield terwijl andere modellen keypointen misten of verwisselden.

Bijdrage en Significantie

1. Eerste gespecialiseerde oplossing: Dit is een van de eerste werken dat zich specifiek richt op het schatten van dekact bij koeien, een complex scenario dat vaak wordt genegeerd in algemene dierlijke pose-schatting.
2. Nieuwe Dataset: De publicatie van MOUNT-Cattle vult een kritiek gat in de landbouw-CV-datasets en stelt onderzoekers in staat om modellen te trainen voor specifieke landbouwscenario's.
3. Efficiëntie-Nauwkeurigheid Trade-off: Het bewijst dat het mogelijk is om state-of-the-art nauwkeurigheid te bereiken met een fractie van de rekenkracht, wat essentieel is voor implementatie op randapparatuur (edge devices) in de precisielandbouw.
4. Technische Innovatie: De combinatie van frequentie-spatiale fusie (SFEBlock) en multiscale zelfkalibratie (SC2Head) biedt een nieuwe richting voor het omgaan met verduistering en complexe achtergronden in dichte menigten.

Conclusie: FSMC-Pose biedt een robuuste, real-time oplossing voor het automatisch monitoren van koeien-oestrus, wat kan leiden tot verbeterde dierlijke gezondheid, lagere arbeidskosten en een efficiëntere melkveehouderij. De code en dataset zijn beschikbaar via GitHub.