Automated bird flight pattern extraction and classification using machine learning

Dit artikel presenteert een nieuwe, kosteneffectieve machine learning-aanpak die vogelvluchtpatronen gebruikt om soorten te classificeren, waardoor grootschalig monitoring mogelijk wordt zonder dure apparatuur.

De kern

🦅 De "Vluchtdans" van Vogels: Een nieuwe manier om ze te tellen

Stel je voor dat je in een druk park staat en je ziet een vogel voorbijvliegen. Voor ons is het vaak lastig om te zeggen: "Oh, dat is een havik!" of "Dat is een kiekendief!", vooral als de vogel ver weg is, snel beweegt of de zon in je ogen schijnt.

Wetenschappers Milica en Sarab van de Imperial College London hebben een slimme oplossing bedacht. In plaats van te proberen de vogel op een foto te herkennen (wat moeilijk is als hij klein is), kijken ze naar hoe hij vliegt. Het is alsof je iemand niet herkent door zijn gezicht, maar door zijn dansstijl.

🎯 Het probleem: De "Scherpe Foto" is duur

Normaal gesproken gebruiken camera's of radar om vogels te tellen.

• Foto's: Om een vogel op een foto te herkennen, heb je een dure, superkrachtige camera nodig die heel dichtbij kan zoomen. Als de vogel ver weg is of zijn vleugels verbergt, is de foto wazig en weet de computer niet wat het is.
• Radar: Radar kan vogels zien, maar verward ze soms met insecten of regen. En vogels die langzaam glijden (zoals grote roofvogels) zijn voor radar soms onzichtbaar omdat ze niet met hun vleugels slaan.

💡 De oplossing: Kijk naar de "danspasjes"

De onderzoekers hebben een nieuw systeem bedacht dat werkt met gewone, goedkope camera's (zoals die op je telefoon of een webcam). Ze kijken niet naar de vogel zelf, maar naar het ritme van zijn vleugels.

Stel je voor dat elke vogelsoort een eigen dansstijl heeft:

1. De Rode Kiekendief (Red Kite): Een grote vogel met brede vleugels. Hij "danst" langzaam en glijdt vaak. Hij slaat niet veel met zijn vleugels, maar laat de wind hem dragen.
2. De Kerkuil (Kestrel): Een kleinere jager die vaak stil in de lucht hangt (hoveren). Hij slaat razendsnel met zijn vleugels, alsof hij een trillende machine is.
3. De Zilverplev (Black-Headed Gull): Een middelgrote vogel met puntige vleugels. Hij heeft een rustig, regelmatig ritme, perfect voor langdurig vliegen.
4. De Sperwer (Sparrowhawk): Een snelle jager. Hij wisselt snel af tussen kort glijden en heel snel fladderen.

Het systeem van de onderzoekers is een digitale dansleraar. Het kijkt naar een video, telt hoe vaak de vogel zijn vleugels omhoog en omlaag beweegt, en meet hoe lang hij glijdt. Vervolgens vergelijkt het dit ritme met een database van bekende "dansstijlen" om te zeggen: "Aha! Dit ritje hoort bij een Kerkuil!"

🤖 Hoe werkt het? (De drie stappen)

Het systeem werkt in drie simpele stappen, net als een team van drie detectives:

1. Detective 1 (De Wacht): Deze kijkt naar de video en zegt: "Is er hier een vogel?" of "Is het gewoon een wazige lucht?". Hij filtert alles weg wat geen vogel is (zoals vliegtuigen of drones).
2. Detective 2 (De Dansleraar): Zodra hij een vogel ziet, kijkt hij naar elke frame van de video. Hij zegt: "Zie ik nu een omlaagslag (downstroke) of een omhoogslag (upstroke)?". Hij maakt een lijstje van het ritme: omlaag, omlaag, omhoog, glijden, omlaag...
3. Detective 3 (De Expert): Deze kijkt naar het ritme dat Detective 2 heeft gemaakt. Hij zegt: "Dit ritme van 3 slagen per seconde en 2 seconden glijden? Dat is 100% een Rode Kiekendief!"

📊 Wat is het resultaat?

Het systeem werkt goed, maar is nog niet perfect.

• Het kan vier soorten vogels onderscheiden.
• Het werkt zelfs met beelden waar de vogel klein is (zoals een stipje op een scherm).
• De "Rode Kiekendief" werd het beste herkend (77% van de keren goed).
• De "Sperwer" was wat lastiger (26% goed), waarschijnlijk omdat er te weinig voorbeelden van waren om het systeem te leren.

🚀 Waarom is dit geweldig?

• Goedkoop: Je hebt geen dure, professionele camera's nodig. Een simpele webcam volstaat.
• Groot bereik: Je kunt vogels zien die ver weg zijn, zolang je maar kunt zien hoe ze bewegen.
• Toekomst: Dit kan helpen bij het beschermen van vogels. Bijvoorbeeld: als windmolens vogels kunnen raken, kan dit systeem zeggen "Oh, dat is een zeldzame roofvogel, laat de turbine even stil staan!" zonder dat er dure apparatuur nodig is.

Kortom: De onderzoekers hebben bewezen dat je vogels niet hoeft te zien om ze te herkennen. Als je alleen maar naar hun dansstijl (hun vluchtritme) kijkt, kun je ze alsnog herkennen, zelfs met een goedkope camera. Het is alsof je een vriend herkent aan zijn loopstijl, zelfs als je hem alleen van ver ziet en niet zijn gezicht kunt zien.

Technische samenvatting

Probleemstelling

De wereldwijke vogelpopulaties nemen af door antropogene druk, wat betrouwbare monitoring essentieel maakt voor behoudsinspanningen. Bestaande methoden voor automatische vogelmonitoring hebben echter aanzienlijke beperkingen:

• Beeldgebaseerde classificatie: Vereist hoge resolutie en close-up beelden om fijne details te zien. Dit is in de praktijk moeilijk te realiseren door obstructies, slechte belichting en de hoge kosten van kwaliteitscamera's.
• Radar- en videobasede systemen: Radar kan vliegpatronen (fladderen) detecteren, maar mist vogels die glijden (zoals grote roofvogels) en verward wordt met andere objecten (insecten, weer). Videobasede systemen die vliegpatronen analyseren, vereisen vaak dure apparatuur (zoals teleobjectieven) en hebben beperkingen wat betreft het hoekbereik ten opzichte van de vogel.

Er is een behoefte aan een kosteneffectieve methode die vogelsoorten kan identificeren op basis van hun vliegpatroon (fladderen en glijden) zonder afhankelijk te zijn van hoge resolutie beelden of dure hardware.

Methodologie

De auteurs presenteren een nieuw, proof-of-concept systeem dat gebruikmaakt van goedkope videomateriaal en machine learning om vliegpatronen te extraheren en te classificeren. De aanpak bestaat uit drie hoofdmodellen (M1, M2, M3) in een pijplijn:

1. Bird Detection (M1):

   • Een vooraf getraind objectdetectiemodel (Single Shot MultiBox Detector / SSD op ResNet-50) wordt gebruikt om frames te identificeren waarin een vogel aanwezig is.
   • Het model is getraind op de COCO-dataset en aangepast om alleen "vogel" vs. "niet-vogel" te onderscheiden.
   • Om vals-positieven van andere vliegende objecten (vliegtuigen, drones) te filteren, wordt een drempelwaarde van 0,1 gebruikt.

2. Action Classification (M2):

   • Een aangepast objectdetectiemodel (ResNet-50, getraind met transfer learning) classificeert de beweging van de vogel in elk frame met een vogel.
   • De klassen zijn: Upstroke (opwaartse slag, vleugels gebogen), Downstroke (neerwaartse slag, vleugels gespreid) of Non (geen duidelijke beweging/achtergrond).
   • Het model is getraind op datasets van NABirds en iNaturalist 2019.

3. Flight Pattern Generation & Feature Extraction:

   • De output van M2 wordt omgezet in een tijdsreeks van labels.
   • Een deterministisch algoritme analyseert deze reeks om overgangen (switching points) tussen op- en neerslagen te vinden.
   • Het algoritme onderscheidt fladderende secties (snelle wisseling) van glijdende secties (langere perioden zonder wisseling).
   • Er worden specifieke kenmerken (features) gegenereerd, zoals: gemiddelde fladdertijd, gemiddelde glijdtijd, verhouding fladderen/glijden, en tijdsduur van op- en neerslagen.

4. Species Classification (M3):

   • Een Random Forest Classifier gebruikt de gegenereerde kenmerken om de vogelsoort te voorspellen.
   • De studie focust op vier soorten die verschillende vliegpatronen vertegenwoordigen: Rode Kiekendief (Red Kite), Kestrel, Zwartkopmeeuw (Black-Headed Gull) en Sperwer (Sparrowhawk).

Datasets:
De modellen zijn getraind en getest op een combinatie van openbare datasets (NABirds, iNaturalist, CUB-200-2011) en video's van de Macaulay Library. Er is gebruikgemaakt van cross-validatie (Group Shuffle Split) om data-lekkage tussen trainings- en testsets te voorkomen.

Belangrijkste Bijdragen

• Nieuwe aanpak: Een methode die vliegmechanica (fladderen vs. glijden) gebruikt voor soortclassificatie in plaats van visuele uiterlijke kenmerken.
• Kosteneffectiviteit: Het systeem werkt met goedkope, niet-specialistische camera's en vereist geen hoge resolutie of close-up beelden.
• Inclusiviteit: In tegenstelling tot radar-systemen die vaak falen bij glijdende vogels, kan deze methode zowel fladderende als glijdende bewegingen detecteren en analyseren.
• Openbaarheid: De code en labels zijn openbaar beschikbaar gesteld via Zenodo.

Resultaten

• Detectie (M1 & M2): De combinatie van M1 en M2 levert een hoge specificiteit (0,9795) op, wat betekent dat er weinig vals-positieven zijn (andere vliegende objecten worden goed geweerd). De recall (83,82%) is iets lager dan bij M1 alleen, maar dit is een bewuste afweging om de nauwkeurigheid te verhogen.
• Actieclassificatie (M2): Het model bereikte een nauwkeurigheid van 0,7435 op de testset en 0,8075 op de full-frame dataset. Het kan onderscheid maken tussen op- en neerslagen, zelfs bij lagere resolutie.
• Soortclassificatie (M3):
  • De balansnauwkeurigheid (balanced accuracy) is 0,5583.
  • Recall varieert per soort: Rode Kiekendief (0,7750), Kestrel (0,6047), Zwartkopmeeuw (0,5897) en Sperwer (0,2640).
  • Precisie varieert van 0,4583 (Sperwer) tot 0,5962 (Rode Kiekendief).
  • De slechte prestaties van de Sperwer worden toegeschreven aan een gebrek aan variatie in de trainingsdata (overfitting), aangezien er maar 7 video's beschikbaar waren vergeleken met 40 voor de Rode Kiekendief.
  • Als de Sperwer wordt uitgesloten, stijgt de algehele nauwkeurigheid naar 0,7354.

Betekenis en Toekomstperspectief

De studie toont aan dat het analyseren van vliegpatronen een haalbare en kosteneffectieve route is voor grootschalige vogelmonitoring.

• Toepassingen: Het systeem kan worden ingezet voor het voorkomen van vogelaanvaringen met windturbines (waar vogels vaak klein in beeld zijn), het monitoren van het gedrag van wilde of gevangenhoudende vogels, en het detecteren van blessures bij vogels door afwijkingen in hun vliegpatroon.
• Beperkingen: De huidige verwerkingstijd is hoog (ca. 4 minuten voor een 5-seconde clip), wat schaalbaarheid beperkt. Toekomstig werk moet zich richten op modelcompressie (pruning, quantization) en het trainen op grotere, meer diverse datasets om de prestaties voor minder voorkomende soorten te verbeteren.

Concluderend biedt deze methode een waardevolle aanvulling op bestaande monitoringssystemen, waardoor soortspecifieke inzichten mogelijk worden op een schaal en tegen kosten die eerder niet haalbaar waren.