When One Modality Is Not Enough: Multimodal Sex and Life-Stage Classification of Red Deer from Aerial RGB-Thermal Video

Stel je voor dat je een wildlifedetectief bent die een mysterie probeert op te lossen in een gigantische, levende puzzel. Je taak is niet alleen om te tellen hoeveel dieren er in een bos zijn; je moet weten wie ze zijn. Zijn het de grote vaders met gewei? De moeders? Of de piepkleine, snelgroeiende baby's? Dit is de dagelijkse uitdaging voor natuurbeheerders die een kudde gezond willen houden. Maar hier komt de crux bij: bossen zijn verraderlijk. Bomen werpen schaduwen die dieren verbergen, en de grond kan precies lijken op het bont van een hert. Om dit op te lossen, gebruiken wetenschappers drones die hoog boven de grond vliegen, uitgerust met twee verschillende soorten "ogen". Eén oog ziet de wereld in kleur, zoals een mens (RGB), en het andere oog ziet de wereld in warmte, zoals een nachtzichtcamera (thermisch). Het probleem is dat geen van beide ogen op zichzelf perfect is. Het kleurenoog raakt in de war door schaduw, terwijl het warmteoog een heldere, wazige vlek ziet die alle kleine details verliest die nodig zijn om een vader van een moeder te onderscheiden. Dit artikel onderzoekt een slimme truc: wat als we niet hoeven te kiezen tussen de twee ogen, maar ze als een superteam samen laten werken?

De onderzoekers achter deze studie besloten dit idee te testen op edelherten, de majestueuze dieren met het grote gewei. Ze wilden zien of ze een computersysteem konden bouwen dat een drone over een bos laat vliegen, elk individueel hert opspoort, en vervolgens automatisch de soort, het geslacht en de leeftijd bepaalt. De grote vraag was: kon het combineren van de kleur- en de warmtecamera een "supervisie" creëren die beter is dan één van beide alleen, vooral wanneer de seizoenen veranderen en de aanwijzingen daarmee mee veranderen?

De twee ogen die verschillende werelden zien

Beschouw de camera's van de drone als twee detectives met zeer verschillende vaardigheden. De Kleurdetective (RGB) is geweldig in het opmerken van details zoals de vorm van gewei of het patroon van het bont, maar wordt gemakkelijk verblind door schaduw. Als een hert onder een boom schuilt, ziet de Kleurdetective niets anders dan een donkere vlek bladeren. De Warmtedetective (thermisch) ziet daarentegen warmte. Het geeft niets om schaduw; een hert dat in het donker staat, is een heldere, gloeiende ster voor deze detective. De Warmtedetective is echter een beetje onhandig met details. Het ziet het hert als een wazige, heldere vlek. Het kan niet gemakkelijk zien of die vlek wel of geen gewei heeft, en soms raakt het in de war door warme rotsen of de grond.

De onderzoekers ontdekten dat deze twee detectives op tegenovergestelde manieren falen. In de zomer, wanneer het gewei van een mannelijk hert zacht is en bedekt is met een pluizig "fluweel", is het warm. De Warmtedetective kan zien dat ze gloeien, maar de Kleurdetective kan ze missen als het hert in de schaduw staat. In de herfst wordt het gewei hard en koelt het af. Nu ziet de Warmtedetective niets bijzonders aan het gewei, maar de Kleurdetective kan de harde, benige vorm duidelijk zien. Als je slechts één detective zou hebben, zou je de helft van de aanwijzingen missen, afhankelijk van de tijd van het jaar.

De Samenwerkingsstrategie

In plaats van slechts één detective te vertrouwen, bouwde het team een pijplijn waarbij de twee camera's bij elke stap samenwerken. Ze hebben de plaatjes niet simpelweg gemengd; ze lieten de computers met elkaar "praten" met behulp van een speciale taal genaamd DINOv3-kenmerken. Denk hierbij aan een gedeeld schrift waarin beide detectives opschrijven wat ze zien, en de computer controleert of hun verhalen overeenkomen.

Zo werkt hun systeem, stap voor stap:

1. De Dubbelcheck: Het systeem telt een hert pas als "echt" als beide camera's het zien. Als de Kleurcamera een vlek ziet maar de Warmtecamera niets ziet, gaat het systeem ervan uit dat het slechts een vreemde schaduw of een rots is, en geen hert. Dit voorkomt dat het systeem valse dieren telt.
2. De Filter: Niet elke foto van een hert is goed. Sommige zijn wazig, sommige zijn bedekt door bladeren, en sommige zijn gewoon te ver weg. Het systeem werkt als een strenge redacteur die de slechte beelden waarbij de aanwijzingen ontbreken, weggoowt. Het gooit niet het hert weg; het gooit alleen de slechte foto's van dat hert weg.
3. De Stemming: Voor de herten die de filter hebben overleefd, bekijkt het systeem alle goede foto's en neemt een stemming af. Als een mannelijk hert in 10 foto's te zien is en 6 daarvan tonen duidelijk gewei, stemt het systeem "Mannelijk". Zelfs als 4 foto's eruitzien als een vrouwtje omdat het gewei verborgen was, wint de stemming.
4. De Groottecontrole: Om een jong hert (juveniel) van een volwassen vrouwtje te onderscheiden, meet het systeem de grootte van het hert. Omdat de drone op een constante hoogte vliegt, zal een jong hert veel kleiner lijken op de foto dan een volwassen dier. Het systeem gebruikt dit verschil in grootte om de jongen te spotten.

De Resultaten: Een Team dat Wint

Het team testte hun systeem tijdens vier verschillende dronevluchten over een bos in Oostenrijk. Ze hadden een geheim "antwoordmodel" van mensen op de grond die precies wisten welke herten daar waren en wat ze waren.

De resultaten waren indrukwekkend. Wanneer ze alleen de Kleurcamera of alleen de Warmtecamera gebruikten, hadden ze het geslacht correct bij ongeveer 20 van de 26 herten. Maar wanneer ze de twee combineerden? Dan hadden ze het geslacht correct bij 25 van de 26 herten. Dat is een succespercentage van 96,0% voor het identificeren van de soort, en de fusie van de twee sensoren maakte de identificatie van het geslacht veel betrouwbaarder over de verschillende seizoenen heen.

Het systeem was bijzonder goed in het afhandelen van de "lastige" gevallen. Er waren bijvoorbeeld drie mannelijke herten die beide camera's ze als vrouwtjes aanzagen omdat de aanwijzingen verborgen waren. Maar omdat het systeem naar het gecombineerde bewijs keek, realiseerde het zich: "Wacht, de Warmtecamera zag hier een warme plek, en de Kleurcamera zag daar een vorm," en identificeerde ze correct als mannelijk.

Waarom dit Belangrijk is

Dit artikel laat zien dat we niet hoeven te kiezen tussen een kleurcamera en een warmtecamera. Door ze te fuseren, kunnen we een telling creëren die slimmer is dan een simpele hoofdtelling. In plaats van alleen te zeggen: "Er zijn 50 herten," kan een dronevlucht nu zeggen: "Er zijn 50 herten: 15 vaders, 30 moeders en 5 baby's."

Dit is een grote zaak voor natuurbeheerders. Op dit moment vereist het verkrijgen van dit soort gedetailleerde informatie vaak dat mensen handmatig foto's bekijken, wat veel tijd kost en niet voor elke vlucht kan worden gedaan. Deze nieuwe methode automatiseert het proces, waardoor een eenvoudige telling verandert in een gedetailleerd rapport over de gezondheid van de kudde. Het bewijst dat wanneer één manier van de wereld zien niet genoeg is, het combineren van verschillende perspectieven het volledige beeld kan onthullen, zelfs wanneer de dieren zich in de schaduw verschuilen of de seizoenen veranderen. Het systeem is niet perfect – het worstelt nog steeds een beetje met zeer kleine herten of wanneer de drone te hoog vliegt – maar het laat zien dat met de juiste teamwork, we het verhaal van een bos vanuit de lucht kunnen lezen.