Fusion or Confusion? Assessing the impact of visible-thermal image fusion for automated wildlife detection

Technische Samenvatting: Fusie of Verwarring? De impact van zichtbaar-thermische beeldfusie beoordelen voor automatische detectie van wilde dieren

Probleemstelling
Effectieve monitoring van wilde dieren is cruciaal voor het behoud van de biodiversiteit, maar conventionele methoden (directe observatie, cameravallen) kampen met beperkingen wat betreft toegankelijkheid, waarnemersbias en efficiëntie. Hoewel luchtbeelden met behulp van zichtbare (VIS) sensoren gecombineerd met deep learning een veelbelovend alternatief bieden, schiet het vertrouwen op één enkele sensormodaliteit vaak tekort bij het detecteren van cryptische soorten of het onderscheiden van doelwitten van complexe achtergronden. Thermische infrarood (TIR) beelden bieden complementaire informatie, met name voor het detecteren van warmtesignaturen, maar lijden aan een lagere ruimtelijke resolutie en een ander gezichtsveld (FOV) vergeleken met VIS-sensoren.

De kernuitdaging die in deze studie wordt aangepakt, is de moeilijkheid van het uitlijnen en fuseren van VIS- en TIR-gegevens voor automatische detectie. Misalignement door verschillende FOV's en resoluties kan de prestaties van modellen verslechteren. Bovendien zijn vroege fusie (het combineren van beelden op inputniveau) en late fusie (het combineren van modeloutputs) bekende concepten, maar is er een gebrek aan gepubliceerde onderzoeken die deze specifieke methoden vergelijken op synchrone lucht-VIS-TIR beelden voor de detectie van wilde dieren, met name met behulp van de nieuwste objectdetectiemodellen.

Methodologie
De auteurs voerden een casestudy uit die zich richtte op de Blauwe Reiger (Ardea herodias) en hun nesten in zes reigerkolonies in Quebec, Canada. Gegevens werden verzameld met een DJI Matrice 300 drone uitgerust met een Zenmuse H20T sensor, waarbij synchrone VIS (4056 × 3040 pixels) en TIR (640 × 512 pixels) beelden werden vastgelegd.

De methodologie bestond uit drie primaire fasen:

1. Afbeelding uitlijning: Vanwege het aanzienlijke verschil in FOV (VIS is ~5x groter dan TIR) werden de VIS-beelden gecentreerd bijgesneden. Een op deep learning gebaseerd framework voor kenmerkovereenkomst, LightGlue, werd ingezet om VIS-TIR paren automatisch uit te lijnen. Paren met onvoldoende kenmerken (≤45) of een hoge uitlijnfout (>68 px) werden verworpen, wat resulteerde in een definitieve dataset van 755 uitgelijnde beeldparen.
2. Annotatie: Objecten werden gelabeld met bounding boxes. In VIS-beelden omvatten de klassen "bezet nest", "leeg nest" en "geïsoleerd individu". In TIR-beelden, waar nesten zelden zichtbaar zijn, werden alle reigers (zowel geïsoleerd als in nesten) gelabeld als een enkele klasse "reiger".
3. Modeltraining en Fusiestrategieën: De studie maakte gebruik van YOLO11n, de nieuwste YOLO-architectuur op het moment van analyse. Drie benaderingen werden vergeleken op dezelfde testset:
   • VIS-only: Een basismodel dat uitsluitend getraind is op zichtbare beelden.
   • Vroege Fusie (Early Fusion): VIS- en TIR-banden werden gefuseerd op het niveau van de input. Het VIS-beeld werd omgezet naar de YCbCr-kleurruimte, en Principal Component Analysis (PCA) werd toegepast op de R, G, B en TIR banden. De eerste hoofdcomponent (die zwaar gewogen is naar Rood en TIR) verving het luminantie-kanaal (Y), waardoor een nieuw gefuseerd RGB-beeld voor training werd gecreëerd.
   • Late Fusie (Late Fusion): Onafhankelijke modellen werden getraind op VIS- en TIR-data. Hun detectie-outputs (bounding boxes en scores) werden geometrisch geïntersecteerd. Een Classification and Regression Tree (CART) algoritme werd vervolgens getraind op kenmerken, waaronder klasse-scores, Intersection over Union (IoU)-waarden en one-hot gecodeerde beslissingen, om de uiteindelijke classificatie te maken. Deze aanpak verwerkte ook niet-intersecterende boxen door enkelvoudige modaliteitsdetecties te behouden.

Belangrijkste Resultaten
De studie evalueerde de prestaties met behulp van de F1-score, precisie en recall over de testdataset (316 bezette nesten, 35 lege nesten, 20 geïsoleerde individuen).

• Baseline Prestaties: Het VIS-only model bereikte een algehele F1-score van 56,6% (macro-gemiddeld), met een sterke prestatie op de meerderheidsklasse (bezet nest: 90,2%) maar aanzienlijk lagere scores voor minderheidsklassen (leeg nest: 44,0%; geïsoleerd individu: 35,7%). Het TIR-only model bereikte een F1-score van 85,4% voor de "reiger"-klasse.
• Vroege Fusie: Deze aanpak verbeterde de detectie van minderheidsklassen vergeleken met het VIS-only model (bijv. geïsoleerde individuen steeg naar 55,6%). Het verminderde foutieve negatieven (gemiste detecties) tot 4%, maar verhoogde de foutieve positieven (9%) licht. De algehele F1-score was 64,3%.
• Late Fusie: Deze methode blonk uit in het detecteren van de meerderheidsklasse, met de hoogste F1-score voor bezette nesten (93,0%) en het laagste aantal gemiste detecties (3%). Het genereerde echter een hoger percentage foutieve positieven (14%) vergeleken met andere methoden. Een opmerkelijke bevinding was het vermogen van de CART-classifier om foutieve positieven uit beide bronnen te identificeren met een recall van 90%, waardoor ongecorreleerde fouten effectief werden weggefilterd.
• Gegevensverlies: De strikte uitlijningseisen voor vroege fusie leidden tot het weggooien van 61% van de beschikbare beeldparen, voornamelijk door een gebrek aan overeenkomende kenmerken in waterachtergronden. Late fusie was minder gevoelig voor pixel-perfecte uitlijning, waardoor er meer gegevens konden worden gebruikt.

Betekenis en Claims
Het artikel beweert de eerste te zijn die succesvol vroege fusie tegenover late fusie heeft toegepast en vergeleken voor synchrone lucht-VIS-TIR detectie van wilde dieren. De auteurs stellen dat hoewel fusiemethoden over het algemeen toegevoegde waarde bieden boven single-source modellen, de keuze van de methode gepaard gaat met afwegingen:

• Late Fusie wordt benadrukt als bijzonder effectief voor het primaire doelwit (bezette nesten) en biedt een grotere operationele robuustheid door imperfecte beelduitlijning te tolereren, waardoor gegevensverlies wordt verminderd.
• Vroege Fusie toont belofte voor minderheidsklassen, maar wordt beperkt door de noodzaak van precieze pixel-niveau uitlijning.
• Operationele Beperkingen: De auteurs concluderen bescheiden dat voor specifieke surveys van de Blauwe Reiger de toegevoegde waarde van fusie mogelijk nog niet de operationele complexiteit en het gegevensverlies rechtvaardigt, gezien de hoge prestaties van VIS-only modellen voor deze specifieke soort tijdens daglicht. Ze suggeren dat fusietechnieken nuttiger kunnen zijn voor cryptische soorten (bijv. witstaart herten) of nachtelijke/crepusculaire surveys waar TIR cruciale informatie biedt die niet beschikbaar is in VIS.
• Toekomstige Richtingen: De studie suggereert dat het gebruik van door vliegtuigen gemonteerde, zeer hoog-resolutie VIS-sensoren (brede FOV) een praktischere compromis zou kunnen zijn voor operationele surveys dan de huidige drone-gebaseerde fusie-benaderingen, die beperkt worden door smalle FOV's en uitlijningsbeperkingen.

Het onderzoek onderstreept het potentieel van deep learning voor geautomatiseerde monitoring van wilde dieren, terwijl het realistisch omgaat met de technische hindernissen van multi-sensor data integratie in real-world survey contexten.