Technische Samenvatting: Oh Deer, How Should I Handle This? Seizoensgebonden Priors voor Selectieve Wildlife Annotatie en Classificatie

Probleemstelling

Fijnmazige classificatie van wildlife in luchtfoto's wordt niet alleen gehinderd door de prestaties van modellen, maar fundamenteel door onbetrouwbare labels. Dieren nemen vaak slechts enkele pixels in beslag, en cruciale visuele kenmerken variëren aanzienlijk per seizoen. In de specifieke context van het edelhert (Cervus elaphus) volgt het primaire visuele kenmerk voor geslachtsbepaling—de zichtbaarheid van het gewei—een voorspelbare jaarlijkse cyclus (het afwerpen, uitgroei, verharding en het verliezen van het gewei). Deze seasonaliteit creëert vensters waarin bewijsvoering ambigu of afwezig is, wat leidt tot systematische etiketteringsfouten door menselijke annotatoren en een laag vertrouwen in downstream modellen. Huidige benaderingen behandelen deze ambiguïteiten vaak als statische ruis in plaats van de biologische kalender te benutten om annotatieprotocollen en modaliteitsweging te sturen. De kernuitdaging is hoe seizoensgebonden structuur de kwaliteit van annotatie, downstream classificatie en selectieve predictie koppelt, met name bij het onderscheiden van volwassen mannetjes van vrouwtjes/juvenielen met behulp van RGB- en thermische beelden.

Methodologie

Dataset en Annotatieprotocol

De studie maakt gebruik van een publieke luchtbeelden-dataset met 7.295 uitgelijnde crop-sets van edelherten, vastgelegd via UAV's uitgerust met co-gemonteerde RGB- en niet-radiometrische thermische sensoren. De data beslaat negen maanden (januari, februari, maart, april, mei, juli, september, november, december).

• Annotatie met drie weergaven: Elke sample wordt onafhankelijk beoordeeld door drie ecologisch getrainde annotatoren onder drie condities: RGB-alleen, thermisch-alleen, en een gekoppelde RGB+thermische weergave.
• Labeleringsschema: Annotatoren wijzen een van vier labels toe: mannetje, vrouwtje/juveniel, onzeker, of geoccludeerd.
• Resolutiestrategie: Een "opgelost" label wordt vastgesteld via een meerderheidsstem binnen een weergave. De gekoppelde weergave (combinatie van beide modaliteiten) dient als de referentiestandaard voor de evaluatiepool, waarbij samples die ambigu blijven in single-modality weergaven worden opgelost. Samples zonder meerderheid worden uit de evaluatiepool uitgesloten, maar wel gevolgd om discrepanties te kwantificeren.

Seizoensgebonden Priors

De auteurs definiëren "zachte seizoensgebonden priors" op basis van de biologische gewei-cyclus (Figuur 1). Deze priors wijzen geen labels toe of verschuiven voorspellingen tijdens de inferentie, maar definiëren de verwachte kwaliteit van bewijsvoering:

• RGB: Meest informatief tijdens "hard gewei" periodes (late zomer/herfst).
• Thermisch: Meest informatief tijdens "fluweelgroei" (lente/vroege zomer) vanwege de hoge vasculaire activiteit en hittecontrast.
• Onzekere periodes: Laat winter/vroege lente (afwerpen/uitgroei) waar het gewei afwezig of onduidelijk is in beide modaliteiten.

Modellen en Representaties

De studie evalueert drie classifier-families op bevroren embeddings afgeleid van een DINOv3 ViT-H+ backbone:

1. Lineaire SVM: Getraind op geconcateneerde RGB- en thermische embeddings (late fusie) of single-modality embeddings.
2. Triplet Metric Learning: Leert een metriek ruimte met behulp van klasse-centroids.
3. YOLO26x: Een taakgetrainde beeldclassifier (encoder varieert) om te testen of bevindingen representatie-specifiek zijn.

• Kanaalvervanging: Een early-fusion controle waarbij de thermische intensiteit één RGB-kanaal vervangt (R, G, of B) vóór codering.

Selectieve Predictie

De studie maakt gebruik van een onzekerheidsband-onthoudingsmechanisme (abstention mechanism). Voor een scalaire score $s(x)$ worden samples die binnen $|s(x) - 0.5| \le \delta$ vallen, onthouden (uitgesteld) in plaats van gedwongen in een binaire klasse. Dit maakt analyse mogelijk van covered accuracy (nauwkeurigheid op niet-onthouden samples) versus coverage (fractie van samples behouden).

Belangrijkste Resultaten

1. Annotatiekwaliteit en Gekoppelde Review

Gekoppelde RGB+thermische review presteert significant beter dan single-modality annotatie:

• Resolutiepercentage: Gekoppelde review lost 52,8% van de crop-sets op, vergeleken met 32,0% voor RGB-alleen en 27,3% voor thermisch-alleen.
• Labelwijzigingen: Gekoppelde review herstelt 99 meerderheids-mannetjes labels die door RGB werden gemist en 249 door thermisch. Omgekeerd verandert het 22 RGB en 18 thermische mannetjes-calls naar niet-mannetjes labels zodra de gekoppelde weergave beschikbaar is. Aangezien de gekoppelde stem komt van dezelfde drie annotatoren, zijn dit labelwijzigingen in plaats van geverifieerde correcties, hoewel hun richting overeenkomt met complementaire bewijs-voorspellingen.
• Seizoensgebonden Complementariteit: Foutmodi zijn niet identiek; thermisch heeft moeite in de winter (lage detectie van mannetjes), terwijl RGB moeite heeft tijdens afwerpen/uitgroei. Gekoppelde review stabiliseert de prestaties tijdens deze periodes.

2. Classificatieprestaties en Modaliteitsvolgorde

• Superioriteit van Fusie: Gekoppelde (gefuseerde) features leveren consistent de hoogste nauwkeurigheid (95,4% volledige dekking, 98,9% covered accuracy bij 75,3% dekking) over alle classifier-families.
• Representatieafhankelijkheid: De volgorde van single modaliteiten hangt af van de encoder.
  • Met bevroren DINO-embeddings (RGB-voorgetraind), presteert RGB beter dan thermisch (bijv. SVM: 93,6% vs. 84,1%).
  • Met taakgetrainde YOLO, presteert thermisch beter dan RGB (92,4% vs. 86,3% nauwkeurigheid).
• Kanaalvervanging: Het injecteren van thermische data in het Blauwe kanaal van een RGB-beeld (Thermisch $\to$ B) presteert iets beter dan plain RGB (94,8% vs. 93,6%), wat suggereert dat het blauwe kanaal de minst disruptieve positie is voor thermische signaalinjectie in RGB-voorgetrainde backbones.

3. Selectieve Predictie en Onthouding

• Accuracy-Coverage Afruil: Het aanscherpen van de onzekerheidsband verbetert de covered accuracy maar vermindert de dekking. Bij 80% dekking bereiken gekoppelde weergaven 98,6% nauwkeurigheid.
• Klasse-specifieke Bias: Onthoudingsregels stellen disproportioneel veel mannetjes uit. Voor de Lineaire SVM op gekoppelde data is de mannetjes-reject rate 45,9% versus 21,2% voor vrouwtjes/juvenielen bij een vaste band. Dit geeft aan dat de hoge covered accuracy deels wordt bereikt door de moeilijkste (mannetjes) gevallen te verwijderen.
• Onzekerheidsalignement: Model-onzekerheid (fractie van samples in de onthoudingsband) komt breed overeen met menselijke annotator-onzekerheid en de seizoensgebonden priors. Juli (hard gewei) is de minst onzekere maand; wintermaanden vertonen verhoogde onzekerheid.

4. Impact van Seizoensgebonden Priors

• Trainingsgewichten: Het toepassen van zachte priors als sample-gewichten tijdens training (het verhogen van gewicht voor "veilige" periodes, het verlagen voor "onzekere" periodes) levert kleine maar consistente winsten op in de verwachte richting (bijv. +0,2 tot +0,5 nauwkeurigheidspunten voor RGB en thermisch onder specifieke boost-schema's).
• Operationeel Gebruik: De paper concludeert dat hoewel priors nuttig zijn voor diagnostiek (annotatoren begeleiden over wanneer ze voorzichtig moeten zijn) en consistente, zij het kleine verbeteringen bieden wanneer ze als trainingsgewichten worden gebruikt, hun directe impact op modelprestaties secundair is aan de voordelen van gekoppelde annotatie en confidence-gebaseerde onthouding.

Betekenis en Claims

De paper claimt dat een biologisch gefundeerde seizoenskalender een kritisch, onderbenut instrument is voor wildlife monitoring. De primaire betekenis ligt in:

1. Voorspellende Onbetrouwbaarheid: De gewei-cyclus voorspelt succesvol wanneer annotatie moeilijk zal zijn en wanneer modelvertrouwen laag zal zijn, wat proactief protocolontwerp mogelijk maakt.
2. Rechtvaardiging van Gekoppelde Review: Het demonstreert dat gekoppelde RGB+thermische review niet louter een data-augmentatietechniek is, maar een noodzakelijke stap om ambiguïteit te oplossen die single modaliteiten niet kunnen, wat de share van oplosbare crops ongeveer verdubbelt (van ~30% naar ~53%).
3. Verfijning van Evaluatie: De studie benadrukt dat het rapporteren van algemene nauwkeurigheid of zelfs "covered accuracy" zonder klasse-specifieke reject rates misleidend is, omdat hoge nauwkeurigheid systematische deferral van minderheidsklassen (mannetjes) kan maskeren.
4. Bescheiden Rol van Priors: De auteurs merken op dat hoewel seizoensgebonden priors overeenkomen met onzekerheid en consistente positieve winsten opleveren wanneer ze als trainingsgewichten worden gebruikt, hun directe impact op modelprestaties secundair is aan de voordelen van gekoppelde annotatie en confidence-gebaseerde onthouding.

Het werk stelt vast dat fijnmazige classificatie van wildlife evenzeer een probleem is van bewijsvoering-efficiëntie en labelkwaliteit als van modelarchitectuur, en dat ecologische kennis geïntegreerd moet worden in de annotatie- en evaluatiepipeline.