WildProp: Visual Estimation of Wildlife Body Proportions at Scale

Technische Samenvatting: WildProp

Probleemstelling
Kwantitatieve morfometrische metingen (bijv. ratio's van ledemaat-, vleugel- of kopdimensies) zijn fundamenteel voor ecologische en evolutionaire studies, en informeren macroevolutie, gemeenschapsassemblage en ecosysteemmodellering. Het verwerven van deze metingen op grote schaal wordt echter traditioneel beperkt door de afhankelijkheid van fysieke handeling van specimens of gecontroleerde fotografie met gestandaardiseerde houdingen en linialen. Deze methoden zijn arbeidsintensief, verstorend voor wilde dieren en resulteren vaak in datasets met kleine steekproefomvang per soort. Daartegenover staan grootschalige, ongecontroleerde beeldcollecties zoals iNaturalist, die miljoenen afbeeldingen bevatten over diverse taxa en geografieën, maar die ongeschikt zijn voor directe metingen vanwege variatie in standpunt, articulatie, occlusie, schaalambiguïteit en perspectivische distortie.

Methodologie
WildProp is een training-vrij framework dat is ontworpen om populatiebrede lichaamsverhoudingsverdelingen te schatten uit grote, ongecontroleerde beeldcollecties. Het herformuleert morfometrische schatting als een door retrieval gedreven correspondentieprobleem. De pijplijn werkt in drie primaire stadia:

1. Pose-bewuste Retrieval: Gegeven één door de gebruiker geannoteerde referentieafbeelding (query) met gedefinieerde eindpunten van onderdelen, zoekt het systeem afbeeldingen uit een doelcollectie (bijv. iNaturalist) die vergelijkbare houdingen delen. Om robuustheid tegen achtergrondruis te garanderen, segmenteert de methode het doelobject met behulp van SAM2 en Grounding-DINO, waarbij de achtergrond wordt genegeerd. Vervolgens worden patch-niveau DINOv3-embeddings geëxtraheerd om cosinusovereenkomst te berekenen voor de retrieval, waarbij de beste overeenkomsten (bijv. de top 100) worden geselecteerd.
2. Keypoint Matching en Geometrische Consistentie: Eindpunten van onderdelen worden overgedragen van de query naar de opgehaalde afbeeldingen via dichte patch-niveau matching met behulp van Dino v3-features. Om fouten door symmetrische of visueel gelijkaardige onderdelen te mitigeren, past het systeem een geometrische consistentiecheck toe met behulp van RANSAC om een rigide transformatie te fitten. Afbeeldingen met excessieve uitschieters in de correspondentie worden eruit gefilterd.
3. Iteratieve Verfijning en Aggregatie: Om de visuele diversiteit van de doelpopulatie aan te pakken, verfijnt het systeem iteratief de keypoint-descriptors door de features van de top opgehaalde afbeeldingen te middelen met de oorspronkelijke query. Na een vast aantal iteraties berekent het systeem de deel-lengte ratio's voor elke behouden afbeelding en aggregeert deze om populatiebrede statistieken (gemiddelde, mediaan, variantie) te schatten.

Belangrijkste Bijdragen

• Schaalbaar, Training-vrij Framework: WildProp maakt het mogelijk om lichaamsverhoudingen te schatten voor willekeurige soorten en door de gebruiker gedefinieerde lichaamsdelen zonder per-soort training of taakspecifieke keypoint-labels, door gebruik te maken van foundation model features (DINOv3, SAM2).
• Retrieval-geconditioneerde Correspondentie: Het artikel toont aan dat het selectief ophalen van "meetvriendelijke" instanties (nabij canonieke houdingen) en het aggregeren van hun statistieken een levensvatbaar alternatief is voor het reconstrueren van geometrie vanuit willekeurige aanzichten of het trainen van gesuperviseerde keypoint-detectoren.
• Stratificatiecapaciteiten: Het framework ondersteunt flexibele stratificatie door geografie, seizoensgebondenheid en taxonomie door de retrieval-set te beperken, wat de analyse van subpopulaties mogelijk maakt.

Resultaten
De auteurs evalueerden WildProp op drie grote morfometrische datasets die vogels (AVONET, Shorebirds) en amfibieën (Deep Blue Data) beslaan, waarbij de geschatte populatieratio's werden vergeleken met de fysieke grondwaarheid.

• Nauwkeurigheid: Over diverse taken voor het schatten van deel-lengte ratio's behaalde WildProp mediane relatieve fouten van 10–20%. Bijvoorbeeld, op de AVONET-dataset was de gemiddelde relatieve fout 11,3%.
• Ablatie-studies:
  • Pose-bewuste Retrieval: Essentieel voor stabiliteit; het matchen van keypoints op willekeurig gesamplede afbeeldingen resulteerde in een fout van 216%, terwijl pose-geëxtraheerde afbeeldingen dit terugbrachten naar 40%.
  • Geometrische Filtering: Achtergrondonderdrukking (SAM) en RANSAC-filtering verminderden de fouten aanzienlijk (van 40% naar 12,2%).
  • Iteratieve Verfijning: Leverde een bescheiden maar consistente verbetering in nauwkeurigheid.
  • Modelvarianten: DINOv3-features bleken superieur aan CLIP-gebaseerde modellen voor retrieval, en het combineren van DINOv3 met Stable Diffusion-features leverde de beste keypoint-matching prestaties op.
• Casestudies: Het systeem onderscheidde succesvol soorten binnen diverse taxa (vlinders, bloemen, herten) en identificeerde geografische variaties (bijv. snavelverhoudingen bij ondersoorten van de Bonte Duif) en seizoensgebonden trends (bijv. gewei-groei bij de Europese Ree).

Betekenis en Claims
Het artikel positioneert WildProp niet als een vervanging voor hoog-precieze fysieke metingen, maar als een instrument voor snelle hypothesegeneratie en exploratieve analyse. De primaire betekenis ligt in het vermogen om schaalbare morfometrische proxies te bieden voor vergelijkende analyses over taxa, geografie en seizoensgebondenheid wanneer precieze metingen op individueel niveau onbeschikbaar of onpraktisch zijn.

De auteurs erkennen beperkingen, waaronder:

• Schattingen zijn luidruchtiger dan fysieke metingen, wat de toepassing in hoog-precieze scenario's beperkt.
• Ingebouwde schaalambiguïteit beperkt de output tot proporties in plaats van absolute metrische lengtes.
• Afhankelijkheid van citizen-science data introduceert potentiële biases naar menselijke populatiecentra en populaire taxa.
• Prestaties zijn afhankelijk van de beschikbaarheid van afbeeldingen in geschikte houdingen; zeldzame houdingen (bijv. onderaanzichten van kleine vogels) beperken de toepasbaarheid.

Uiteindelijk suggereert het werk dat zorgvuldig gefilterde 2D-correspondenties over web-schaal beeldmateriaal kunnen dienen als een praktisch pad voor het schatten van geometrische populatiestatistieken, waarmee de kloof tussen de schaal van community science data en de behoeften van ecologisch onderzoek wordt overbrugd.