WildProp: Visual Estimation of Wildlife Body Proportions at Scale

Résumé technique : WildProp

Problématique
Les mesures morphométriques quantitatives (par exemple, les ratios des dimensions des membres, des ailes ou de la tête) sont fondamentales pour les études écologiques et évolutives, éclairant la macroévolution, l'assemblage des communautés et la modélisation des écosystèmes. Cependant, l'acquisition de ces mesures à grande échelle est traditionnellement limitée par le recours à la manipulation de spécimens physiques ou à une photographie contrôlée avec des poses et des règles standardisées. Ces méthodes sont laborieuses, perturbatrices pour la faune et produisent souvent des ensembles de données avec de faibles tailles d'échantillon par espèce. À l'inverse, les répertoires d'images à grande échelle et non contraints comme iNaturalist contiennent des millions d'images couvrant diverses taxons et géographies, mais sont mal adaptés à la mesure directe en raison de la variation des points de vue, de l'articulation, de l'occlusion, de l'ambiguïté de l'échelle et de la distorsion de perspective.

Méthodologie
WildProp est un cadre sans entraînement (training-free) conçu pour estimer les distributions de proportions corporelles au niveau de la population à partir de vastes collections d'images non contraintes. Il reformule l'estimation morphométrique comme un problème de correspondance piloté par la recherche. Le pipeline opère en trois étapes principales :

1. Recherche sensible à la pose : Étant donné une image de référence unique annotée par l'utilisateur (requête) avec des points terminaux de parties définis, le système recherche des images dans une collection cible (par exemple, iNaturalest) qui partagent des poses similaires. Pour garantir la robustance contre le bruit de fond, la méthode segmente l'objet cible à l'aide de SAM2 et Grounding-DINO, annulant le fond. Elle extrait ensuite des plongements (embeddings) de type DINOv3 au niveau des patchs pour calculer la similitude cosinus pour la recherche, sélectionnant ainsi les correspondances les plus pertinentes (par exemple, les 100 meilleures).
2. Correspondance de points clés et cohérence géométrique : Les points terminaux des parties sont transférés de la requête vers les images récupérées via une correspondance dense de patchs utilisant les caractéristiques DINOv3. Pour atténuer les erreurs dues à des parties symétriques ou visuellement similaires, le système applique une vérification de cohérence géométrique à l'aide de RANSAC pour ajuster une transformation rigide. Les images présentant un excès de correspondances aberrantes sont filtrées.
3. Affinement itératif et agrégation : Pour traiter la diversité visuelle de la population cible, le système affine de manière itérative les descripteurs de points clés en moyennant les caractéristiques des meilleures images récupérées avec la requête originale. Après un nombre fixe d'itérations, le système calcule les ratios de longueur de partie pour chaque image conservée et les agrège pour estimer les statistiques de la population (moyenne, médiane, variance).

Principales contributions

• Cadre évolutif et sans entraînement : WildProp permet d'estimer les proportions corporelles pour des espèces arbitraires et des parties du corps définies par l'utilisateur sans entraînement spécifique par espèce ni étiquettes de points clés spécifiques à la tâche, en s'appuyant plutôt sur les caractéristiques de modèles de fondation (DINOv3, SAM2).
• Correspondance conditionnée par la recherche : L'article démontre que la sélection d'instances « propices à la mesure » (poses proches du canonique) et l'agrégation de leurs statistiques constituent une alternative viable à la reconstruction de la géométrie à partir de vues arbitraires ou à l'entraînement de détecteurs de points clés supervisés.
• Capacités de stratification : Le cadre permet une stratification flexible par géographie, saisonnalité et taxonomie en restreignant l'ensemble de recherche, permettant ainsi l'analyse de sous-populations.

Résultats
Les auteurs ont évalué WildProp sur trois grands ensembles de données morphométriques couvrant les oiseaux (AVONET, Shorebirds) et les amphibiens (Deep Blue Data), en comparant les ratios estimés par rapport à la vérité terrain physique.

• Précision : Sur diverses tâches d'estimation de ratio de longueur de partie, WildProp a obtenu des erreurs relatives médianes de 10 à 20 %. Par exemple, sur l'ensemble de données AVONET, l'erreur relative moyenne était de 11,3 %.
• Études d'ablation :
  • Recherche sensible à la pose : Essentielle pour la stabilité ; l'appariement de points clés sur des images échantillonnées de manière aléatoire entraînait une erreur de 216 %, tandis que les images récupérées par la pose réduisaient cela à 40 %.
  • Filtrage géométrique : La suppression du fond (SAM) et le filtrage RANSAC ont considérablement réduit les erreurs (passant de 40 % à 12,2 %).
  • Affinement itératif : A apporté une amélioration modeste mais constante de la précision.
  • Variantes de modèles : Les caractéristiques DINOv3 se sont révélées supérieures aux modèles basés sur CLIP pour la recherche, et la combinaison de DINOv3 avec les caractéristiques de Stable Diffusion a produit les meilleures performances de correspondance de points clés.
• Études de cas : Le système a réussi à distinguer des espèces à travers divers taxons (papillons, fleurs, cerfs) et a identifié des variations géographiques (par exemple, les proportions du bec chez les sous-espèces de Dunlin) et des tendances saisonnières (par exemple, la croissance des bois chez le Chevreuil).

Signification et revendications
L'article positionne WildProp non pas comme un remplacement des mesures physiques de haute précision, mais comme un outil de génération rapide d'hypothèses et d'analyse exploratoire. Sa principale importance réside dans sa capacité à fournir des proxys morphométriques évolutifs pour des analyses comparatives à travers les taxons, la géographie et la saisonnalité, lorsque des mesures individuelles précises ne sont pas disponibles ou sont impraticables.

Les auteurs reconnaissent des limites, notamment :

• Les estimations sont plus bruitées que les mesures physiques, ce qui limite les applications de haute précision.
• L'ambiguïté d'échelle inhérente restreint les sorties aux proportions plutôt qu'aux longueurs métriques absolues.
• La dépendance aux données de science citoyenne introduit un biais potentiel vers les centres de population humaine et les taxons populaires.
• La performance dépend de la disponibilité d'images dans des poses appropriées ; les poses rares (par exemple, vues par le dessous pour les petits oiseaux) limitent l'applicabilité.

En fin de compte, ce travail suggère que des correspondances 2D soigneusement filtrées sur des images à l'échelle du Web peuvent servir de voie pratique pour estimer les statistiques géométriques de population, comblant ainsi le fossé entre l'échelle des données de science communautaire et les besoins de la recherche écologique.