WildProp: Visual Estimation of Wildlife Body Proportions at Scale

Sintesi Tecnica: WildProp

Problematica
Le misurazioni morfometriche quantitative (ad esempio, i rapporti tra le dimensioni di arti, ali o testa) sono fondamentali per gli studi ecologici ed evolutivi, fornendo informazioni su macroevoluzione, assemblaggio delle comunità e modellazione degli ecosistemi. Tuttavia, l'acquisizione di queste misurazioni su larga scala è tradizionalmente limitata dalla dipendenza dalla manipolazione di esemplari fisici o dalla fotografia controllata con pose standardizzate e righelli. Questi metodi sono laboriosi, disturbano la fauna selvatica e spesso generano dataset con campioni limitati per specie. Al contrario, i repository di immagini su larga scala e non vincolati come iNaturalist contengono milioni di immagini che spaziano tra diversi taxa e geografie, ma sono poco adatti alla misurazione diretta a causa della variazione del punto di vista, dell'articolazione, dell'occlusione, dell'ambiguità di scala e della distorsione prospettica.

Metodologia
WildProp è un framework training-free progettato per stimare le distribuzioni delle proporzioni corporee a livello di popolazione partendo da ampie collezioni di immagini non vincolate. Inquadra la stima morfometrica come un problema di corrispondenza guidata dal recupero (retrieval-driven correspondence). La pipeline opera in tre fasi principali:

1. Recupero Sensibile alla Posa (Pose-Aware Retrieval): Data un'unica immagine di riferimento annotata dall'utente (query) con i punti terminali delle parti definite, il sistema recupera immagini da una collezione target (ad esempio, iNaturalist) che condividono pose simili. Per garantire la robustezza contro il rumore di fondo, il metodo segmenta l'oggetto target utilizzando SAM2 e Grounding-DINO, azzerando lo sfondo. Successivamente, estrae embedding a livello di patch tramite DINOv3 per calcolare la similarità del coseno per il recupero, selezionando i match migliori (ad esempio, i top 100).
2. Corrispondenza dei Keypoint e Consistenza Geometrica: I punti terminali delle parti vengono trasferiti dalla query alle immagini recuperate tramite l'appariamento denso di patch a livello di keypoint utilizzando le feature di DINOv3. Per mitigare gli errori derivanti da parti simmetriche o visivamente simili, il sistema applica un controllo di consistenza geometrica utilizzando RANSAC per adattare una trasformazione rigida. Le immagini con un numero eccessivo di corrispondenze outlier vengono filtrate.
3. Raffinamento Iterativo e Aggregazione: Per affrontare la diversità visiva della popolazione target, il sistema affina iterativamente i descrittori dei keypoint mediando le feature dalle migliori immagini recuperate con la query originale. Dopo un numero fisso di iterazioni, il sistema calcola i rapporti di lunghezza delle parti per ogni immagine mantenuta e li aggrega per stimare le statistiche a livello di popolazione (media, mediana, varianza).

Contributi Chiave

• Framework Scalabile e Training-Free: WildProp consente la stima delle proporzioni corporee per arbitrarie specie e parti del corpo definite dall'utente senza necessità di addestramento specifico per specie o etichette di keypoint dedicate al compito, affidandosi invece alle feature di modelli di base (DINOv3, SAM2).
• Corrispondenza Condizionata dal Recupero: Il documento dimostra che il recupero selettivo di istanze "adatte alla misurazione" (vicine a pose canoniche) e l'aggregazione delle loro statistiche è un'alternativa valida alla ricostruzione della geometria da viste arbitrarie o all'addestramento di rilevatori di keypoint supervisionati.
• Capacità di Stratificazione: Il framework supporta una flessibile stratificazione per geografia, stagionalità e tassonomia limitando il set di recupero, consentendo l'analisi di sottopopolazioni.

Risultati
Gli autori hanno valutato WildProp su tre grandi dataset morfometrici che comprendono uccelli (AVONET, Shorebirds) e anfibi (Deep Blue Data), confrontando i rapporti proporzionali stimati con la verità fisica di base (ground truth).

• Accuratezza: In vari compiti di stima del rapporto tra le parti, WildProp ha ottenuto errori relativi mediani del 10–20%. Ad esempio, sul dataset AVONET, l'errore relativo medio è stato dell'11,3%.
• Studi di Ablazione:
  • Recupero Sensibile alla Posa: Essenziale per la stabilità; l'appariamento dei keypoint su immagini campionate casualmente ha causato un errore del 216%, mentre le immagini recuperate tramite posa hanno ridotto l'errore al 40%.
  • Filtraggio Geometrico: La soppressione del background (SAM) e il filtraggio RANSAC hanno ridotto significativamente gli errori (dal 40% al 12,2%).
  • Raffinamento Iterativo: Ha fornito un miglioramento modesto ma costante dell'accuratezza.
  • Varianti del Modello: Le feature di DINOv3 si sono dimostrate superiori ai modelli basati su CLIP per il recupero, e la combinazione di DINOv3 con le feature di Stable Diffusion ha prodotto le migliori prestazioni di appaiamento dei keypoint.
• Casi di Studio: Il sistema ha distinto con successo le specie attraverso diversi taxa (farfalle, fiori, cervi) e ha identificato variazioni geografiche (ad esempio, le proporzioni del becco nei sottospecie di Dunlin) e tendenze stagionali (ad esempio, la crescita delle corna nei caprioli).

Significato e Rivendicazioni
Il documento posiziona WildProp non come un sostituto delle misurazioni fisiche ad alta precisione, ma come uno strumento per la generazione rapida di ipotesi e l'analisi esplorativa. Il suo significato primario risiede nella capacità di fornire proxy morfometriche scalabili per analisi comparative tra taxa, geografia e stagionalità, quando misurazioni individuali precise non sono disponibili o praticabili.

Gli autori riconoscono i limiti, tra cui:

• Le stime sono più rumorose rispetto alle misurazioni fisiche, limitandone le applicazioni ad alta precisione.
• L'ambiguità intrinseca della scala limita gli output a proporzioni piuttosto che a lunghezze metriche assolute.
• La dipendenza dai dati della citizen science introduce potenziali bias verso i centri di popolazione umana e i taxa popolari.
• Le prestazioni dipendono dalla disponibilità di immagini in pose adeguate; le pose rare (ad esempio, viste dal basso per piccoli uccelli) ne limitano l'applicabilità.

In definitiva, il lavoro suggerisce che le corrispondenze 2D accuratamente filtrate su immagini su scala web possono servire come percorso pratico per stimare statistiche geometriche di popolazione, colmando il divario tra la scala dei dati della scienza comunitaria e le necessità della ricerca ecologica.