Computer Vision - Model evaluation for Wildlife Re-Identification with Small Datasets

Sintesi Tecnica: Una Guida Pratica alla Ri-Identificazione della Fauna Selvatica con Piccoli Dataset

Definizione del Problema
La conservazione della fauna selvatica si affida alle fototrappole per monitorare le popolazioni, ma distinguere i singoli animali all'interno di una specie (ri-identificazione) è significativamente più complesso rispetto alla classificazione delle specie. La difficoltà principale risiede nel far corrispondere lo stesso individuo attraverso diverse angolazioni, condizioni di illuminazione, occlusioni e pose del corpo, evitando al contempo la confusione tra individui visivamente simili. Questa sfida è esacerbata dal "regime di piccoli dati" tipico dei progetti di conservazione: i dataset contengono spesso solo migliaia di immagini anziché milioni, con distribuzioni altamente sbilanciate in cui alcuni individui hanno centinaia di foto e altri ne hanno pochissime. Il caso di studio specifico affronta la Sfida di Ri-Identificazione del Giaguaro, che coinvolge 1.895 immagini di addestramento per 31 identità uniche, richiedendo a un sistema di restituire punteggi di somiglianza a coppie per un set di test nascosto.

Metodologia
Il documento propone e valuta un workflow di computer vision progettato per massimizzare le prestazioni su piccoli dataset etichettati, confrontando due distinte strategie di modellazione: il fine-tuning end-to-end rispetto all'estrazione di feature congelata con apprendimento metrico.

1. Pre-elaborazione dei Dati e Caching delle Feature:

   • Le immagini vengono convertite in RGB, ridimensionate alla risoluzione di input del backbone (518×518 per DINOv2) e normalizzate.
   • Un passaggio critico di efficienza riguarda il feature caching: la costosa rete backbone elabora le immagini una sola volta per generare vettori di feature fissi, che vengono poi memorizzati su disco. Gli esperimenti successivi addestrano solo la "testa" specifica del task su questi tensori memorizzati, separando la computazione del backbone dalla regolazione degli iperparametri.

2. Architetture di Modelli Valutate:

   • Approcci di Fine-Tuning: Lo studio ha tentato di effettuare il fine-tuning di backbone specializzati e general-purpose, tra cui MegaDescriptor-L (un modello specializzato nella fauna selvatica) e EVA-02-Large. Questi sistemi utilizzavano tecniche di fine-tuning standard, come il pooling GeM, la perdita ArcFace e complessi stack di inferenza che includevano l'augmentation al tempo di test (TTA), l'espansione della query e il re-ranking k-reciprocal.
   • Approccio a Feature Congelate (La Soluzione Proposta): La strategia vincente ha utilizzato DINOv2-Giant (un modello auto-supervisionato da 1,1 miliardi di parametri) mantenuto interamente congelato. Invece di aggiornare il backbone, è stata addestrata sopra di esso una testa di proiezione compatta (circa 1 milione di parametri).
     • Architettura della Testa: Un Multi-Layer Perceptron (MLP) che mappa le feature da 1.536 dimensioni a un embedding da 256 dimensioni: Linear(1536→512) → BN → ReLU → Dropout(0.3) → Linear(512→256) → BN → Normalizzazione L2.
     • Obiettivo di Addestramento: La testa è stata addestrata utilizzando la Triplet Loss con Batch-Hard mining. Questo processo prevede il campionamento di $P$ identità con $K$ immagini ciascuna ($P \times K$ sampling) per costruire triplette (Ancora, Positiva, Negativa) che massimizzino la difficoltà del compito di apprendimento.
     • Ottimizzazione: La testa è stata ottimizzata utilizzando Adagrad con uno scheduler del tasso di apprendimento a plateau e l'early stopping.

3. Strategia di Valutazione:

   • Lo studio enfatizza rigorosi confini di valutazione per prevenire la fuga di dati (data leakage), in particolare da immagini quasi duplicate e sequenze di cattura correlate.
   • Le metriche includono l'Identity-balanced mAP (media macro su individui per evitare che gli animali frequenti dominino il punteggio) e i punteggi dei leaderboard pubblici e privati.
   • Il workflow distingue tra cross-validazione interna, validazione con identità tenute fuori (per testare la generalizzazione a nuovi individui) e la sottomissione finale al leaderboard.

Risultati Chiave
I risultati sperimentali dimostrano che per piccoli dataset di fauna selvatica, un modello foundation congelato con una testa leggera supera i sistemi complessi sottoposti a fine-tuning:

• Prestazioni: L'approccio Frozen DINOv2-Giant ha ottenuto un 0.958 identity-balanced mAP sul leaderboard pubblico (e 0.950 sul leaderboard privato). Questo ha superato significativamente il precedente campione, il fine-tuned MegaDescriptor-L, che ha ottenuto 0.840.
• Fallimento del Fine-Tuning: I tentativi di eseguire il fine-tuning completo del modello EVA-02-Large hanno causato un grave overfitting, con punteggi di mAP in cross-validazione che rimanevano al di sotto di 0.245.
• Efficienza: Il workflow delle feature congelate ha permesso una sperimentazione rapida. Mentre la pipeline di MegaDescriptor con fine-tuning richiedeva circa 30 ore di addestramento e un complesso post-processing (re-ranking, ensembling), il sistema DINOv2 congelato ha raggiunto il suo picco di prestazioni in circa 1 ora senza alcun post-processing di recupero (niente TTA, niente re-ranking).
• Robustezza: L'approccio congelato si è dimostrato più stabile tra diversi seed casuali e split di dati rispetto ai tentativi di fine-tuning ad alta varianza.

Significato e Rivendicazioni
Il documento non sostiene che i modelli congelati siano universalmente superiori ai modelli sottoposti a fine-tuning in ogni contesto. Al contrario, presenta un framework di selezione del modello riproducibile e un workflow decisionale per tecnologi della conservazione e ingegneri del machine learning.

• Contributo Metodologico: Il contributo primario è la dimostrazione che, per piccoli dataset (migliaia di immagini), aggiornare un enorme backbone è spesso controproducente a causa dell'estremo rapporto tra parametri e punti dati. Congelare un potente backbone di rappresentazione preserva la conoscenza visiva generale, mentre una piccola testa addestrabile adatta il modello al compito specifico dell'identità.
• Workflow Pratico: Lo studio valida un workflow "cache-once" dove l'estrazione delle feature costose è separata dalla rapida sperimentazione a livello di testa. Ciò abbassa la barriera d'ingresso per i progetti di conservazione con risorse computazionali limitate.
• Applicabilità: Gli autori affermano che questo workflow è direttamente trasferibile ad altre specie con segni individuali visibili (es. tigri, leopardi, zebre, squali balena), ma avvertono che richiede adattamenti per specie identificate da contorno o struttura facciale, o per scenari di deployment open-set dove nuovi individui appaiono continuamente.
• Limiti: Il documento nota esplicitamente che il benchmark è una valutazione a set chiuso (31 giaguari noti) e non garantisce prestazioni in deployment sul campo in scenari open-set. Richiede ulteriori ricerche sull'identificazione open-set, sui workflow di revisione human-in-the-loop e sul test di nuovi modelli foundation man mano che emergono.

In conclusione, il documento sostiene che, nel contesto di piccoli dataset di fauna selvatica, la semplicità e l'efficienza dei parametri (backbone congelato + piccola testa) possono produrre risultati superiori e carichi computazionali inferiori rispetto a pipeline complesse sottoposte a fine-tuning completo.