Tracking Feral Horses in Aerial Video Using Oriented Bounding Boxes

Questo lavoro propone un metodo innovativo per stimare l'orientamento della testa dei cavalli ferali in video aerei, utilizzando un sistema di votazione basato su IoU per risolvere le ambiguità dei bounding box orientati e garantire un tracciamento individuale continuo e accurato.

L'essenziale

Immagina di essere un direttore d'orchestra, ma invece di musicisti, devi tenere d'occhio centinaia di cavalli selvatici che corrono liberi in un vasto prato. Il tuo compito è seguire ogni singolo cavallo, capire dove sta andando e con chi sta interagendo. Per farlo, usi un drone che riprende tutto dall'alto, come se fossi un'aquila che guarda il mondo.

Il problema? È come cercare di seguire una singola goccia d'acqua in una cascata tumultuosa. I cavalli sono piccoli rispetto all'immagine, si muovono veloci, sono molto vicini tra loro e, soprattutto, ognuno guarda in una direzione diversa.

Ecco come gli autori di questo studio hanno risolto il problema, spiegato in modo semplice:

1. Il Problema delle "Scatole" Tradizionali

Fino a poco tempo fa, per seguire gli oggetti nei video, i computer usavano delle scatole rettangolari dritte (come i pacchi di cartone). Immagina di dover incorniciare un cavallo che corre di traverso con una scatola rettangolare: per farlo, la scatola deve essere enorme e includere anche molta erba, ombre e rocce intorno. Questo confonde il computer, che pensa che quelle rocce siano parte del cavallo!

Inoltre, queste scatole tradizionali hanno un limite strano: possono girare solo di 180 gradi (come un orologio che va da mezzogiorno a mezzanotte). Se un cavallo gira di 181 gradi, il computer impazzisce: pensa che la testa sia diventata la coda e viceversa, causando un "salto" improvviso nella traiettoria.

2. La Soluzione: Le "Scatole Orientate" (OBB)

Per risolvere questo, gli scienziati hanno usato delle scatole orientate (OBB). Immagina queste come dei guanti su misura che si adattano perfettamente alla forma del cavallo, ruotando insieme a lui. In questo modo, si include solo il cavallo e quasi nessuna erba o ombra. È molto più preciso.

Ma c'è ancora un problema: anche con i guanti su misura, il computer non sa sempre quale estremità è la testa e quale è la coda. Se il cavallo gira, il computer potrebbe scambiare la direzione, facendo saltare il cavallo da una parte all'altra dello schermo.

3. La Magia: Il "Comitato di Tre Esperti"

Qui entra in gioco l'idea geniale del paper. Invece di affidarsi a un solo "detective" (un modello di intelligenza artificiale) per capire dove sono la testa e la coda, ne hanno assunti tre:

1. Un esperto che cerca solo le teste.
2. Un esperto che cerca solo le code.
3. Un esperto che cerca entrambe.

Ogni volta che il drone riprende un cavallo, questi tre esperti lavorano insieme su una piccola foto ritagliata del cavallo. Poi, usano un sistema di voto a maggioranza (come un tribunale):

• Se due esperti dicono "è la testa qui" e uno dice "è la coda lì", il computer decide che è la testa.
• Se uno si sbaglia (magari confonde un sasso per una testa), gli altri due lo correggono.

Questo metodo è stato così efficace che ha raggiunto il 99,3% di precisione, quasi perfetto!

4. Il Risultato: Una Danza Fluida

Grazie a questo sistema, il computer ora sa esattamente dove sta la testa di ogni cavallo e in che direzione sta guardando, anche se il cavallo fa una curva stretta.

Quando si passa alla fase di "inseguimento" (tracking), invece di perdere il cavallo quando gira o quando si nasconde dietro un altro, il sistema mantiene l'identità del cavallo fluida e stabile. È come se il direttore d'orchestra avesse ora un foglio di spartito perfetto: sa esattamente quale strumento (cavallo) sta suonando e dove sta andando, senza confondersi.

In Sintesi

Gli scienziati hanno creato un sistema che:

1. Usa "guanti su misura" (scatole ruotanti) invece di "scatole rigide".
2. Assume un "comitato di tre esperti" (tre modelli AI) che si consultano per non sbagliare a distinguere la testa dalla coda.
3. Usa questo voto per dire al computer di inseguimento: "Ehi, quel cavallo sta guardando a nord-est, non a sud-ovest!".

Il risultato? Possiamo finalmente studiare come si comportano i cavalli selvatici, capendo le loro amicizie e i loro movimenti, senza che il computer si perda nel caos della folla.

Sommario tecnico

Titolo: Tracciamento di Cavalli Selvaggi in Video Aerei Utilizzando Bounding Box Orientati

1. Il Problema

Lo studio affronta la sfida di tracciare individui all'interno di gruppi di animali sociali, in particolare cavalli selvaggi, utilizzando video aerei ripresi da droni. Sebbene l'analisi delle dinamiche di gruppo richieda una tracciatura individuale ad alta precisione, i metodi tradizionali basati su Axis-Aligned Bounding Boxes (bbox, rettangoli allineati agli assi) falliscono in questo contesto specifico a causa di diversi fattori:

• Alta densità e piccole dimensioni: Gli animali appaiono molto piccoli rispetto all'intera immagine e sono spesso raggruppati densamente.
• Orientamento variabile: Gli animali guardano in direzioni diverse, rendendo i bbox allineati agli assi inefficienti perché includono troppo sfondo inutile.
• Ambiente complesso: La presenza di ombre e depressioni nel terreno genera falsi positivi.
• Limitazione delle OBB standard: Sebbene le Oriented Bounding Boxes (OBB) risolvano il problema dell'inclusione dello sfondo, i rilevatori OBB esistenti (come YOLO-OBB) limitano l'angolo di rotazione a un intervallo di 180°. Questo impedisce di distinguere la testa dalla coda, causando "flip" improvvisi di 180° tra i frame che distruggono la continuità temporale del tracciamento.

2. Metodologia

Gli autori propongono un framework di rilevamento multi-fase basato su OBB per stimare con precisione l'orientamento della testa (0°-360°) e integrarlo in un sistema di tracciamento. Il metodo si articola in tre fasi principali:

A. Rilevamento Individuale (Stage 1)
Viene utilizzato un modello YOLO11m-OBB fine-tunato per rilevare l'intera immagine. Questo modello genera una OBB per ogni cavallo, fornendo coordinate, dimensioni e un angolo di rotazione iniziale (limitato a 180°).

B. Localizzazione delle Parti del Corpo (Stage 2)
Per ogni cavallo rilevato, viene estratto un ritaglio quadrato centrato sulla OBB. Su questo ritaglio vengono applicati tre modelli di rilevamento distinti:

1. Head-Tail Detector: Rileva sia testa che coda.
2. Head Detector: Rileva solo la testa.
3. Tail Detector: Rileva solo la coda.
   Ogni modello è stato addestrato su un dataset specifico con annotazioni precise (la testa è definita come il punto medio tra le orecchie, la coda alla radice).

C. Stima dell'Orientamento tramite Voto di Maggioranza (Stage 3)
Per determinare la posizione finale della testa e della coda, si utilizza un algoritmo di voto di maggioranza basato sull'IoU (Intersection over Union):

• Le rilevazioni vengono raggruppate in base all'IoU (se l'IoU > 0.3, sono considerate la stessa posizione).
• Il gruppo con il maggior numero di "voti" (rilevazioni concordi) viene selezionato.
• Se ci sono parità, prevale il gruppo con il punteggio di confidenza più alto.
• Calcolo dell'angolo: Una volta identificata la testa, si calcola il vettore dal centro della OBB alla testa. Il prodotto scalare tra questo vettore e i vettori dei lati corti della OBB determina quale lato corrisponde alla testa, permettendo di calcolare un angolo di rotazione univoco da 0° a 360°.

D. Tracciamento (Tracking)
L'angolo di 360° viene integrato in un tracciatore basato su DeepSORT (esteso per OBB).

• Lo stato del filtro di Kalman include le coordinate $(x, y)$ e le componenti trigonometriche dell'angolo $(\sin \theta, \cos \theta)$ per evitare discontinuità angolari (il problema del salto da 0° a 360°).
• L'angolo stesso non viene modellato come variabile dinamica diretta per evitare instabilità, ma viene aggiornato tramite le osservazioni trigonometriche.

3. Contributi Chiave

• Superamento del limite a 180°: Il metodo risolve il problema fondamentale dei rilevatori OBB standard che non distinguono testa e coda, permettendo una stima dell'orientamento continua e stabile su 360°.
• Robustezza tramite Ensemble: L'uso combinato di tre modelli specializzati (Testa, Coda, Testa+Coda) con un meccanismo di voto di maggioranza riduce significativamente i falsi positivi e i fallimenti di rilevamento rispetto all'uso di un singolo modello.
• Integrazione nel Tracking: Dimostrazione pratica di come l'orientamento 360° possa essere incorporato in un filtro di Kalman per mantenere ID coerenti anche durante cambi di direzione.

4. Risultati

Gli esperimenti sono stati condotti su 299 immagini di test provenienti da diverse tipologie di terreno (vegetazione verde, aree rocciose, suolo marrone).

• Accuratezza di rilevamento della testa:
  • Metodo Proposto (Voto di Maggioranza): 99.3% (297/299).
  • Head-Tail Detector: 99.0%.
  • Head Detector: 98.0%.
  • Tail Detector: 98.0%.
  • Conclusione: L'approccio ensemble supera i singoli modelli, dimostrando che la combinazione di modelli riduce gli errori di rilevamento.
• Qualità del Tracciamento:
  • Le visualizzazioni mostrano che l'orientamento della OBB rimane stabile anche quando il cavallo cambia direzione di movimento, evitando i "flip" di 180° tipici dei metodi precedenti.
  • Il sistema è stato integrato con successo in un framework DeepSORT esteso.

5. Significato e Conclusioni

Questo lavoro è significativo per l'etologia e l'analisi del comportamento animale, poiché fornisce uno strumento robusto per ottenere dati di traiettoria ad alta precisione da video aerei. La capacità di distinguere testa e coda e di mantenere un orientamento continuo è cruciale per analizzare le interazioni sociali (es. chi segue chi, direzione dello sguardo) e le dinamiche di gruppo.

Sebbene il metodo migliori drasticamente la fase di rilevamento, gli autori notano che errori residui nella stima per-frame possono talvolta propagarsi al filtro di Kalman causando cambi di ID (ID switches), specialmente in casi di forte occlusione (es. una madre e un puledro vicini). Il lavoro futuro si concentrerà sull'ottimizzazione del framework di tracciamento per gestire queste eccezioni e sull'ulteriore valutazione dell'efficacia delle rappresentazioni OBB in scenari di tracciamento complessi.