Sintesi Tecnica: Un modulo di associazione leggero guidato dall'aspetto per il tracciamento multi-pesce subacqueo

Problematica

Il documento affronta la sfida del tracciamento multi-oggetto (MOT) per pesci allevati densamente in ambienti di acquacoltura subacquei con telecamere fisse. Sebbene i dati continui sulle traiettorie siano essenziali per la stima della popolazione e l'analisi del comportamento, il tracciamento dei singoli pesci è ostacolato da:

• Similiarità Visiva: Gli individui della stessa specie spesso condividono un aspetto quasi identico.
• Dinamiche Complesse: Si verificano frequenti cambi di direzione, incroci, occlusioni reciproche e sovrapposizioni spaziali sostanziali.
• Degradazione Ambientale: Le condizioni subacquee introducono variazioni di illuminazione, torbidità e riduzione del contrasto, che degradano la qualità dell'immagine.

Limitazioni dei Metodi Esistenti:

• Tracker basati su Movimento/IoU (es. SORT): Si affidano a indizi spazio-temporali (predizione Kalman e Intersezione su Unione). Quando i pesci si sovrappongono o si incrociano, i loro stati spaziali e di movimento diventano indistinguibili, portando ad alti tassi di scambio di identità (IDSW) e frammentazione delle traiettorie.
• Tracker basati su Deep Appearance (es. DeepSORT): Sebbene utilizzino il deep learning per la ri-identificazione, comportano un carico computazionale significativo. Inoltre, le caratteristiche profonde addestrate su dataset di pedoni spesso non generalizzano bene alle scene subacquee con basso contrasto e occlusioni parziali, e faticano quando le regioni di rilevamento sono contaminate da pesci adiacenti.

Il problema centrale è la necessità di un metodo di associazione in tempo reale e leggero che possa sfruttare sottili differenze di aspetto per integrare gli indizi spazio-temporali senza l'elevato costo computazionale delle reti neurali profonde.

Metodologia

Gli autori propongono un Modulo di Associazione Leggero Guidato dall'Aspetto integrato nel framework Simple Online and Realtime Tracking (SORT). Il metodo opera secondo un paradigma "tracking-by-detection" senza modificare il rilevatore di oggetti sottostante.

1. Estrazione di Caratteristiche dell'Aspetto Artigianali (Handcrafted)

Inve แทน del deep learning, il modulo estrae tre tipi di caratteristiche a basso costo e artigianali da ogni regione di pesce rilevata:

• Istogramma del Colore HSV: La regione viene convertita da BGR a HSV. I canali H, S e V sono quantizzati rispettivamente in 16, 8 e 8 bin, risultando in un vettore di dimensione 1024.
• Istogramma dell'Orientamento del Gradiente: Basato sul principio dell'Istogramma degli Orientamenti del Gradiente (HOG), la regione in scala di grigi è divisa in una griglia 2×2. Le orientazioni del gradiente non firmate in [0°, 180°) sono quantizzate in 9 bin per sotto-regione, creando un vettore di dimensione 36.
• Descrittore Morfologico: Un vettore di dimensione 3 che cattura il rapporto d'aspetto ($w/h$), l'area logaritmica ($\log(w \times h)$) e la lunghezza della diagonale normalizzata.

Questi vengono concatenati in un vettore di aspetto unificato di dimensione 1063 ($f_i$).

2. Modello di Corrispondenza dell'Identità basato su XGBoost

L'associazione tra una traccia esistente e un rilevamento corrente è formulata come un problema di classificazione binaria (stesso pesce vs pesce diverso).

• Input: Un vettore di caratteristiche di dimensione 2128 ($x_{ij}$) costruito concatenando:
  • La caratteristica di aspetto di riferimento della traccia esistente.
  • La caratteristica di aspetto del rilevamento corrente.
  • L'IoU tra i bounding box predetti e rilevati.
  • La distanza del centro normalizzata tra di essi.
• Modello: Un classificatore XGBoost (50 alberi, profondità massima 3) stima la probabilità ($p_{ij}$) che la coppia corrisponda allo stesso pesce.
• Strategia di Addestramento: I campioni positivi sono coppie dello stesso pesce in fotogrammi adiacenti (filtrati per escludere occlusioni ad alta sovrapposizione). I campioni negativi sono coppie di identità diverse nello stesso fotogramma.

3. Associazione dei Dati Adattiva

L'innovazione principale risiede nel modo in cui la probabilità dell'aspetto viene fusa con la matrice di costo standard di SORT:

• Ponderazione Adattiva: Il costo di associazione ($C_{ij}$) è una somma ponderata del costo IoU e del costo dell'aspetto.
  • $w_{IoU} = \max(0, 1 - \alpha \cdot IoU)$
  • $w_{XGB} = 1 - w_{IoU}$
  • $C_{ij} = w_{IoU}(1 - IoU) + w_{XGB}(1 - p_{ij})$
• Logica: Quando l'IoU è basso (la sovrapposizione spaziale è piccola), il sistema si affida principalmente agli indizi di movimento/spaziali. Man mano che l'IoU aumenta (indicando una potenziale sovrapposizione o ambiguità), il peso si sposta verso la probabilità dell'aspetto tramite XGBoost per risolvere i conflitti di identità.
• Efficienza: Le coppie con IoU < 0.1 vengono scartate immediatamente senza inferenza XGBoost per risparmiare calcolo.

Contributi Chiave

1. Modulo Leggero: Propone un modulo che combina caratteristiche di colore, gradiente e morfologiche con XGBoost, evitando il costo computazionale e i problemi di discrepanza di dominio delle reti di ri-identificazione profonde.
2. Strategia di Fusione Adattiva: Introduce un meccanismo per incorporare adattivamente le probabilità dell'aspetto nella matrice di costo di SORT in base alla sovrapposizione spaziale, permettendo agli indizi dell'aspetto di integrare le informazioni spazio-temporali specificamente quando l'ambiguità è alta.
3. Validazione delle Prestazioni: Dimostra miglioramenti significativi nella preservazione dell'identità sul dataset Multiple Fish Tracking 2025 (MFT25) mantenendo al contempo velocità di elaborazione in tempo reale.

Risultati Sperimentali

Gli esperimenti sono stati condotti su sette sequenze del dataset MFT25 utilizzando una strategia di validazione incrociata Leave-One-Video-Out (LOVO).

• Scambi di Identità (IDSW): Il metodo proposto ha ridotto il totale degli IDSW da 1.513 (SORT) a 833, una riduzione del 44,94%.
• Identity F1 Score (IDF1): Migliorato dal 53,75% (SORT) al 65,49%.
• MOTA: Aumentato dal 98,52% al 98,82%.
• Velocità: Escludendo il rilevamento degli oggetti, la velocità di tracciamento ha superato i 700 FPS (rispetto ai 714 FPS di SORT), dimostrando che l'aggiunta dell'elaborazione dell'aspetto comporta un overhead trascurabile.
• Studi di Ablazione:
  • L'uso di XGBoost solo come correzione post-elaborazione (V1) ha ridotto l'IDSW solo del 5,49%.
  • L'integrazione delle probabilità nella matrice di costo prima dell'assegnazione di Hungarian (V2) è stata cruciale, ottenendo la piena riduzione del 44,94%.
  • Il metodo ha mostrato trasferibilità quando applicato al framework ByteTrack, riducendo l'IDSW del 42,64% rispetto al baseline ByteTrack.
• Analisi Visiva: I risultati qualitativi hanno mostrato che, mentre SORT scambiava frequentemente le identità dopo una severa sovrapposizione, il metodo proposto manteneva identità coerenti, riducendo il numero di identità predette assegnate a un singolo pesce reale (ad esempio, da 14 a 1 nella sequenza BT-001).

Significato e Rivendicazioni

Il documento afferma che il modulo proposto affronta con successo il compromesso tra coerenza dell'identità ed efficienza computazionale nel tracciamento subacqueo dei pesci. Sfruttando sottili caratteristiche dell'aspetto artigianali e un efficiente classificatore di gradient boosting, il metodo migliora significativamente la preservazione dell'identità durante incroci e occlusioni frequenti senza richiedere infrastrutture di deep learning.

Gli autori dichiarano che questi risultati indicano il potenziale del modulo per il monitoraggio dei pesci in tempo reale nell'acquacoltura intelligente, fornendo dati sulle traiettorie affidabili per compiti a valle come la stima della popolazione e il riconoscimento di comportamenti anormali. Il lavoro è presentato come una soluzione pratica per scenari in cui i modelli di aspetto profondi sono troppo costosi o inaffidabili a causa delle condizioni di imaging subacqueo.