Riepilogo Tecnico: PlayClass – Classificazione Automatizzata del Comportamento di Gioco negli Uccelli da Cortile

Enunciato del Problema

Il monitoraggio automatizzato del benessere animale si è storicamente concentrato su indicatori negativi (ad esempio, malattie, dolore), lasciando comportamenti di benessere positivo come il gioco significativamente poco esplorati. Sebbene la visione artificiale abbia fatto progressi nella stima della posa e nel tracciamento degli animali, l'applicazione di queste tecnologie agli uccelli da cortile presenta sfide uniche: gruppi densi di individui visivamente simili portano a frequenti occlusioni e confusione di identità. Inoltre, il comportamento di gioco è intrinsecamente difficile da classificare automaticamente a causa della scarsità di dati, dell'ambiguità definizionale (il gioco condivide spesso pattern motori con comportamenti non ludici) e delle rapide transizioni di stato. I lavori esistenti non hanno affrontato la classificazione automatizzata del comportamento di gioco negli uccelli da cortile a livello individuale.

Metodologia

Gli autori presentano PlayClass, una pipeline progettata per classificare i comportamenti di gioco a livello individuale a partire da video di allevamenti di pollame ripresi dall'alto. Il sistema integra tre componenti principali:

1. Strategia di Tracciamento (SAM 3 con Chunking Adattivo)

Per gestire registrazioni di 15 minuti in cui il tracciamento end-to-end è limitato dalla memoria GPU e dall'accumulo di errori:

• Chunking: I video vengono elaborati in segmenti di 60 secondi.
• Inizializzazione: Il tracciamento viene inizializzato con un prompt testuale ("uccello") o con una strategia di grounding adattiva (eseguendo SAM 3 sui primi 5 secondi per trovare un frame ad alta confidenza e ben separato).
• Mantenimento dell'Identità: Per minimizzare i cambi di identità tra i segmenti, il sistema utilizza una selezione dei confini dei segmenti guidata da YOLO. Un rilevatore YOLO e un tracciatore BoT-SORT identificano i frame con la massima separazione inter-uccello da utilizzare come confini dei segmenti, facilitando un trasferimento robusto dell'identità.
• Output: La pipeline genera oltre 1,8 milioni di maschere tracciate con riquadri di delimitazione su 30 video (45 individui).

2. Estrazione delle Caratteristiche

Il sistema estrae due flussi di caratteristiche complementari per ogni finestra di osservazione:

• Caratteristiche di Movimento Artigianali: 19 caratteristiche per frame derivate dalle maschere tracciate, che catturano la forma spaziale (area, solidità), la dinamica temporale (velocità, accelerazione) e il contesto sociale (distanze dagli altri). Queste vengono riassunte in un vettore di 171 dimensioni utilizzando momenti statistici e percentili.
• Embedding di Modelli Fondamentali: La pipeline valuta embedding congelati da modelli fondamentali di immagini e video:
  • Modelli di Immagini: DINOv3 (estrazione di embedding del token CLS da ritagli di riquadri di delimitazione).
  • Modelli di Video: V-JEPA 2, V-JEPA 2.1 e VideoPrism (elaborazione di clip non sovrapposte e mediazione spaziale).

3. Architettura di Classificazione

Il compito è un problema di classificazione a 3 classi: Gioco Locomotore, Gioco con Oggetti e Altro (non gioco).

• Squilibrio delle Classi: Il dataset è gravemente sbilanciato (86,7% Altro, 9,3% Gioco con Oggetti, 4,0% Gioco Locomotore).
• Modelli: Sono state testate due architetture: un Perceptron Multistrato (MLP) su caratteristiche mediate e una CNN 1D per preservare i segnali temporali.
• Validazione: È stata adottata una strategia di validazione incrociata Leave-One-Cage-Out (LOCO) per prevenire la fuoriuscita di informazioni ambientali, garantendo che il modello generalizzi tra diverse gabbie fisiche.

Risultati Chiave

Lo studio è stato valutato su un dataset di 30 registrazioni che coprono 45 pulcini di Fagiano Rosso × Leghorn Bianco, annotati in 14.515 finestre.

• Prestazioni di Base: Le sole caratteristiche di movimento artigianali, elaborate tramite un semplice MLP, hanno raggiunto un punteggio F1 macro-medio del 73,4, stabilendo una solida base di riferimento senza rappresentazioni visive apprese.
• Prestazioni dei Modelli Fondamentali: Tra i backbones congelati, V-JEPA 2.1 ha costantemente superato tutti gli altri modelli (DINOv3, VideoPrism, V-JEPA 2) su entrambe le scale ViT-B e ViT-L.
• Migliori Prestazioni: L'approccio ibrido che combina caratteristiche artigianali con embedding V-JEPA 2.1 (ViT-L) ha prodotto le prestazioni più elevate: 77,0 di punteggio F1 macro-medio.
• Scalabilità: L'aumento delle dimensioni del modello (ad esempio, da DINOv3 a ViT-H) ha prodotto guadagni minimi, suggerendo che le rappresentazioni si saturano precocemente per questo specifico dominio.
• Analisi degli Errori:
  • Il modello ha faticato di più con il Gioco con Oggetti (recall del 66,1%), spesso classificandolo erroneamente come "Altro".
  • Gli errori sono stati guidati dall'ambiguità cinematica (ad esempio, il "picchiettamento del verme" condivide profili di movimento con comportamenti non ludici) e dall'occlusione.
  • Il divertimento sfrenato (un sottotipo locomotore) ha formato un cluster distinto con alta recall (88%), probabilmente a causa della sua firma unica di movimento multidirezionale.
  • L'affollamento ha impattato significativamente l'accuratezza del gioco con oggetti ($\rho$ di Spearman = 0,17).

Significato e Affermazioni

Il documento afferma di fornire il primo framework automatizzato per la classificazione del comportamento di gioco a livello individuale negli uccelli da cortile. I suoi contributi principali sono:

1. Una Pipeline di Tracciamento Robusta: Estensione di SAM 3 a registrazioni di lunga durata tramite chunking guidato da YOLO e grounding adattivo, mantenendo l'identità attraverso frequenti occlusioni.
2. Benchmarking dei Modelli Fondamentali: Stabilire V-JEPA 2.1 come backbone superiore per la classificazione del comportamento animale, superando i modelli basati su immagini e altri modelli video.
3. Approfondimento sul Riconoscimento del Gioco: Dimostrare che, sebbene le rappresentazioni video congelate forniscano segnali complementari, le sole caratteristiche cinematiche e di forma artigianali costituiscono una solida base di riferimento interpretabile (73,4 F1). Ciò suggerisce che gran parte del segnale rilevante per il compito nel gioco degli uccelli da cortile è catturato dalle statistiche di movimento e prossimità.

Gli autori concludono che, sebbene la pipeline mostri evidenze incoraggianti per il rilevamento automatizzato del gioco, rimangono sfide riguardanti l'occlusione e l'ambiguità definizionale dei sottotipi di gioco. Notano che l'attuale dipendenza dalla post-elaborazione manuale per la correzione dell'identità limita il dispiegamento completamente autonomo, suggerendo che i lavori futuri dovrebbero concentrarsi sul pre-addestramento adattivo al dominio e sul miglioramento del matching dell'identità tra segmenti.