When Multi-Sensor Fusion Fails to Generalize: Cattle Posture Classification Under Animal-Level and Temporal Distribution Shift

Sintesi Tecnica: Quando la fusione multi-sensore fallisce la generalizzazione: Classificazione della postura dei bovini sotto shift di distribuzione a livello di animale e temporale

Problematica
I sistemi automatizzati di classificazione della postura dei bovini (distinguendo tra posizione sdraiata e in piedi) riportano frequentemente un'accuratezza quasi perfetta (F1 > 0,9) nella letteratura scientifica. Tuttavia, queste stime si basano spesso su protocolli di valutazione che consentono la fuga di dati (ad esempio, split casuali in cui lo stesso animale appare sia nel set di addestramento che in quello di test) e non tengono conto degli shift di distribuzione temporale. Resta da chiarire se la fusione di sensori multimodali — che combina i dati sul movimento con segnali fisiologici e ambientali — migliori la generalizzazione o porti i modelli a fare affidamento su segnali di "scorciatoia" (shortcut) legati al contesto, che falliscono quando le condizioni di implementazione cambiano (ad esempio, anni diversi, mandrie o contesti ambientali differenti).

Metodologia
Lo studio ha utilizzato un dataset proveniente da una mandria di bovini da carne allevati al pascolo, raccolto in due anni consecutivi (2024 e 2025) in Germania.

• Modalità dei dati:
  • Movimento: Accelerometri da collare (conteggi dei tick IMU a sei soglie) e distanza percorsa derivata dal GPS.
  • Fisiologia: Sensori a bolo ruminale (temperatura interna e segnali di ruminazione) per un sottoinsieme di animali.
  • Ambiente: Dati di una stazione meteorologica (temperatura, umidità, vento, radiazione solare, temperatura del suolo).
• Modelli: XGBoost è servito come modello primario, mentre la regressione logistica, il Random Forest e le reti LSTM sono stati utilizzati come baseline.
• Protocolli di valutazione: Gli autori hanno valutato la robustezza sotto quattro protocolli via via più rigorosi:
  1. Split casuali a livello di osservazione: Split classici casuali tra train e test (permettendo la sovrapposenza dei soggetti).
  2. Split stratificati raggruppati: Split a livello di animale all'interno dello stesso anno (2024).
  3. Leave-One-Animal-Out (LOAO): Addestramento su tutti tranne un animale, test sul singolo individuo escluso (all'interno dello stesso anno).
  4. Trasferimento temporale interannuale: Addestramento sull'intero dataset 2024 e test su una coorte indipendente del 2025 (introducendo sia lo shift di livello animale che lo shift di distribuzione temporale).
• Analisi: Le prestazioni sono state misurate tramite Macro-F1 e Accuratezza Bilanciata. La spiegabilità è stata valutata tramite valori SHAP (SHapley Additive exPlanations) per identificare le dipendenze delle caratteristiche (feature). La distribuzione è stata quantificata tramite PCA e un classificatore di dominio (ROC-AUC) per misurare la separabilità tra gli anni.

Risultati Chiave

• Sovrastima delle prestazioni: Sotto split casuali a livello di osservazione, il modello multimodale ha raggiunto un Macro-F1 di 0,99. Sotto split raggruppati a livello di animale all'interno dello stesso anno, le prestazioni sono rimaste elevate (0,94). Tuttavia, sotto valutazione LOAO, le prestazioni sono scese (0,89), e sotto trasferimento interannuale, sono crollate a 0,49.
• La fusione multimodale riduce la robustezza: Contrariamente all'ipotesi che l'aggiunta di dati migliori la generalizzazione, i modelli multimodali hanno performato peggio del modello basato solo sul collare sotto lo shift temporale. Il modello basato solo sul collare ha ottenuto un Macro-F1 di 0,54 nel test interannuale, superando tutte le configurazioni multimodali (0,49).
• Apprendimento di scorciatoie (Shortcut Learning): L'analisi SHAP ha rivelato che i modelli multimodali continuavano a fare pesante affidamento sull'attività del bolo ruminale e sulle variabili ambientali anche quando le prestazioni predittive deterioravano. Queste caratteristiche agivano come proxy dipendenti dal contesto per le condizioni di registrazione del 2024, piuttosto che come indicatori robusti della postura.
• Shift di distribuzione: PCA e classificazione del dominio hanno confermato sostanziali shift covarianti tra i dataset 2024 e 2025. In particolare, anche le caratteristiche legate solo al movimento (dati del collare) hanno mostrato significativi shift distribuzionali tra gli anni, contribuendo al calo delle prestazioni.
• Variabilità individuale: Gli elevati scarti quadratici medi nei risultati LOAO hanno indicato che le metriche aggregate mascheravano fallimenti gravi per specifici animali individuali, con alcuni che si avvicinavano alla prestazione casuale.

Contributi Chiave

1. Critica ai protocolli di valutazione: Lo studio dimostra che i protocolli di valutazione comunemente usati (split casuali) sovrastimano sostanzialmente le capacità di generalizzazione nel mondo reale, specialmente in presenza di shift temporali.
2. Paradosso della robustezza multimodale: Gli autori mostrano che, sebbene la fusione di sensori multimodali migliori le prestazioni di benchmark all'interno del dataset, può ridurre la robustezza sotto shift di distribuzione temporale incoraggiando l'affidamento su correlazioni instabili e specifiche del contesto.
3. Spiegabilità per la diagnostica: L'applicazione della XAI (Explainable AI) all'analisi dello shift di distribuzione permette di identificare le dipendenze delle caratteristiche (apprendimento di scorciatoie) che rimangono influenti nonostante il degrado delle prestazioni, fornendo un meccanismo per diagnosticare i modi di fallimento del modello invisibili ai parametri standard.

Significato e Affermazioni
Il documento sostiene che l'accuratezza di benchmark da sola è insufficiente per valutare la prontezza all'implementazione (deployment readiness) nel monitoraggio del bestiame. Le conclusioni evidenziano che:

• La robustezza nel mondo reale richiede protocolli di valutazione che testino esplicitamente la generalizzazione su animali non visti e su periodi temporali diversi.
• La fusione multimodale non è intrinsecamente benefica; senza vincoli architettonici o un addestramento focalizzato sulla robustezza, l'aggiunta di modalità può introdurre effetti "Clever Hans", dove i modelli sfruttano correlazioni spurie.
• L'analisi della spiegabilità è uno strumento critico per rivelare le dipendenze nascoste del modello che portano al fallimento sotto shift covariante.

Gli autori concludono che la ricerca sul monitoraggio del bestiame deve spostarsi da una valutazione centrata sui benchmark a una valutazione centrata sulla robustezza per garantire che i sistemi siano affidabili in condizioni di implementazione realistiche.