When Multi-Sensor Fusion Fails to Generalize: Cattle Posture Classification Under Animal-Level and Temporal Distribution Shift

Résumé Technique : Quand la fusion multi-capteurs échoue à se généraliser : Classification de la posture des bovins sous l'effet des décalages de distribution au niveau de l'animal et temporel

Énoncé du problème
Les systèmes automatisés de classification de la posture des bovins (distinguant la position couchée de la position debout) font souvent état d'une précision quasi parfaite (F1 > 0,9) dans la littérature. Cependant, ces estimations reposent souvent sur des protocoles d'évaluation qui permettent une fuite de données (par exemple, des divisions aléatoires où le même animal apparaît à la fois dans les ensembles d'entraînement et de test) et ne tiennent pas compte des décalages de distribution temporels. Il reste incertain si la fusion de capteurs multimodaux — combinant les données de mouvement avec les signaux physiologiques et environnementaux — améliore la généralisation ou conduit les modèles à s'appuyer sur des signaux de « raccourcis » (shortcuts) contextuels qui échouent lorsque les conditions de déploiement changent (par exemple, années, troupeaux ou contextes environnementaux différents).

Méthodologie
L'étude a utilisé un ensemble de données provenant d'un troupeau de bovins à viande en pâturage collectées sur deux années consécutives (2024 et 2025) en Allemagne.

• Modalités de données :
  • Mouvement : Accéléromètres de collier (comptages de impulsions IMU à six seuils) et distance de marche dérivée du GPS.
  • Physiologique : Capteurs de bol intra-ruminal (température interne et signaux de rumination) pour un sous-ensemble d'animaux.
  • Environnemental : Station météorologique (température, humidité, vent, rayonnement solaire, température du sol).
• Modèles : XGBoost a servi de modèle principal, tandis que la régression logistique, les forêts aléatoires (Random Forest) et les réseaux LSTM ont été utilisés comme références (baselines).
• Protocoles d'évaluation : Les auteurs ont évalué la robustesse selon quatre protocoles de plus en plus stricts :
  1. Divisions aléatoires au niveau de l'observation : Divisions train-test aléatoires conventionnelles (permettant le chevauchement des sujets).
  2. Divisions stratifiées par groupe : Divisions au niveau de l'animal au sein de la même année (2024).
  3. Leave-One-Animal-Out (LOAO) : Entraînement sur tous les animaux sauf un, test sur l'individu mis de côté (intra-année).
  4. Transfert temporel inter-annuel : Entraînement sur l'ensemble du jeu de données 2024 et test sur une cohorte indépendante de 2025 (introduisant des décalages de distribution tant au niveau de l'animal que temporel).
• Analyse : La performance a été mesurée par le Macro-F1 et l'exactitude équilibrée (Balanced Accuracy). L'explicabilité a été évaluée via les valeurs SHAP (SHapley Additive exPlanations) pour identifier les dépendances de caractéristiques. Le décalage de distribution a été quantifié par l'ACP (PCA) et un classificateur de domaine (ROC-AUC) pour mesurer la séparabilité entre les années.

Résultats clés

• Surestimation de la performance : Sous les divisions aléatoires au niveau de l'observation, le modèle multimodal a atteint un Macro-F1 de 0,99. Sous les divisions groupées par animal au sein de la même année, la performance est restée élevée (0,94). Cependant, sous l'évaluation LOAO, la performance a chuté (0,89), et sous le transfert inter-annuel, elle s'est effondrée à 0,49.
• La fusion multimodale réduit la robustesse : Contrairement à l'hypothèse selon laquelle des données supplémentaires améliorent la généralisation, les modèles multimodaux ont moins bien performé que le modèle basé uniquement sur le collier sous le décalage temporel. Le modèle avec collier seul a atteint un Macro-F1 de 0,54 dans le test inter-annuel, surpassant toutes les configurations multimodales (0,49).
• Apprentissage de raccourcis (Shortcut Learning) : L'analyse SHAP a révélé que les modèles multimodaux persistaient à s'appuyer fortement sur l'activité du bol ruminal et les variables environnementales, même lorsque la performance prédictive se détériorait. Ces caractéristiques agissaient comme des proxys dépendants du contexte pour les conditions d'enregistrement de 2024 plutôt que comme des indicateurs de posture robustes.
• Décalage de distribution : L'ACP et la classification de domaine ont confirmé des décalages de covariables substantiels entre les jeux de données 2024 et 2025. Notamment, même les caractéristiques de mouvement uniquement (données de collier) présentaient des décalages de distribution significatifs entre les années, contribuant à la chute de performance.
• Variabilité individuelle : Les écarts-types élevés dans les résultats LOAO indiquaient que les métriques agrégées masquaient des échecs graves pour certains animaux spécifiques, certains approchant une performance de niveau chance.

Principales contributions

1. Critique des protocoles d'évaluation : L'étude démontre que les protocoles d'évaluation couramment utilisés (divisions aléatoires) surestiment considérablement les capacités de généralisation en conditions réelles, particulièrement en présence de décalages temporels.
2. Le paradoxe de la robustesse multimodale : Les auteurs montrent que si la fusion de capteurs multimodaux améliore les performances de référence au sein d'un jeu de données, elle peut réduire la robustesse sous un décalage de distribution temporel en encourageant le recours à des corrélations instables et contextuelles.
3. L'explicabilité pour le diagnostic : En appliant l'XAI (IA explicable) à l'analyse du décalage de distribution, l'étude identifie des dépendances de caractéristiques spécifiques (apprentissage de raccourcis) qui restent influentes malgré la dégradation de la performance, fournissant un mécanisme pour diagnostiquer les modes d'échec invisibles aux mesures standards.

Signification et affirmations
L'article soutient que la précision de référence seule est insuffisante pour évaluer l'aptitude au déploiement. Les conclusions soulignent que :

• La robustesse réelle nécessite des protocoles d'évaluation qui testent explicitement la généralisation à travers des animaux et des périodes de temps non observés.
• La fusion multimodale n'est pas intrinsèquement bénéfique ; sans contraintes architecturales ou entraînement axé sur la robustesse, des modalités supplémentaires peuvent introduire des effets « Clever Hans » où les modèles exploitent des corrélations spécieuses.
• L'analyse d'explicabilité est un outil critique pour révéler les dépendances cachées des modèles qui mènent à l'échec lors d'un décalage de covariable.

Les auteurs concluent que la recherche sur la surveillance du bétail doit passer d'une évaluation centrée sur les benchmarks à une évaluation centrée sur la robustesse afin de garantir que les systèmes sont fiables dans des conditions de déploiement réalistes.