When Multi-Sensor Fusion Fails to Generalize: Cattle Posture Classification Under Animal-Level and Temporal Distribution Shift

Resumen Técnico: Cuando la fusión multisensorial falla en la generalización: Clasificación de la postura del ganado bajo cambios de distribución a nivel de animal y temporal

Planteamiento del problema
Los sistemas automatizados de clasificación de la postura del ganado (distinguiendo entre echado y de pie) suelen reportar una precisión casi perfecta (F1 > 0.9) en la literatura. Sin embargo, estas estimaciones dependen frecuentemente de protocolos de evaluación que permiten la fuga de datos (por ejemplo, divisiones aleatorias donde el mismo animal aparece tanto en el conjunto de entrenamiento como en el de prueba) y no tienen en cuenta los cambios de distribución temporal. No está claro si la fusión de sensores multimodales —que combina datos de movimiento con señales fisiológicas y ambientales— mejora la generalización o conduce a los modelos a depender de señales de "atajo" (shortcuts) dependientes del contexto que fallan cuando las condiciones de despliegue cambian (por ejemplo, diferentes años, de rebaños o contextos ambientales).

Metodología
El estudio utilizó un conjunto de datos de un rebaño de ganado de carne en pastoreo recolectado durante dos años consecutivos (2024 y 2025) en Alemania.

• Modalidades de datos:
  • Movimiento: Acelerómetros de collar (conteos de pulsos de IMU en seis umbrales) y distancia de caminata derivada de GPS.
  • Fisiológicos: Sensores de bolo ruminal (temperatura interna y señales de rumiación) para un subconjunto de animales.
  • Ambientales: Datos de una estación meteorológica (temperatura, humedad, viento, radiación solar, temperatura del suelo).
• Modelos: XGBoost sirvió como el modelo principal, con Regresión Logística, Random Forest y redes LSTM utilizados como líneas base.
• Protocolos de evaluación: Los autores evaluaron la robustez bajo cuatro protocolos cada vez más estrictos:
  1. Divisiones aleatorias a nivel de observación: Divisiones tradicionales de entrenamiento-prueba aleatorias (permitiendo el solapamiento de sujetos).
  2. Divisiones estratificadas agrupadas: Divisiones a nivel de animal dentro del mismo año (2024).
  3. Dejar un animal fuera (LOAO - Leave-One-Animal-Out): Entrenamiento en todos excepto en un animal, probando en el individuo excluido (dentro del mismo año).
  4. Transferencia temporal interanual: Entrenamiento en el conjunto completo de 2024 y prueba en una cohorte independiente de 2025 (introduciendo cambios de distribución tanto a nivel de animal como temporales).
• Análisis: El rendimiento se midió mediante Macro-F1 y Exactitud Balanceada (Balanced Accuracy). La explicabilidad se evaluó mediante valores SHAP (SHapley Additive exPlanations) para identificar las dependencias de las características. La distribución se cuantificó mediante PCA y un clasificador de dominio (ROC-AUC) para medir la separabilidad entre años.

Resultos clave

• Sobreestimación del rendimiento: Bajo divisiones aleatorias a nivel de observación, el modelo multimodal alcanzó un Macro-F1 de 0.99. Bajo divisiones agrupadas a nivel de animal dentro del mismo año, el rendimiento se mantuvo alto (0.94). Sin embargo, bajo la evaluación LOAO, el rendimiento cayó (0.89), y bajo la transferencia interanual, colapsó a 0.49.
• La fusión multimodal reduce la robustez: Contrario a la hipótesis de que los datos adicionales mejoran la generalización, los modelos multimodales funcionaron peor que el modelo de solo collar bajo el cambio temporal. El modelo de solo collar logró un Macro-F1 de 0.54 en la prueba interanual, superando a todas las configuraciones multimodales (0.49).
• Aprendizaje de atajos (Shortcut Learning): El análisis SHAP reveló que los modelos multimodales persistieron en depender fuertemente de la actividad del bolo ruminal y las variables ambientales, incluso cuando el rendimiento predictivo se deterioraba. Estas características actuaron como proxies dependientes del contexto para las condiciones de registro de 2024, en lugar de indicadores robustos de la postura.
• Cambio de distribución: PCA y la clasificación de dominio confirmaron cambios sustanciales en las covariables entre los conjuntos de datos de 2024 y 2025. Notablemente, incluso las características de solo movimiento (datos del collar) exhibieron cambios distributivos significativos entre años, contribuyendo a la caída del rendimiento.
• Variabilidad individual: Las altas desviaciones estándar en los resultados de LOAO indicaron que las métricas agregadas enmascaraban fallos graves para animales específicos, con algunos aproximándose al rendimiento de puro azar.

Contribuciones clave

1. Crítica al protocolo de evaluación: El estudio demuestra que los protocolos de evaluación comúnmente utilizados (divisiones aleatorias) sobreestiman sustancialmente las capacidades de generalización en el mundo real, particularmente cuando existen cambios temporales.
2. Paradoja de la robustez multimodal: Los autores muestran que, si bien la fusión de sensores multimodales mejora el rendimiento en los benchmarks dentro del conjunto de datos, puede reducir la robustez bajo el cambio de distribución temporal al fomentar la dependencia de correlaciones inestables y dependientes del contexto.
3. Explicabilidad para el diagnóstico: Al aplicar XAI al análisis de cambio de distribución, el estudio identifica dependencias de características específicas (aprendizaje de atajos) que siguen siendo influyentes a pesar de la degradación del rendimiento, proporcionando un mecanismo para diagnosticar modos de fallo invisibles para las métricas estándar.

Significancia y afirmaciones
El artículo argumenta que la precisión de los benchmarks por sí sola es insuficiente para evaluar la preparación para el despliegue. Los hallazgos destacan que:

• La robustez en el mundo real requiere protocolos de evaluación que prueben explícitamente la generalización a través de animales no vistos y periodos de tiempo.
• La fusión multimodal no es inherentemente beneficiosa; sin restricciones arquitectónicas o entrenamiento enfocado en la robustez, los datos de modalidades adicionales pueden introducir efectos "Clever Hans" donde los modelos explotan correlaciones espurias.
• El análisis de explicabilidad es una herramienta crítica para revelar dependencias ocultas de los modelos que conducen al fallo bajo el cambio de covariables.

Los autores concluyen que la investigación en monitoreo de ganado debe pasar de una evaluación centrada en benchmarks a una evaluación centrada en la robustez para asegurar que los sistemas sean fiables bajo condiciones de despliegue realistas.