When Multi-Sensor Fusion Fails to Generalize: Cattle Posture Classification Under Animal-Level and Temporal Distribution Shift

Resumo Técnico: Quando a Fusão de Multissensores Falha em Generalizar: Classificação da Postura de Bovinos sob Desvio de Distribuição ao Nível do Animal e Temporal

Definição do Problema
Sistemas automatizados de classificação de postura de bovinos (distinguindo deitado de em pé) frequentemente relatam uma acurácia quase perfeita (F1 > 0,9) na literatura. No entanto, essas estimativas baseiam-se frequentemente em protocolos de avaliação que permitem o vazamento de dados (ex: divisões aleatórias onde o mesmo animal aparece tanto no conjunto de treino quanto no de teste) e falham em considerar desvios de distribuição temporal. Permanece incerto se a fusão de sensores multimodais — combinando dados de movimento com sinais fisiológicos e ambientais — melhora a generalização ou leva os modelos a depender de sinais de "atalho" dependentes de contexto que falham quando as condições de implantação mudam (ex: anos diferentes, rebanhos ou contextos ambientais).

Metodologia
O estudo utilizou um conjunto de dados de um rebanho de gado de corte em pastagem coletado ao longo de dois anos consecutivos (2024 e 2025) na Alemanha.

• Modalidades de Dados:
  • Movimento: Acelerômetros de colar (contagens de ticks de IMU em seis limiares) e distância percorrida derivada de GPS.
  • Fisiológico: Sensores de bolo ruminal (temperatura interna e sinais de ruminação) para um subconjunto de animais.
  • Ambiental: Dados de estação meteorológica (temperatura, umidade, vento, radiação solar, temperatura do solo).
• Modelos: O XGBoost serviu como o modelo primário, com Regressão Logística, Random Forest e redes LSTM sendo utilizados como baselines.
• Protocolos de Avaliação: Os autores avaliaram a robustez sob quatro protocolos progressivamente mais rigorosos:
  1. Divisões Aleatórias ao Nível de Observação: Divisões tradicionais de treino-teste aleatórias (permitindo sobreposição de indivíduos).
  2. Divisões Estratificadas Agrupadas: Divisões de nível de animal dentro do mesmo ano (2024).
  3. Leave-One-Animal-Out (LOAO): Treino em todos exceto um animal, testando no indivíduo retido (dentro do mesmo ano).
  4. Transferência Temporal entre Anos: Treino no conjunto completo de 2024 e teste em uma coorte independente de 2025 (introduzindo desvios de distribuição tanto ao nível do animal quanto temporal).
• Análise: O desempenho foi medido via Macro-F1 e Acurácia Balanceada. A explicabilidade foi avaliada via valores SHAP (SHapley Additive exPlanations) para identificar dependências de características. O desvio de distribuição foi quantificado usando PCA e um classificador de domínio (ROC-AUC) para medir a separabilidade entre os anos.

Resultos Principais

• Superestimação de Desempenho: Sob divisões aleatórias ao nível de observação, o modelo multimodal alcançou um Macro-F1 de 0,99. Sob divisões agrupadas de nível de animal dentro do mesmo ano, o desempenho permaneceu alto (0,94). No entanto, sob avaliação LOAO, o desempenho caiu (0,89) e, sob transferência entre anos, colapsou para 0,49.
• A Fusão Multimodal Reduz a Robustez: Contrariando a hipótese de que dados adicionais melhoram a generalização, os modelos multimodais apresentaram desempenho inferior ao modelo apenas com o colar sob desvio temporal. O modelo apenas com o colar alcançou um Macro-F1 de 0,54 no teste entre anos, superando todas as configurações multimodais (0,49).
• Aprendizado de Atalho (Shortcut Learning): A análise SHAP revelou que os modelos multimodais persistiram em depender fortemente da atividade do bolo ruminal e de variáveis ambientais, mesmo quando o desempenho preditivo deteriorou. Essas características atuaram como proxies dependentes de contexto das condições de registro de 2024, em vez de indicadores robustos de postura.
• Desvio de Distribuição: PCA e classificação de domínio confirmaram desvios de covariáveis substanciais entre os conjuntos de dados de 2024 e 2025. Notavelmente, mesmo as características de apenas movimento (dados do colar) exibiram desvios distributivos significativos entre os anos, contribuindo para a queda de desempenho.
• Variabilidade Individual: Altos desvios padrão nos resultados de LOAO indicaram que métricas agregadas mascararam falhas severas para animais específicos, com alguns aproximando-se do desempenho ao acaso.

Principais Contribuições

1. Crítica ao Protocolo de Avaliação: O estudo demonstra que os protocolos de avaliação comumente usados (divisões aleatórias) superestimam substancialmente as capacidades de generalização no mundo real, particularmente quando existem desvios temporais.
2. Paradoxo da Robustez Multimodal: Os autores mostram que, embora a fusão de sensores multimodais melhore o desempenho em benchmarks dentro do mesmo conjunto de dados, ela pode reduzir a robustez sob desvio de distribuição temporal ao incentivar a dependência de correlações instáveis e específicas de contexto.
3. Explicabilidade para Diagnóstico: Ao aplicar XAI para análise de desvio de distribuição, o estudo identifica dependências de características específicas (aprendizado de atalho) que permanecem influentes apesar da degradação do desempenho, fornecendo um mecanismo para diagnosticar modos de falha invisíveis a métricas padrão.

Significância e Alegações
O artigo argumenta que a acurácia de benchmark sozinha é insuficiente para avaliar a prontidão de implantação em monitoramento de gado. As descobertas destacam que:

• A robustez no mundo real exige protocolos de avaliação que testem explicitamente a generalização entre animais não observados e períodos de tempo distintos.
• A fusão multimodal não é inerentemente benéfica; sem restrições arquiteturais ou treinamento focado em robustez, modalidades adicionais podem introduzir efeitos "Clever Hans", onde os modelos exploram correlações espúrias.
• A análise de explicabilidade é uma ferramenta crítica para revelar dependências ocultas de modelos que levam à falha sob desvio de covariável.

Os autores concluem que a pesquisa em monitoramento de gado deve mudar da avaliação centrada em benchmarks para uma avaliação centrada em robustez, a fim de garantir que os sistemas sejam confiáveis sob condições reais de implantação.