TRACE: Thermal Recognition Attentive-Framework for CO2 Emissions from Livestock

1. O Problema

A quantificação contínua e espacialmente resolvida do dióxido de carbono (CO2) exalado por gado em livre circulação é um desafio crítico para a agricultura de precisão, nutrição animal e contabilidade de carbono em escala de fazenda.

• Limitações Atuais: Os métodos existentes (câmaras de respiração, alimentadores GreenFeed, amostradores portáteis) exigem confinamento físico, alteram o comportamento natural dos animais ou são sensíveis a condições ambientais (vento, distância), não sendo escaláveis para monitoramento contínuo em tempo real.
• Oportunidade Tecnológica: A imagem térmica de infravermelho de onda média (MWIR) permite visualizar diretamente as plumas de CO2 exalado (devido à forte absorção na faixa de 4,2–4,4 µm) sem contato físico ou marcadores químicos.
• Desafio de Visão Computacional: O obstáculo atual não é o hardware, mas a percepção: como segmentar automaticamente plumas de gás amorfas e de baixo contraste em cada quadro e, simultaneamente, classificar o fluxo de emissão (metabólico) ao longo do tempo, capturando a dinâmica do ciclo respiratório. Arquiteturas existentes focam apenas em quadros únicos ou em objetos opacos, falhando em capturar a evolução temporal do gás.

2. Metodologia: O Framework TRACE

O TRACE é um framework unificado que processa vídeos térmicos MWIR para realizar duas tarefas simultaneamente: (i) segmentação binária da pluma de CO2 quadro a quadro e (ii) classificação do fluxo de emissão (High-Flux, Control, Low-Flux) ao nível do clipe.

O sistema utiliza três componentes principais:

A. Codificador de Atenção Consciente de Gás Térmico (TGAA)

• Base: Uma estrutura de Transformer de Visão (MiT-B0) modificada.
• Inovação: Substitui os blocos de auto-atenção padrão por blocos TGAA.
• Mecanismo: Incorpora o mapa de intensidade de CO2 por pixel ($\Psi_t$), obtido fisicamente pela câmera, como um sinal de supervisão espacial.
  • Atenção Ponderada por Gás: Modula os pesos de atenção, amplificando regiões com alta intensidade de CO2.
  • Portão de Dispersão Espacial: Aplica um portão aprendido condicionado à concentração local de gás para refinar a saída, ajudando a lidar com a morfologia irregular e o baixo contraste das plumas.
• Saída: Gera mapas de características multiescala para a cabeça de decodificação de segmentação.

B. Fusão Temporal Baseada em Atenção (ATF)

• Objetivo: Capturar a dinâmica do ciclo respiratório para classificar o fluxo metabólico.
• Arquitetura: Agrega informações de três fluxos paralelos:
  1. Fluxo A: Características da máscara auxiliar.
  2. Fluxo B: Descritores temporais dos quadros (via Global Average Pooling e projeção linear).
  3. Fluxo C: Representação leve via CNN.
• Mecanismo: Utiliza atenção cruzada entre a máscara (query) e os pares chave-valor temporais, permitindo que o modelo "veja" a evolução da pluma ao longo de 16 quadros sem sobrecarga computacional excessiva.

C. Currículo de Treinamento em Quatro Estágios

Para evitar interferência de gradientes entre as tarefas de segmentação e classificação, o treinamento segue uma progressão:

1. S1(a): Aquecimento da cabeça de decodificação (encoder congelado) apenas com perda de segmentação.
2. S1(b): Descongelamento do encoder TGAA e treinamento conjunto com a cabeça de decodificação (ainda apenas segmentação).
3. S2: Alinhamento temporal. Usa um modelo VideoMAE-Small (congelado) como "professor" para pré-alinhar o fluxo temporal ATF via perda de alinhamento de características (MSE). O VideoMAE é descartado após este estágio.
4. S3: Ajuste fino end-to-end de todo o pipeline com uma função de perda conjunta (ponderada para priorizar a segmentação, mas incluindo a classificação).

3. Contribuições Principais

1. Primeiro Framework Unificado: O primeiro sistema a realizar simultaneamente segmentação de pluma de CO2 quadro a quadro e classificação de fluxo de emissão em nível de clipe a partir de vídeo térmico MWIR.
2. Mecanismo TGAA: Introduz um mecanismo de atenção condicionado fisicamente à intensidade do gás, superando a necessidade de grandes quantidades de parâmetros para capturar bordas precisas em plumas amorfas.
3. Fusão Temporal Eficiente: O módulo ATF demonstra que a modelagem temporal estruturada é essencial para discriminar estados metabólicos, superando modelos de quadro único.
4. Conjunto de Dados: Apresentação do CO2 Farm Thermal Gas Dataset, contendo vídeos MWIR de 12 bovinos com máscaras de ground-truth anotadas manualmente e mapas de intensidade de CO2 calibrados.

4. Resultados Experimentais

O TRACE foi avaliado no conjunto de dados proposto contra 15 modelos state-of-the-art (incluindo especialistas em gás como CarboFormer e Gasformer, e modelos gerais como SegFormer).

• Segmentação:
  • Alcançou um mIoU de 0,9982 e um F1 de Fronteira (BF1) de 0,9887, superando todos os baselines.
  • Com apenas 4,1 milhões de parâmetros, superou modelos até 7 vezes maiores (ex: CarboFormer-B1 com 14,4M parâmetros).
  • Reduziu o erro de localização do centróide em 10x comparado aos especialistas em gás, demonstrando precisão geométrica superior.
• Classificação de Fluxo:
  • Alcançou acurácia de 0,827 e Kappa de Cohen de 0,741.
  • Superou significativamente modelos de quadro único (que falharam em discriminar fluxos, $\kappa \le 0,334$) e modelos de vídeo genéricos.
• Eficiência: O TRACE ocupa uma posição de fronteira de Pareto única, oferecendo a melhor precisão com o menor número de parâmetros.
• Estudos de Ablação: Confirmaram que cada componente é essencial:
  • Remover o TGAA degradou drasticamente a precisão das bordas.
  • Remover o módulo temporal (ATF) colapsou a classificação de fluxo.
  • O treinamento end-to-end foi crucial para a performance final.

5. Significado e Impacto

O TRACE estabelece um caminho prático para o monitoramento não invasivo, contínuo e por animal de emissões de CO2 em escala comercial.

• Aplicações: Permite a detecção precoce de doenças, otimização da nutrição de precisão e monitoramento de bem-estar animal.
• Sustentabilidade: Facilita a contabilidade de carbono em fazendas, essencial para a mitigação das emissões de gases de efeito estufa da pecuária.
• Futuro: O trabalho abre caminho para a quantificação de emissões baseada em regressão, rastreamento de múltiplos animais simultaneamente e implementação em tempo real em dispositivos de borda (edge devices).

Em resumo, o TRACE resolve um problema de percepção complexo ao combinar física óptica (intensidade do gás) com arquiteturas de atenção profundas e treinamento curricular, superando as limitações de métodos anteriores e oferecendo uma solução escalável para a agricultura sustentável.