TRACE: Thermal Recognition Attentive-Framework for CO2 Emissions from Livestock

Resumen Técnico: TRACE

1. El Problema

La cuantificación precisa del dióxido de carbono (CO2) exhalado por el ganado vacuno en libertad es fundamental para dos razones principales:

1. Salud y Nutrición: El volumen, ritmo e intensidad de las nubes de CO2 exhalado reflejan el estado metabólico del animal (rumiación activa, fermentación pico o reposo), lo cual es crucial para la nutrición de precisión y la detección temprana de enfermedades.
2. Contabilidad de Carbono: El ganado es una fuente dominante de emisiones de gases de efecto invernadero en la agricultura. Se necesitan datos de flujo por animal para realizar una contabilidad de carbono a nivel de granja.

Limitaciones actuales:

• Los métodos existentes (cámaras de respiración, alimentadores GreenFeed, muestreadores portátiles) requieren confinamiento, alteran el comportamiento natural del animal o son sensibles a condiciones ambientales como el viento.
• La imagen térmica de infrarrojos de onda media (MWIR) ofrece una solución física: el CO2 absorbe fuertemente en la banda de 4.2–4.4 µm, haciendo visible el aliento como una pluma térmica sin necesidad de marcadores químicos ni contacto físico.
• El desafío no es de hardware, sino de percepción: No existen sistemas de visión por computadora capaces de segmentar continuamente estas plumas gaseosas (que son amorfas, de bajo contraste y semi-transparentes) y clasificar su flujo de emisión a nivel de secuencia temporal.

2. Metodología: El Marco TRACE

TRACE es el primer marco unificado que aborda simultáneamente la segmentación de la pluma de CO2 por cuadro y la clasificación del flujo de emisión a nivel de clip a partir de video térmico MWIR.

El sistema toma como entrada un clip de $T$ cuadros térmicos ($V$) y un mapa de intensidad de CO2 por píxel ($\Psi$) registrado físicamente por la cámara (no derivado de máscaras de ground-truth).

Componentes Clave:

1. Codificador de Atención Consciente del Gas Térmico (TGAA):

   • Basado en la arquitectura Mix Vision Transformer (MiT-B0), pero reemplaza los bloques de autoatención estándar con bloques TGAA.
   • Mecanismo: Utiliza la intensidad física del gas ($\Psi$) como señal de supervisión espacial.
   • Atención Ponderada por Gas: Modula las puntuaciones de atención estándar multiplicándolas por la intensidad del gas en cada parche, dirigiendo la atención del modelo hacia las regiones densas de la pluma.
   • Puerta de Dispersión Espacial: Aplica una puerta aprendida condicionada a la concentración local de gas para refinar la salida contextual, ayudando a delimitar bordes difusos.

2. Fusión Temporal Basada en Atención (ATF):

   • Diseñado para capturar la dinámica del ciclo respiratorio (que dura varios segundos).
   • Agrega información de tres flujos paralelos:
     • Stream A: Características de la máscara auxiliar.
     • Stream B: Descriptores temporales de los cuadros (mediante pooling global).
     • Stream C: Representación de una red CNN ligera.
   • Utiliza atención cruzada entre cuadros para fusionar la información temporal sin sobrecarga computacional excesiva, permitiendo distinguir entre estados de flujo alto, control y bajo.

3. Currículo de Entrenamiento Progresivo (4 Etapas):
   Para evitar la interferencia de gradientes entre la segmentación (tarea densa) y la clasificación (tarea global), TRACE se entrena en fases:

   • S1(a) y S1(b): Calentamiento y entrenamiento conjunto de la segmentación (con el codificador TGAA).
   • S2: Alineación temporal. Utiliza un modelo VideoMAE-Small congelado como "maestro" para pre-entrenar el módulo ATF, alineando sus características temporales. Este modelo maestro se descarta en la inferencia.
   • S3: Ajuste fino (fine-tuning) de todo el pipeline de extremo a extremo con una función de pérdida combinada (segmentación + clasificación).

3. Contribuciones Clave

• Primera solución unificada: Integra segmentación espacial y clasificación temporal de flujo de emisiones de CO2 en un solo marco.
• Atención condicionada por física: Introduce el TGAA, que utiliza la intensidad física del gas ($\Psi$) para guiar la atención, logrando una localización de bordes superior a los métodos puramente visuales.
• Eficiencia y Rendimiento: Logra un rendimiento superior con solo 4.1 millones de parámetros, superando a modelos especializados mucho más grandes (hasta 7 veces más grandes).
• Nueva Metodología de Entrenamiento: El currículo de 4 etapas demuestra ser esencial para estabilizar el aprendizaje de tareas duales en datos térmicos complejos.

4. Resultados Experimentales

El modelo fue evaluado en el CO2 Farm Thermal Gas Dataset (12 vacas, video MWIR real) contra 15 modelos de última generación (incluyendo CarboFormer, Gasformer, SegFormer, etc.).

• Segmentación:

  • mIoU (Intersección sobre Unión Media): 0.9982 (el mejor en todas las métricas).
  • Precisión de Borde (BF1): 0.9887.
  • Error de Localización del Centroid (CLE): 0.021 píxeles (10 veces mejor que los especialistas en gas).
  • TRACE supera a los modelos de gas especializados y a los transformadores generales, incluso cuando estos últimos se les añade el canal de intensidad $\Psi$ como entrada extra.

• Clasificación de Flujo (Alto, Control, Bajo):

  • Precisión: 0.827.
  • Coeficiente Kappa ($\kappa$): 0.741.
  • Supera significativamente a los modelos basados en cuadros individuales (que fallan en distinguir el flujo) y a los modelos de video genéricos (como TimeSformer o R3D) que no están adaptados a las plumas térmicas.

• Análisis de Ablación:

  • Sin TGAA, la precisión de los bordes cae drásticamente (-49 pp en BF1).
  • Sin el módulo temporal (ATF), la clasificación colapsa (-44.7 pp en $\kappa$).
  • Sin el entrenamiento conjunto (E2E), la calidad de la clasificación cae casi a cero, confirmando que la retroalimentación mutua entre tareas es vital.

5. Significado e Impacto

• Monitoreo No Invasivo a Escala: TRACE establece una ruta práctica para el monitoreo continuo de CO2 por animal en granjas comerciales utilizando cámaras térmicas aéreas, sin necesidad de contacto físico ni confinamiento.
• Avance en Visión por Computadora: Demuestra que incorporar señales físicas (intensidad de gas) directamente en los mecanismos de atención de los transformadores es superior a la concatenación simple de canales.
• Sostenibilidad Agrícola: Proporciona la herramienta necesaria para una contabilidad de carbono precisa y la optimización de la salud del ganado, abordando un problema que antes se consideraba no resuelto por la visión por computadora.

En resumen, TRACE representa un salto cualitativo en la intersección entre la detección de gases, la visión térmica y el aprendizaje profundo, logrando un equilibrio óptimo (Pareto) entre precisión, eficiencia computacional y capacidad de generalización temporal.