TRACE: Thermal Recognition Attentive-Framework for CO2 Emissions from Livestock

Probleemstelling

Het kwantificeren van uitgeademde CO2 bij vrij rondlopende runderen is cruciaal voor precisievoeding, ziekteopsporing en koolstofboekhouding op boerenniveau. Bestaande methoden hebben echter ernstige beperkingen:

• Respiratiekamers: Vereisen fysieke opsluiting en schalen niet naar commerciële kuddes.
• GreenFeed-systemen: Veranderen het natuurlijke voergedrag en vereisen minimaal aantal bezoeken.
• Draagbare monsters: Zijn gevoelig voor wind en afstand.
• Thermische beeldvorming: Hoewel middengolf-infrarood (MWIR) camera's CO2-pluimen direct zichtbaar maken (door absorptie bij 4,2–4,4 µm) zonder chemische markers, ontbreekt er een computerzicht-systeem dat zowel de pluim per frame kan segmenteren als de emissiestroom (flux) over tijd kan classificeren. Bestaande modellen negeren vaak de dynamiek van het ademhalingstelsel of zijn niet specifiek ontworpen voor de amorfische, laag-contrast aard van thermische gaspluimen.

Methodologie: TRACE Framework

TRACE is een unificerend raamwerk dat twee taken tegelijkertijd uitvoert op MWIR-thermische video:

1. Per-frame segmentatie: Het segmenteren van de CO2-pluim in elke frame.
2. Clip-level classificatie: Het classificeren van de emissiestroom (High-Flux, Control, Low-Flux) op basis van een video-clip.

Het systeem bestaat uit drie kerncomponenten:

1. Thermal Gas-Aware Attention (TGAA) Encoder

Dit is een aangepaste Vision Transformer-encoder die gasintensiteit gebruikt als ruimtelijk supervisie-signaal.

• Gas-gewogen attention: In plaats van standaard self-attention, moduleren de blokken de attention-scores op basis van de per-pixel CO2-intensiteit ($\Psi$). Gebieden met hoge gasintensiteit krijgen hogere attention-weights, waardoor het model zich richt op pluim-dichte regio's.
• Ruimtelijke dispersie-poort (Spatial Dispersion Gate): Een leerbaar mechanisme dat de geaggregeerde waarden opnieuw vormgeeft en filtert op basis van lokale gasconcentratie. Dit helpt bij het definiëren van de randen van de pluim, die vaak vaag zijn.
• Architectuur: Gebaseerd op MiT-B0, maar vervangt standaard blokken door TGAA-blokken.

2. Attention-based Temporal Fusion (ATF) Module

Deze module vangt de dynamiek van het ademhalingstelsel (breath-cycle) op voor flux-classificatie.

• Drie parallelle streams:
  • Stream A: Auxiliary mask features (uit de segmentatie).
  • Stream B: Temporele frame-beschrijvers (via Global Average Pooling van de encoder).
  • Stream C: Een lichtgewicht CNN-representatie.
• Cross-frame attention: De module berekent attention tussen de mask-query (Stream A) en de temporeel gecodeerde keys/values (Stream B). Een leerbare parameter ($\beta_C$) bepaalt hoe de CNN-stream de output corrigeert, wat een complementaire ruimtelijke prior biedt.

3. Vier-staps Trainingscurriculum

Om gradient-interferentie tussen segmentatie en classificatie te voorkomen, wordt het model in vier fasen getraind:

• S1(a): Warm-up van de decode-head (encoder vastgezet) met alleen segmentatieverlies.
• S1(b): Vastzetten van de TGAA-encoder en gezamenlijke training van encoder, decode-head en ATF met segmentatiedoel.
• S2: Gebruik van een bevroren VideoMAE-Small als 'teacher' om de ATF-temporele stream te aligneren via een MSE-verlies. VideoMAE wordt na deze fase verwijderd en niet gebruikt bij inferentie.
• S3: Volledige end-to-end training met een gecombineerd verlies: $L_{total} = \lambda_{seg} (L_{BCE} + L_{Dice}) + \lambda_{cls} L_{CE}$. De weging is zwaarder op segmentatie ($\lambda_{seg}=1.0$) om de lokalisatie niet te schaden.

Belangrijkste Bijdragen

1. Eerste Unified Framework: TRACE is het eerste systeem dat per-frame CO2-pluimsegmentatie en clip-level flux-classificatie op MWIR-video koppelt.
2. Domain-Specifieke Innovaties:
   • Introductie van TGAA, die fysieke gasintensiteit direct in de attention-mechanisme integreert voor superieure randdetectie.
   • Ontwikkeling van ATF voor het modelleren van ademhalingscyclus-dynamiek zonder per-frame overhead.
3. Efficiëntie: Het model bereikt state-of-the-art resultaten met slechts 4,1 miljoen parameters, wat aanzienlijk lager is dan veel concurrenten (bijv. CarboFormer-B1 heeft 14,4M parameters).

Resultaten

Het model is getest op de CO2 Farm Thermal Gas Dataset (12 runderen, MWIR-video) tegen 15 state-of-the-art baselines.

• Segmentatie:
  • TRACE bereikt een mIoU van 0,998 en een Boundary F1 (BF1) van 0,989.
  • Het presteert beter dan gespecialiseerde gas-segmentatoren (zoals Gasformer en CarboFormer) en algemene transformers, ondanks dat deze vaak 3 tot 7 keer meer parameters hebben.
  • Het reduceert de centroid-localisatiefout (CLE) tot 0,021 px, wat 10x beter is dan gespecialiseerde baselines.
• Classificatie (Flux):
  • TRACE bereikt een Accuracy van 0,827, Cohen's $\kappa$ van 0,741 en Gini van 0,882.
  • Gespecialiseerde gas-modellen (die geen temporele logica hebben) presteren slecht ($\kappa \leq 0,334$), wat aantoont dat temporele context essentieel is.
• Ablatiestudies:
  • Het verwijderen van TGAA zorgt voor een enorme daling in randkwaliteit (BF1 daalt van 0,989 naar 0,495).
  • Het verwijderen van temporele modellering (ATF) doet de classificatie-performance instorten ($\kappa$ daalt van 0,741 naar 0,294).
  • Het gebruik van VideoMAE als teacher (S2) verbetert de classificatie met 5,9 procentpunten.

Betekenis en Toekomstperspectief

TRACE stelt een praktische weg open voor niet-invasieve, continue en per-dier CO2-monitoring in commerciële landbouwsettingen via overhead thermische camera's.

• Impact: Het lost het probleem op van het schalen van emissiemetingen zonder fysieke beperkingen van dieren.
• Toekomst: Hoewel het huidige dataset beperkt is tot één boerderij, biedt het een solide basis voor uitbreiding naar verschillende rassen, seizoenen en weersomstandigheden. Mogelijke volgende stappen zijn regressie voor exacte emissiekwantificering, multi-dier tracking en real-time inferentie aan de rand (edge computing).

Kortom, TRACE bewijst dat door het combineren van fysiek geïnformeerde attention-mechanismen met temporele redenering, zeer nauwkeurige en efficiënte monitoring van dierlijke emissies mogelijk is.