Technische Samenvatting: AnyThermal en TartanRGBT

1. Probleemstelling

Thermische beeldvorming biedt robuustheid tegen lichtomstandigheden en weersomstandigheden, wat cruciaal is voor veerkrachtige autonomie in zoek- en reddingsoperaties, autonoom rijden en surveillance. Echter, in tegenstelling tot RGB-data, lijdt thermische data onder een ernstig tekort aan grootschalige, diverse datasets. Bestaande thermische feature extractors vertrouwen doorgaans op taakspecifieke training met kleinschalige data of passen vooraf getrainde RGB-backbones aan. Deze benaderingen resulteren in modellen die beperkt zijn tot specifieke omgevingen en taken. Bovendien werd kennisdistillatie van visuele foundation models (bijv. DINOv2) naar het thermische domein in eerdere werken beperkt door een gebrek aan diverse trainingsdata, waarbij vaak werd vertrouwd op datasets uit een enkele omgeving, wat de generaliseerbaarheid van de resulterende thermische encoders beperkt.

2. Methodologie

A. AnyThermal: Taak-agnostische Thermische Encoder

De kernbijdrage is AnyThermal, een thermische backbone ontworpen om robuuste, taak-agnostische features te extraheren.

• Architectuur: AnyThermal is gebaseerd op de DINOv2 Vision Transformer (ViT-B/14).
• Trainingsstrategie (Kennisdistillatie): De auteurs maken gebruik van een teacher-student distillatiekader.
  • Teacher: Een bevroren DINOv2-netwerk geïnitialiseerd met pre-trained gewichten, dat RGB-beelden verwerkt.
  • Student: Een trainbaar DINOv2-netwerk (AnyThermal), geïnitialiseerd met dezelfde gewichten, dat thermische beelden verwerkt (geconverteerd van grijswaarden naar 3 kanalen).
  • Loss Functie: Een contrastieve loss wordt toegepast op de CLS-token features van de laatste laag. Dit brengt de globale semantiek van corresponderende RGB-thermische paren in lijn zonder dat lage-niveau cues zoals kleur nodig zijn. Deze aanpak verlicht de beperkingen op exacte beelduitlijning of synchronisatie, wat het geschikt maakt voor datasets waar perfecte registratie niet beschikbaar is.
• Trainingsdata: De distillatie maakt gebruik van een combinatie van vijf datasets verspreid over vier verschillende omgevingen: Stedelijk (ViVID++, STheReO, Freiburg), Lucht (Boson Nighttime), Binnen en Off-road.

B. TartanRGBT Platform en Dataset

Om de diversiteitskloof in bestaande RGB-Thermische (RGB-T) data aan te pakken, hebben de auteurs het volgende ontwikkeld:

• TartanRGBT Platform: Een open-source, hardware-gesynchroniseerde datacollectie payload. Het integreert een ZEDx stereo RGB-camera en twee FLIR Boson 640+ stereo thermische camera's, die allemaal tijd-gesynchroniseerd zijn via een triggerpuls van een capture card. Het systeem draait op een NVIDIA Jetson AGX Orin en is gehuisvest in een op maat gemaakte 3D-geprinte behuizing met actieve koeling.
• TartanRGBT Dataset: Een diverse, gebalanceerde dataset met 16.943 gesynchroniseerde RGB-T paren verzameld in vier omgevingen: residentieel/campus (stedelijk), binnen, off-road, en paden/parken.
• Dataverwerking: De dataset bevat stereo RGB, stereo thermische en IMU-data. Voor training genereren de auteurs geregistreerde RGB-T paren met behulp van FoundationStereo om dense depth uit RGB te schatten, wat vervolgens wordt gebruikt om thermische pixels terug te projecteren en uit te lijnen.

C. Downstream Taakadaptatie

AnyThermal wordt geëvalueerd als een feature extractor gecombineerd met taakspecifieke heads:

• Cross-Modal Place Recognition (VPR): Gebruikt een SALAD-head getraind met triplet margin loss.
• Thermische Segmentatie: Gebruikt een twee-laagse niet-lineaire MLP-head getraind met Dice loss.
• Monoculaire Thermische Diepte-inschatting: Past het MiDaS-framework aan, waarbij de EfficientNet-backbone wordt vervangen door AnyThermal en gebruik wordt gemaakt van multiscale patch features.

3. Belangrijkste Bijdragen

1. AnyThermal: Een taak-agnostische thermische feature extractor die state-of-the-art prestaties levert over diverse omgevingen en taken zonder taakspecifieke pre-training van de backbone.
2. TartanRGBT Platform: Het eerste open-source datacollectieplatform voor het gelijktijdig vastleggen van gesynchroniseerde stereo RGB en stereo thermische beelden.
3. TartanRGBT Dataset: Een diverse, gebalanceerde dataset die indoor, lucht, off-road en stedelijke omgevingen beslaat, ontworpen om de diversiteitskloof voor thermisch onderzoek te overbruggen.

4. Resultaten

De auteurs evalueren AnyThermal op zero-shot en taakspecifieke benchmarks, waarbij significante verbeteringen worden getoond ten opzichte van bestaande baselines:

• Cross-Modal Place Recognition: Op diverse zero-shot datasets (CART, MS2, OdomBeyondVision) presteert AnyThermal met een VPR-head beter dan alle baselines, inclusief bevroren DINOv2, ImageBind en SGM. Opvallend genoeg bereikt het een verbetering van wel 36% in Recall@1 vergeleken met baselines in bepaalde omgevingen. De resultaten benadrukken dat bevroren RGB extractors suboptimaal zijn voor thermische queries en dat distillatie op diverse data cruciaal is.
• Thermische Segmentatie: Op de MF-Net dataset bereikt AnyThermal een state-of-the-art mIoU van 53,47%, waarmee het de vorige beste (MCNET met 51,95%) verslaat, terwijl het 3,6x sneller is (6,79 FPS vs 1,88 FPS) op een NVIDIA ORIN AGX.
• Monoculaire Diepte-inschatting: Op de MS2 dataset behaalt AnyThermal de laagste foutmetrieken (AbsRel: 0,0883) vergeleken met EfficientNet-lite3 en bevroren DINOv2 backbones.
• Data Diversiteit vs. Schaal: Een ablatieonderzoek naar de schaling van pre-training data onthult dat het simpelweg toevoegen van meer data uit vergelijkbare domeinen (bijv. meer stedelijke data) een afnemend rendement oplevert. In contrast hiermee verbetert het toevoegen van de diverse TartanRGBT dataset de prestaties consistent over alle taken en omgevingen, wat bevestigt dat data diversiteit belangrijker is dan schaal voor het bouwen van robuuste thermische feature extractors.

5. Betekenis en Claims

Het artikel claimt dat AnyThermal succesvol de kloof overbrugt tussen de overvloed aan RGB foundation models en de schaarste aan thermische data. Door gebruik te maken van kennisdistillatie over een diverse set omgevingen, demonstreren de auteurs dat een enkele thermische backbone effectief kan generaliseren naar taken zoals plaatsherkenning, segmentatie en diepte-inschatting zonder dat taakspecifieke training van de backbone nodig is.

De introductie van het TartanRGBT platform en dataset wordt gepresenteerd als een fundamentele stap om de drempel voor de onderzoekscommunity te verlagen bij het verzamelen van hoogwaardige, gesynchroniseerde RGB-T data. De auteurs stellen dat hun werk een nieuwe standaard zet voor thermische perceptie, waarbij de focus verschuift van smalle, omgeving-specifieke modellen naar universele, robuuste representaties. Zij concluderen dat hoewel er prestatiewinst is door het schalen van data, de primaire drijfveer voor generalisatie de diversiteit van de trainingsomgevingen is, een principe dat wordt gevalideerd door de superieure prestaties van modellen die getraind zijn op de gecombineerde, diverse dataset inclusief TartanRGBT.