💻 computer science

Revisiting RGBT Tracking Benchmarks from the Perspective of Modality Validity: A New Benchmark, Problem, and Solution

Deze paper introduceert het nieuwe MV-RGBT-benchmark voor RGBT-tracking in uitdagende multimodale weersomstandigheden, stelt het probleem van 'wanneer te fuseren' aan de orde en presenteert MoETrack, een oplossing met een mix van experts die aantoont dat fusie niet altijd voordelig is.

Oorspronkelijke auteurs: Zhangyong Tang, Tianyang Xu, Zhenhua Feng, Xuefeng Zhu, Chunyang Cheng, Xiao-Jun Wu, Josef Kittler

Gepubliceerd 2026-03-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhangyong Tang, Tianyang Xu, Zhenhua Feng, Xuefeng Zhu, Chunyang Cheng, Xiao-Jun Wu, Josef Kittler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een spoorzoeker bent die een verdwaald kind moet vinden in een druk park. Normaal gesproken gebruik je je ogen (de RGB-camera) om het kind te zien. Maar wat als het donker wordt, of als er een dikke mist opsteekt? Dan werken je ogen niet meer goed. Gelukkig heb je ook een warmtebeeldbril (de TIR-camera) die warmte ziet, zelfs in het donker.

Meestal denken onderzoekers: "Als we beide apparaten tegelijk gebruiken, is dat altijd het beste!" Ze bouwen dus een super-spookzoeker die alle informatie van beide camera's samenvoegt.

Maar in dit nieuwe onderzoek zeggen de auteurs: "Wacht even, dat is niet altijd slim."

Hier is een simpele uitleg van hun ontdekking, hun nieuwe test en hun oplossing, vertaald naar alledaags taal:

1. Het Probleem: De "Te Goede" Test

Tot nu toe zijn alle tests voor deze spoorzoekers gedaan in perfecte omstandigheden: helder weer, daglicht, geen obstakels. Het is alsof je een auto test op een lege, zonnige racebaan. Dat is leuk, maar het zegt je niets over hoe de auto presteert als het stormt of als de banden lek zijn.

De auteurs zeggen: "De huidige tests zijn nep. Ze laten niet zien wat er gebeurt als één van de camera's faalt."

De oplossing: Ze hebben een nieuwe testbaan gebouwd genaamd MV-RGBT. Dit is een verzameling video's die alleen zijn opgenomen in slechte omstandigheden: zware mist, complete duisternis, of situaties waar glas de warmtebeeldcamera verblindt. Het is de "extreme sport" van het volgen van objecten.

2. De Nieuwe Vraag: "Moeten we samenvoegen?"

In de oude tests was het antwoord altijd: "Ja, mix alles!" Maar in deze extreme situaties kan samenvoegen juist kwaad doen.

De Analogie van de Gids:
Stel je voor dat je door een dichte mist loopt met twee gidsen:

Gids A (RGB): Ziet niets, maar praat luid en duidelijk over de weg die hij denkt dat het is.
Gids B (TIR): Ziet perfect door de mist, maar is een beetje stil.

Als je de stemmen van beide gidsen door elkaar haalt (samenvoegt), hoor je misschien een onduidelijk gemompel en loop je de verkeerde kant op. Het is beter om gewoon naar Gids B te luisteren en Gids A te negeren.

De auteurs stellen een nieuw probleem: "Wanneer moeten we samenvoegen?" Soms is één camera zo slecht, dat het beter is om die helemaal te negeren en alleen op de goede camera te vertrouwen.

3. De Oplossing: De "Experten-Club" (MoETrack)

Om dit op te lossen, hebben ze een slimme robot genaamd MoETrack bedacht. In plaats van één robot die alles probeert te doen, hebben ze een team van drie experts:

De RGB-Expert: Kijkt alleen met de gewone camera.
De TIR-Expert: Kijkt alleen met de warmtecamera.
De Gemengde Expert: Kijkt met beide camera's tegelijk.

Elke expert doet zijn eigen werk en zegt daarna: "Ik denk dat ik het goed heb, en ik ben 80% zeker" (of 30%, of 90%).

De Beslissing:
De robot kijkt naar de zekerheidsscores.

Als de mist te dik is voor de RGB-camera, zal de RGB-Expert een lage score geven. De TIR-Expert geeft een hoge score. De robot kiest dan automatisch de TIR-Expert en negeert de andere twee.
Als het weer perfect is, geven beide experts hoge scores, en de Gemengde Expert (die alles combineert) wint vaak omdat hij de beste informatie heeft.

Het is alsof je een team hebt dat slim schakelt tussen de beste gids, afhankelijk van het weer, in plaats van altijd naar alle drie te luisteren.

4. Wat hebben ze ontdekt?

Samenvoegen is niet altijd goed: In extreme situaties (zoals zware mist) kan het samenvoegen van slechte en goede data de prestaties juist verslechteren.
De nieuwe test is de waarheid: Op hun nieuwe, moeilijke test (MV-RGBT) werken de oude methoden slecht, maar hun nieuwe robot (MoETrack) doet het fantastisch.
Beter dan de rest: Ze hebben getoond dat hun robot niet alleen op hun eigen test, maar ook op de oude, "gemakkelijke" tests beter presteert dan alle andere robots.

Conclusie

Deze paper leert ons een belangrijke les: Meer informatie is niet altijd beter. Soms moet je weten wanneer je een slechte bron moet negeren. Met hun nieuwe test en hun slimme "experten-team" maken ze het mogelijk om camera-systemen te bouwen die echt betrouwbaar zijn, zelfs als het stormt, mistig is of donker is.

Kortom: Ze hebben de "perfecte weersvoorspelling" voor robot-oogjes bedacht, zodat ze weten wanneer ze hun bril moeten afzetten en wanneer ze hem juist moeten dragen.

Probleemstelling

Bestaande benchmarks voor RGBT-tracking (het volgen van objecten met zowel zichtbaar licht/RGB als thermische infrarood/TIR sensoren) vertonen een fundamentele tekortkoming. De meeste datasets (zoals GTOT, RGBT234, LasHeR) zijn verzameld in "gewone" scenario's waar zowel de RGB- als de TIR-beelden van hoge kwaliteit zijn. Dit betekent dat ze niet representatief zijn voor Multi-Modality Warranting (MMW) scenario's, zoals nachtelijke omstandigheden, zware mist, overbelichting of reflecties.

In deze MMW-scenario's is vaak één modality (bijv. RGB bij nacht) onbruikbaar of "niet-informatief", terwijl de andere (TIR) nog steeds functioneert. Bestaande methoden passen echter vaak een vaste fusiestrategie toe waarbij informatie van beide kanalen altijd wordt gecombineerd. Het paper stelt dat deze ondoordachte fusie in MMW-scenario's contraproductief kan zijn: het toevoegen van ruis of irrelevante data van een defecte modality kan de trackingprestaties zelfs verslechteren. Er is dus een gebrek aan benchmarks die deze extreme omstandigheden testen en een strategie die bepaalt wanneer fusie wel of niet nodig is.

Methodologie: MoETrack

Om dit probleem aan te pakken, stellen de auteurs een nieuwe methode voor genaamd MoETrack (Mixture of Experts Tracker). In plaats van een vaste fusie, gebruikt MoETrack een "Mixture of Experts" architectuur op beslissingsniveau.

Architectuur:
- Het model bevat drie onafhankelijke "experts" (tracking heads) die parallel werken:
  - RGB Expert: Verwerkt alleen de RGB-input.
  - TIR Expert: Verwerkt alleen de TIR-input.
  - RGBT Expert: Verwerkt de gefuseerde input (via element-wise optelling van features).
- De backbone is gebaseerd op een Transformer (ViT-base), waarbij de features worden verwerkt en vervolgens naar de drie specifieke heads worden geleid.
Beslissingsmechanisme (Wanneer te fuseren?):
- Tijdens de inferentie genereert elke expert een voorspelling (bounding box) en een bijbehorende vertrouwensscore (confidence score), gebaseerd op de maximale waarde van de classificatiekaart.
- De uiteindelijke voorspelling wordt bepaald door de expert met de hoogste vertrouwensscore te selecteren.
- Als de RGBT-expert de hoogste score heeft, wordt er gefuseerd. Is de RGB- of TIR-expert betrouwbaarder (bijvoorbeeld omdat de andere modality onbruikbaar is), dan wordt die enkele modality geselecteerd. Dit lost het probleem op van "wanneer te fuseren" zonder dat er een aparte classifier nodig is om de datakwaliteit te beoordelen.
Training:
- De loss wordt berekend als het gemiddelde van de losses van de drie experts ( $l_{rgb} + l_{tir} + l_{rgbt})/3$ . Dit zorgt ervoor dat elke expert gespecialiseerd raakt in zijn eigen taak, terwijl het gefuseerde model profiteert van de extra features.

Nieuwe Benchmark: MV-RGBT

De auteurs introduceren een nieuwe dataset, MV-RGBT, specifiek ontworpen om MMW-scenario's te dekken.

Datacollectie: Alle video's zijn opgenomen in uitdagende omstandigheden (mist, nacht, TIR-truncatie, TIR-reflexies, achtergrondclutter).
Diversiteit: De dataset bevat 122 video-paren met 36 objectcategorieën en 19 verschillende scènes.
Structuur: De dataset kan worden onderverdeeld in twee subsets op basis van welke modality informatief is:
- MV-RGBT-RGB: Waar RGB dominant is (TIR is minder bruikbaar).
- MV-RGBT-TIR: Waar TIR dominant is (RGB is onzichtbaar of vervormd, bijv. door mist of nacht).
Alignatie: Er wordt gebruikgemaakt van LoFTR voor key-point alignatie, aangevuld met handmatige annotatie waar nodig om perfecte synchronisatie tussen RGB en TIR te garanderen.

Resultaten

Uitgebreide experimenten tonen aan dat MoETrack state-of-the-art (SOTA) resultaten bereikt:

Prestaties op Bestaande Benchmarks: MoETrack behaalt nieuwe records op RGBT234, LasHeR, VTUAV-ST en GTOT, vaak met een significant hogere Success Rate (SR) en Precision Rate (PR) dan concurrenten zoals GMMT, BAT en ViPT.
Prestaties op MV-RGBT: Op de nieuwe benchmark overtreft MoETrack alle andere methoden met een grote marge (bijv. +2.3% PR en +2.2% SR ten opzichte van de tweede beste).
Ablatie-studies:
- Het tonen van de prestaties van individuele experts (MoETrack-RGB, MoETrack-TIR) versus de gefuseerde versie (MoETrack-RGBT) bevestigt dat fusie niet altijd beter is. In subsets waar één modality faalt, presteert de enkele modality-expert vaak beter dan de gefuseerde expert.
- De volledige MoETrack (met selectie) presteert het beste, wat aantoont dat het dynamisch kiezen van de beste expert cruciaal is.
Efficiëntie: Hoewel het gebruik van drie experts de rekentijd iets verhoogt (23 FPS vs. 39 FPS voor ViPT), blijft het aanzienlijk sneller dan veel andere SOTA-methoden en biedt het een betere balans tussen snelheid en nauwkeurigheid.

Betekenis en Bijdragen

De belangrijkste bijdragen van dit werk zijn:

Inzicht in Modality Validity: Het paper daagt de huidige consensus uit dat fusie altijd de beste oplossing is. Het demonstreert dat in MMW-scenario's het toevoegen van irrelevante data schadelijk kan zijn.
Nieuw Probleem ("When to Fuse"): Het introduceert het concept dat de timing van fusie een kritieke factor is. De oplossing ligt niet in hoe te fuseren, maar wanneer te fuseren.
MV-RGBT Benchmark: Een essentiële nieuwe dataset die de kloof tussen academische benchmarks en realistische, moeilijke omstandigheden dicht. Het stelt onderzoekers in staat om de robuustheid van trackers in extreme scenario's te testen.
MoETrack Methode: Een flexibel, adaptief framework dat bewijst dat een "Mixture of Experts" aanpak superieur is aan vaste fusiestrategieën, vooral in onzekere omgevingen.

Kortom, dit werk verschuift de focus van RGBT-tracking van "hoe kunnen we meer data combineren?" naar "hoe kunnen we bepalen welke data op dit moment betrouwbaar is?", wat leidt tot robuustere systemen voor praktische toepassingen in slechte weersomstandigheden.