Technische Samenvatting: OneTrackerV2 – Gecombineerde Multimodale Visuele Tracking met Dual Mixture-of-Experts

1. Probleemstelling

Visuele objecttracking (VOT) wordt doorgaans gecategoriseerd op basis van invoermodi in RGB-tracking en RGB+X-tracking (met integratie van Diepte, Thermisch, Event- of Taalgegevens). Bestaande benaderingen lijden aan aanzienlijke beperkingen op het gebied van schaalbaarheid, efficiëntie en robuustheid:

• Gescheiden Trackers: Ontwerp en training van taakspecifieke architecturen voor elke moduscombinatie, wat leidt tot hoge rekenkosten en gebrek aan generalisatie.
• Op Aanpassing Gebaseerde Trackers: Finetunen van vooraf getrainde RGB-trackers voor downstream multimodale taken. Deze meerfasige training resulteert vaak in suboptimale convergentie en is afhankelijk van taakafhankelijke gewichten.
• Voorlopige Gecombineerde Trackers: Pogingen om meerdere modi in één model te verwerken, maar vaak gebaseerd op naïeve tokenconcatenatie. Dit leidt tot kenmerkverstrengeling, waarbij heterogene informatie (ruimtelijk-temporele beweging versus modusspecifieke patronen) in conflict komt binnen een gedeelde ruimte, wat optimalisatieinterferentie veroorzaakt.
• Kwetsbaarheid voor Ontbrekende Modi: De meeste gecombineerde modellen falen of degraderen aanzienlijk wanneer specifieke invoermodi (bijv. Diepte of Thermisch) tijdens inferentie ontbreken, omdat ze afhankelijk zijn van vaste invoerconfiguraties.

2. Methodologie: OneTrackerV2

De auteurs stellen OneTrackerV2 voor, een gecombineerd raamwerk ontworpen om diverse multimodale trackingtaken te verwerken via één architectuur, gedeelde parameters en één-staps end-to-end training. De kernarchitectuur bestaat uit drie hoofdcomponenten:

2.1 Meta Merger

Om de uitdaging aan te pakken om heterogene invoer te integreren zonder kenmerkverstrengeling, introduceren de auteurs de Meta Merger.

• Functie: Het beeldt RGB- en hulpmoduskenmerken (bijv. Diepte, Thermisch) af op een verenigde embeddruimte met behulp van een leerbare meta-embedding ($F_{meta}$).
• Mechanisme: In plaats van directe concatenatie fungeert de meta-embedding als een globale mediator. Het interageert met versterkte RGB- en hulpkenmerken ($F'_{rgb}$ en $F'_{x}$) via lichtgewicht convolutietransformaties.
• Voordeel: Dit creëert een compacte, modusonafhankelijke semantische representatie. Cruciaal is dat, omdat de fusie is gecentreerd rond de meta-embedding in plaats van vaste invoerconcatenatie, de module robuust blijft zelfs wanneer specifieke modi ontbreken.

2.2 Dual Mixture-of-Experts (DMoE)

Na de Meta Merger worden de verenigde kenmerken verwerkt door een Vision Transformer-ruggengraat uitgerust met een Dual Mixture-of-Experts (DMoE)-module. In tegenstelling tot standaard MoE-ontwerpen die zich richten op één enkel doel, ontkoppelt DMoE expliciet twee verschillende leertaken:

1. T-MoE (Temporal-MoE): Toegewijd aan het vastleggen van complexe ruimtelijk-temporele matchpatronen en bewegingsaanwijzingen.
2. M-MoE (Multimodal-MoE): Toegewijd aan het fuseren van multimodale kennis en het verwerken van modusspecifieke kenmerken.
3. Gedeelde Expert: Een gemeenschappelijke expert ($E_{shared}$) die algemene representaties verwerkt.

Ontkoppelingsmechanismen:
Om te voorkomen dat T-MoE en M-MoE samenkomen in overlappende patronen, gebruiken de auteurs twee specifieke verliesfuncties:

• Expert Decoupling Loss ($L_{dis}$): Straft de cosinus-ähnelijkheid tussen de uitvoer van T-MoE ($y_T$) en M-MoE ($y_M$), waardoor ze worden gedwongen naar orthogonale functionele subruimten.
• Router Cluster Loss ($L_{cluster}$): Dwingt de M-MoE-router om consistente expertselecties te produceren voor steekproeven uit dezelfde modus, terwijl discriminatieve routing tussen verschillende modi wordt behouden. Dit zorgt ervoor dat M-MoE modusspecifieke abstracties leert in plaats van generieke kenmerken.

2.3 Optimalisatiestrategieën

• Stochastische Modusperturbatie: Tijdens training hanteert het model willekeurige modusvervanging (het omwisselen van RGB- en hulpinvoer) en willekeurige modusmaskering. Dit blootstelt de Meta Merger aan diverse configuraties, wat de robuustheid tegen ontbrekende data versterkt en overmatige afhankelijkheid van specifieke sensoren voorkomt.
• Verliesfunctie: Het totale doel combineert standaard trackingverliezen (classificatie, IoU, L1) met de voorgestelde ontkoppelings- en clusteringverliezen.

3. Belangrijkste Bijdragen

1. Gecombineerd Raamwerk: Introductie van OneTrackerV2, één enkel raamwerk dat diverse multimodale trackingtaken ondersteunt (RGB, RGB+D, RGB+T, RGB+E, RGB+N) via één-staps training met gedeelde parameters, waardoor de noodzaak voor taakspecifieke architecturen of meerfasige finetuning wordt geëlimineerd.
2. Meta Merger Module: Een nieuwe module die heterogene kenmerken verzamelt in een verenigde ruimte, waardoor efficiënte cross-modale interactie mogelijk wordt terwijl robuustheid onder omstandigheden met ontbrekende modi behouden blijft.
3. Dual Mixture-of-Experts (DMoE): Een structurele oplossing voor conflicten tussen heterogene doelen die ruimtelijk-temporele relatiemodellering ontkoppelt van multimodale kenmerkembedding. Dit breidt de representatieruimte uit en verbetert de prestaties met verwaarloosbare rekenkosten.
4. Uitgebreide Evaluatie: Demonstratie van state-of-the-art (SOTA) prestaties over 5 trackingtaken en 12 benchmarks, inclusief aanzienlijke robuustheid in scenario's met ontbrekende modi en hoge efficiëntie onder modelcompressie.

4. Experimentele Resultaten

Het artikel evalueert OneTrackerV2 tegen SOTA-trackers over 12 benchmarks:

• RGB Tracking: OneTrackerV2 presteert beter dan bestaande RGB-only trackers (bijv. ODTrack, ARTrackV2) op benchmarks zoals LaSOT, TrackingNet en GOT-10k, ondanks training op een gecombineerde multimodale dataset. Dit bewijst dat het gecombineerde ontwerp de prestaties voor één enkele modus niet ondermijnt.
• RGB+X Tracking: Op benchmarks voor Diepte, Thermisch, Event en Taaltracking (bijv. DepthTrack, RGBT234, VisEvent, TNL2K) overtreft OneTrackerV2 methoden die vertrouwen op taakspecifieke architecturen of finetuning (bijv. SUTrack, ViPT, STTrack).
• Robuustheid tegen Ontbrekende Modi: In scenario's waar hulpmodi ontbreken (bijv. DepthTrack$_{miss}$), presteert OneTrackerV2 aanzienlijk beter dan eerdere gecombineerde methoden (bijv. SUTrack, SeqTrackv2), wat de effectiviteit van de Meta Merger en stochastische training bevestigt.
• Efficiëntie en Compressie: Het model behoudt hoge inferentiesnelheden (tot 72,4 FPS voor de B224-variant). Wanneer gecomprimeerd tot een 6-laags variant, behoudt het sterke prestaties (slechts ~2% daling) terwijl het 159 FPS bereikt, en presteert het beter dan gecomprimeerde baselines zoals SuTrack-T224 op zowel snelheid als nauwkeurigheid.

5. Betekenis en Claims

De auteurs beweren dat OneTrackerV2 een paradigmaverschuiving in multimodale tracking vertegenwoordigt door aan te tonen dat schaalbaarheid, robuustheid en generalisatie kunnen worden bereikt zonder efficiëntie of nauwkeurigheid op te offeren.

• Gecombineerde Training: Het artikel betoogt dat een één-staps trainingsproces met een gedeelde architectuur superieur is aan meerfasige finetuning, wat vaak leidt tot suboptimale convergentie.
• Ontkoppeld Leren: Door bewegingsmodellering (T-MoE) expliciet te scheiden van modusfusie (M-MoE), lost het raamwerk het "kenmerkconflict" op dat inherent is aan naïeve gecombineerde modellen, waardoor het model onderscheidende, complementaire kenmerken kan leren.
• Praktische Robuustheid: Het raamwerk wordt geïdentificeerd als bijzonder significant voor toepassingen in de echte wereld waar de beschikbaarheid van sensoren kan variëren (bijv. wanneer een thermische camera faalt), omdat het prestaties behoudt zonder dat architecturale wijzigingen of hertraining nodig zijn.

De auteurs concluderen dat OneTrackerV2 een nieuwe standaard zet voor gecombineerde multimodale tracking, en biedt een schaalbare oplossing die hoge nauwkeurigheid, inferentie-efficiëntie en weerstand tegen invoervariaties in evenwicht brengt.