💻 computer science

Unified Multimodal Visual Tracking with Dual Mixture-of-Experts

Der Artikel stellt OneTrackerV2 vor, ein einheitliches multimodales visuelles Tracking-Framework, das eine Meta-Merger- und Dual-Mixture-of-Experts-(DMoE)-Architektur einsetzt, um ein effizientes End-to-End-Training über diverse Modalitäten hinweg zu ermöglichen, und dabei State-of-the-Art-Leistung auf mehreren Benchmarks erreicht, während Robustheit und Inferenzeffizienz gewahrt bleiben.

Ursprüngliche Autoren: Lingyi Hong, Jinglun Li, Xinyu Zhou, Kaixun Jiang, Pinxue Guo, Zhaoyu Chen, Runze Li, Xingdong Sheng, Wenqiang Zhang

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lingyi Hong, Jinglun Li, Xinyu Zhou, Kaixun Jiang, Pinxue Guo, Zhaoyu Chen, Runze Li, Xingdong Sheng, Wenqiang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen bestimmten Hund in einem Video zu finden. Manchmal haben Sie nur eine normale Farbkamera (RGB). Zu anderen Zeiten könnten Sie eine Wärmebildkamera (die Wärme sieht), eine Tiefenkamera (die Entfernung sieht) oder sogar eine Textbeschreibung mit dem Satz „ein Hund" haben.

Das Problem mit alten Trackern
Bislang mussten Sie, wenn Sie diesen Hund mit verschiedenen Kameratypen verfolgen wollten, für jeden einzelnen ein separates „Gehirn" bauen.

Müssen Sie nur mit Farbe verfolgen? Bauen Sie ein Farb-Gehirn.
Müssen Sie mit Wärme verfolgen? Bauen Sie ein Wärme-Gehirn.
Müssen Sie mit Tiefe verfolgen? Bauen Sie ein Tiefen-Gehirn.

Das ist, als würde man für jedes einzelne Werkzeug, das man besitzt, einen anderen Spezialisten einstellen. Es ist teuer, langsam im Training, und wenn man ein Werkzeug verliert (wie etwa wenn die Wärmebildkamera kaputtgeht), wird dieses spezifische Gehirn nutzlos. Noch schlimmer: Wenn man versucht, sie in ein einziges großes Gehirn zu kombinieren, wird die Information chaotisch, ähnlich wie beim Versuch, eine Symphonie zu hören, bei der Trommeln und Violinen gleichzeitig dieselben Noten spielen – es entsteht Lärm und Verwirrung.

Die Lösung: OneTrackerV2
Die Autoren stellen OneTrackerV2 vor, ein einzelnes, vereinheitlichtes „Super-Gehirn", das jede beliebige Kombination von Kameras (oder sogar nur eine) gleichzeitig bewältigen kann. Es lernt alles auf einmal, anstatt separate Trainingssitzungen für jeden Kameratyp zu benötigen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Universalübersetzer" (Meta Merger)

Stellen Sie sich vor, Sie haben ein Team von Menschen, die verschiedene Sprachen sprechen (Farbe, Wärme, Tiefe). Wenn Sie sie einfach alle in einen Raum werfen und ihnen sagen, sie sollen reden, reden sie vielleicht übereinander.

OneTrackerV2 verwendet ein Modul namens Meta Merger. Denken Sie daran als an einen Universalübersetzer oder einen Dirigenten.

Es nimmt die Rohdaten von den Kameras, die Sie haben (selbst wenn eine fehlt!), und übersetzt sie alle in eine einzige, gemeinsame Sprache.
Dies stellt sicher, dass die „Farb"-Daten und die „Wärme"-Daten reibungslos zusammenarbeiten können, ohne sich gegenseitig zu bekämpfen.
Die Magie: Wenn Sie die Wärmebildkamera verlieren, gerät der Übersetzer nicht in Panik. Er konzentriert sich einfach auf die Farbdaten und hält das Gespräch am Laufen. Dies macht das System sehr robust.

2. Die „Spezialisierten Experten" (Dual Mixture-of-Experts)

Sobald die Daten übersetzt sind, gelangen sie in die Hauptverarbeitungseinheit. Die Autoren erkannten, dass das Verfolgen eines sich bewegenden Objekts zwei sehr unterschiedliche Fähigkeiten erfordert:

Bewegungsverfolgung: Herausfinden, wohin das Objekt geht (Geschwindigkeit, Richtung, Zeit).
Identitätsverfolgung: Herausfinden, wie das Objekt aussieht, basierend auf seinem spezifischen Sensor (ist es heiß? ist es tief?).

Wenn man diese beiden Fähigkeiten in einem großen Gehirn mischt, geraten sie durcheinander. Um dies zu beheben, verwendet OneTrackerV2 Dual Mixture-of-Experts (DMoE). Stellen Sie sich eine hochklassige Restaurantküche mit zwei spezialisierten Stationen vor:

Der Bewegungs-Koch (T-MoE): Diese Station kümmert sich nur um Bewegung. Sie ignoriert, ob das Essen heiß oder kalt ist; sie konzentriert sich einfach auf die Geschwindigkeit und Richtung der Zutaten.
Der Geschmacks-Koch (M-MoE): Diese Station kümmert sich nur um den spezifischen „Geschmack" des Eingangs (den Sensortyp). Sie konzentriert sich auf die einzigartigen Details der Wärme- oder Tiefendaten.

Warum trennt man sie?
In der Vergangenheit versuchte ein großer Koch, beides zu tun, was zu „Feature-Konflikten" (Verwirrung) führte. Durch die Trennung wird der „Bewegungs-Koch" wirklich gut darin, Bewegung vorherzusagen, und der „Geschmacks-Koch" wird wirklich gut darin, spezifische Sensordetails zu erkennen. Sie arbeiten nebeneinander, ohne sich gegenseitig in die Quere zu kommen.

3. Der „Smarte Manager" (Router Clustering)

Wie weiß das System, welchen Koch es rufen soll? Es verwendet einen Router.

Wenn sich das Objekt schnell bewegt, sendet der Manager die Daten an den Bewegungs-Koch.
Wenn die Daten von einer Wärmebildkamera stammen, sendet der Manager sie an den Geschmacks-Koch, der sich auf Wärme spezialisiert hat.
Die Arbeit zeigt, dass dieser Manager lernt, sehr spezifisch zu sein: Er rät nicht einfach; er lernt genau, welcher „Experte" für welche Situation am besten geeignet ist.

Die Ergebnisse

Die Arbeit behauptet, dass dieses neue System ein Game-Changer ist, weil:

Ein Modell für alle: Es funktioniert für 5 verschiedene Arten von Verfolgungsaufgaben (Farbe, Farbe+Tiefe, Farbe+Wärme usw.) unter Verwendung exakt desselben Codes und derselben Einstellungen.
Besser als Spezialisten: Überraschenderweise ist dieses „Generalisten"-Gehirn beim Verfolgen nur mit Farbe sogar besser als die alten „Spezialisten"-Gehirne, die nur für Farbe entwickelt wurden.
Widerstandsfähig: Wenn eine Kamera ausfällt (fehlende Modalität), arbeitet das System fast genauso gut weiter wie zuvor.
Effizient: Selbst wenn sie das Modell verkleinern, um es schneller zu machen (Komprimierung), leistet es immer noch unglaublich gute Arbeit und schlägt andere schnelle Modelle.

Zusammenfassung
OneTrackerV2 ist wie ein Schweizer Taschenmesser, das tatsächlich besser als Messer ist als ein spezielles Taschenmesser und besser als Schraubendreher als ein spezieller Schraubendreher. Es verwendet einen Universalübersetzer, um die Eingabe zu bereinigen, und Spezialisierte Köche, um Bewegung und Identität getrennt zu behandeln, was zu einem Tracker führt, der schneller, intelligenter und zuverlässiger ist als alles, was davor kam.

Technische Zusammenfassung: OneTrackerV2 – Einheitliches multimodales visuelles Tracking mit Dual Mixture-of-Experts

1. Problemstellung

Das visuelle Objekt-Tracking (VOT) wird üblicherweise nach Eingabemodalitäten in RGB-Tracking und RGB+X-Tracking (Einbeziehung von Tiefen-, Wärmebild-, Ereignis- oder Sprachdaten) kategorisiert. Bestehende Ansätze leiden unter erheblichen Einschränkungen hinsichtlich Skalierbarkeit, Effizienz und Robustheit:

Getrennte Tracker: Entwurf und Training modalspezifischer Architekturen für jede Modalitätskombination, was zu hohen Rechenkosten und mangelnder Generalisierung führt.
Adaptionsbasierte Tracker: Feinabstimmung vortrainierter RGB-Tracker für nachgelagerte multimodale Aufgaben. Dieses mehrstufige Training führt häufig zu suboptimaler Konvergenz und ist von aufgabenabhängigen Gewichten abhängig.
Vorläufige einheitliche Tracker: Versuch, mehrere Modalitäten in einem einzigen Modell zu verarbeiten, beruht jedoch oft auf naiver Token-Konkatenation. Dies führt zu Feature-Vermischung, bei der heterogene Informationen (raumzeitliche Bewegung vs. modalitätsspezifische Muster) in einem gemeinsamen Raum kollidieren und Optimierungsinterferenzen verursachen.
Anfälligkeit bei fehlenden Modalitäten: Die meisten einheitlichen Modelle versagen oder verschlechtern sich erheblich, wenn bestimmte Eingabemodalitäten (z. B. Tiefe oder Wärmebild) während der Inferenz fehlen, da sie auf feste Eingabekonfigurationen angewiesen sind.

2. Methodik: OneTrackerV2

Die Autoren stellen OneTrackerV2 vor, ein einheitliches Framework, das diverse multimodale Tracking-Aufgaben durch eine einzige Architektur, geteilte Parameter und einstufiges End-to-End-Training bewältigt. Die Kernarchitektur besteht aus drei Hauptkomponenten:

2.1 Meta Merger

Um die Herausforderung der Integration heterogener Eingaben ohne Feature-Vermischung zu adressieren, führen die Autoren den Meta Merger ein.

Funktion: Er bildet RGB- und Hilfsmodalitätsmerkmale (z. B. Tiefe, Wärmebild) unter Verwendung eines lernbaren Meta-Embeddings ( $F_{meta}$ ) in einen einheitlichen Einbettungsraum ab.
Mechanismus: Anstelle einer direkten Konkatenation wirkt das Meta-Embedding als globaler Vermittler. Es interagiert über leichte konvolutionale Transformationen mit verbesserten RGB- und Hilfsmerkmalen ( $F'_{rgb}$ und $F'_{x}$ ).
Vorteil: Dies erzeugt eine kompakte, modalitätsagnostische semantische Repräsentation. Entscheidend ist, dass die Fusion auf dem Meta-Embedding und nicht auf einer festen Eingabekonkatenation basiert, wodurch das Modul auch bei fehlenden spezifischen Modalitäten robust bleibt.

2.2 Dual Mixture-of-Experts (DMoE)

Nach dem Meta Merger werden die einheitlichen Merkmale von einem Vision-Transformer-Rückgrat verarbeitet, das mit einem Dual Mixture-of-Experts (DMoE)-Modul ausgestattet ist. Im Gegensatz zu Standard-MoE-Designs, die sich auf ein einzelnes Ziel konzentrieren, entkoppelt DMoE explizit zwei verschiedene Lernaufgaben:

T-MoE (Temporal-MoE): Dient der Erfassung komplexer raumzeitlicher Matching-Muster und Bewegungssignale.
M-MoE (Multimodal-MoE): Dient der Fusion multimodalen Wissens und der Handhabung modalitätsspezifischer Merkmale.
Shared Expert: Ein gemeinsamer Experte ( $E_{shared}$ ), der allgemeine Repräsentationen verarbeitet.

Entkoppelungsmechanismen:
Um zu verhindern, dass T-MoE und M-MoE in überlappende Muster kollabieren, setzen die Autoren zwei spezifische Verlustfunktionen ein:

Expert Decoupling Loss ( $L_{dis}$ ): Bestraft die Kosinus-Ähnlichkeit zwischen den Ausgaben von T-MoE ( $y_T$ ) und M-MoE ( $y_M$ ) und zwingt sie in orthogonale funktionale Unterräume.
Router Cluster Loss ( $L_{cluster}$ ): Erzwingt, dass der M-MoE-Router für Proben derselben Modalität konsistente Expertenauswahlen trifft, während er eine diskriminierende Routing über verschiedene Modalitäten hinweg aufrechterhält. Dies stellt sicher, dass M-MoE modalitätsspezifische Abstraktionen und keine generischen Merkmale lernt.

2.3 Optimierungsstrategien

Stochastische Modalitätsstörung: Während des Trainings setzt das Modell zufällige Modalitätsersetzungen (Austausch von RGB- und Hilfsinputs) und zufällige Modalitätsmaskierung ein. Dies setzt den Meta Merger verschiedenen Konfigurationen aus, verbessert die Robustheit gegenüber fehlenden Daten und verhindert eine übermäßige Abhängigkeit von spezifischen Sensoren.
Verlustfunktion: Das Gesamtziel kombiniert Standard-Tracking-Verluste (Klassifizierung, IoU, L1) mit den vorgeschlagenen Entkoppelungs- und Clustering-Verlusten.

3. Hauptbeiträge

Einheitliches Framework: Vorstellung von OneTrackerV2, einem einzigen Framework, das diverse multimodale Tracking-Aufgaben (RGB, RGB+D, RGB+T, RGB+E, RGB+N) durch einstufiges Training mit geteilten Parametern unterstützt und damit die Notwendigkeit modalspezifischer Architekturen oder mehrstufiger Feinabstimmung eliminiert.
Meta Merger-Modul: Ein neuartiges Modul, das heterogene Merkmale in einen einheitlichen Raum aggregiert, effiziente cross-modale Interaktion ermöglicht und gleichzeitig Robustheit unter Bedingungen fehlender Modalitäten gewährleistet.
Dual Mixture-of-Experts (DMoE): Eine strukturelle Lösung für Konflikte heterogener Ziele, die die Modellierung raumzeitlicher Beziehungen von der Einbettung multimodaler Merkmale entkoppelt. Dies erweitert den Repräsentationsraum und verbessert die Leistung bei vernachlässigbarem Rechenaufwand.
Umfassende Evaluation: Demonstration von State-of-the-Art (SOTA)-Leistungen über 5 Tracking-Aufgaben und 12 Benchmarks hinweg, einschließlich signifikanter Robustheit in Szenarien mit fehlenden Modalitäten und hoher Effizienz unter Modellkompression.

4. Experimentelle Ergebnisse

Die Arbeit evaluiert OneTrackerV2 gegenüber SOTA-Trackern über 12 Benchmarks:

RGB-Tracking: OneTrackerV2 übertrifft bestehende reine RGB-Tracker (z. B. ODTrack, ARTrackV2) auf Benchmarks wie LaSOT, TrackingNet und GOT-10k, obwohl es auf einem einheitlichen multimodalen Datensatz trainiert wurde. Dies beweist, dass das einheitliche Design die Leistung bei einzelnen Modalitäten nicht beeinträchtigt.
RGB+X-Tracking: Auf Tiefen-, Wärmebild-, Ereignis- und Sprach-Tracking-Benchmarks (z. B. DepthTrack, RGBT234, VisEvent, TNL2K) übertrifft OneTrackerV2 Methoden, die auf modalspezifischen Architekturen oder Feinabstimmung beruhen (z. B. SUTrack, ViPT, STTrack).
Robustheit bei fehlenden Modalitäten: In Szenarien, in denen Hilfsmodalitäten fehlen (z. B. DepthTrack $_{miss}$ ), übertrifft OneTrackerV2 frühere einheitliche Methoden (z. B. SUTrack, SeqTrackv2) erheblich und validiert die Wirksamkeit des Meta Mergers und des stochastischen Trainings.
Effizienz und Kompression: Das Modell behält hohe Inferenzgeschwindigkeiten bei (bis zu 72,4 FPS für die Variante B224). Bei Kompression auf eine 6-Schichten-Variante behält es eine starke Leistung bei (nur ~2% Rückgang) und erreicht 159 FPS, wobei es komprimierte Baselines wie SuTrack-T224 sowohl in Geschwindigkeit als auch Genauigkeit übertrifft.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass OneTrackerV2 einen Paradigmenwechsel im multimodalen Tracking darstellt, indem es zeigt, dass Skalierbarkeit, Robustheit und Generalisierung erreicht werden können, ohne Effizienz oder Genauigkeit zu opfern.

Einheitliches Training: Die Arbeit argumentiert, dass ein einstufiger Trainingsprozess mit einer gemeinsamen Architektur der mehrstufigen Feinabstimmung überlegen ist, die häufig zu suboptimaler Konvergenz führt.
Entkoppeltes Lernen: Durch die explizite Trennung der Bewegungsmodellierung (T-MoE) von der Modalitätsfusion (M-MoE) löst das Framework den in naiven einheitlichen Modellen inhärenten „Feature-Konflikt" und ermöglicht dem Modell, verschiedene, komplementäre Merkmale zu lernen.
Praktische Robustheit: Das Framework wird als besonders bedeutsam für reale Anwendungen hervorgehoben, in denen die Verfügbarkeit von Sensoren variieren kann (z. B. Ausfall einer Wärmebildkamera), da es die Leistung ohne Änderungen der Architektur oder Nachtraining aufrechterhält.

Die Autoren schließen, dass OneTrackerV2 einen neuen Standard für einheitliches multimodales Tracking setzt und eine skalierbare Lösung bietet, die hohe Genauigkeit, Inferenzeffizienz und Resilienz gegenüber Eingabevariationen in Einklang bringt.