💻 computer science

Multi-Modal Guided Multi-Source Domain Adaptation for Object Detection

Dieser Artikel stellt MS-DePro vor, ein neuartiges Framework für die Multi-Source-Domain-Adaptation zur Objekterkennung, das Tiefenkarten und Textprompts nutzt, um domainspezifische Regionsvorschläge zu generieren und lernbare Text-Embeddings auszurichten, wodurch auf MSDA-Benchmarks State-of-the-Art-Leistung erzielt wird.

Ursprüngliche Autoren: Sangin Lee, Seokjun Kwon, Jeongmin Shin, Namil Kim, Yukyung Choi

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sangin Lee, Seokjun Kwon, Jeongmin Shin, Namil Kim, Yukyung Choi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Sicherheitsbeamten, um bestimmte Personen in einer Menschenmenge zu erkennen.

Das Problem: Die Falle des „Einheitsmodells"
Normalerweise trainieren Sie diesen Beamten mit Fotos, die bei hellem Tageslicht aufgenommen wurden (Quelldomain 1), und vielleicht einigen Nachtfotos (Quelldomain 2). Sie möchten, dass der Beamte in einer neuen, unbekannten Umgebung perfekt funktioniert, etwa an einem nebligen Morgen oder auf einer regnerischen Straße (Zieldomain).

Das Problem besteht darin, dass der Beamte verwirrt wird, wenn Sie die Tages- und Nachtfotos einfach mischen und sagen: „Lernen Sie aus all diesen." Die Tagesfotos haben helle Farben und scharfe Schatten; die Nachtfotos sind dunkel und körnig. Der Beamte versucht, einen „Mittelweg" zu finden, der in Wirklichkeit nicht existiert, oder noch schlimmer: Er lässt sich von der spezifischen Beleuchtung der Trainingsfotos ablenken und versagt, wenn sich das Wetter ändert. Dies wird als Domain-Shift-Problem bezeichnet.

Die alte Lösung: Der Versuch, die Details zu „vergessen"
Bisherige Methoden versuchten, dieses Problem zu lösen, indem sie den Beamten zwangen, die spezifischen Details (wie die Farbe des Himmels oder die Textur der Straße) zu ignorieren und sich nur auf die „Form" der Personen zu konzentrieren. Sie taten dies, indem sie ein Spiel spielten, bei dem der Beamte so tun musste, als wüsste er nicht, aus welcher Quelle ein Foto stammte. Der Artikel argumentiert jedoch, dass dies so ist, als würde man versuchen, die Form eines Autos zu lernen, indem man auf ein verschwommenes, verwaschenes Foto starrt. Es ist schwierig, die „Form" vom „Licht" zu trennen, wenn man nur eine Art von Bild hat (RGB-/Standardfotos).

Die neue Lösung: MS-DePro (Der „Tiefen- und Text"-Detektiv)
Die Autoren schlagen ein neues System namens MS-DePro vor. Anstatt nur Standardfotos zu betrachten, geben sie dem Beamten zwei zusätzliche Werkzeuge, um die Welt besser zu verstehen, unabhängig von Wetter oder Beleuchtung:

Die „Tiefenkarte" (Der 3D-Grundriss):
- Die Analogie: Stellen Sie sich vor, Sie schauen auf ein Foto eines Autos. Auf einem Foto sehen ein rotes und ein blaues Auto sehr unterschiedlich aus. Wenn Sie jedoch eine Tiefenkarte betrachten (ein schwarz-weißes Bild, das zeigt, wie weit entfernt Dinge sind), sehen beide Autos wie dieselbe 3D-Form aus. Ein Baum ist ein Baum und ein Auto ist ein Auto, egal ob es Tag, Nacht oder regnerisch ist.
- Wie es hilft: Das System verwendet ein spezielles Werkzeug, um diese Tiefenkarten während des Trainings aus den Fotos zu generieren. Es nutzt diese Karten, um zu finden, wo sich die Objekte befinden (Lokalisierung). Da die Tiefe mit der Geometrie und nicht mit der Farbe zu tun hat, wird sie nicht durch die Sonne oder den Regen verwirrt. Sie sagt dem Beamten: „Hey, hier ist ein festes Objekt", selbst wenn das Foto dunkel ist.
Der „Text-Prompt" (Das intelligente Etikett):
- Die Analogie: Stellen Sie sich vor, der Beamte hat ein Notizbuch. Anstatt nur auf das Bild zu schauen, liest der Beamte ein Etikett wie „Eine Person".
- Wie es hilft: Das System teilt dieses Etikett in zwei Teile auf:
  - Der universelle Teil: „Eine Person" ist immer eine Person, egal ob sie in einem Comic oder auf einem echten Foto zu sehen ist. Das System nutzt die Tiefenkarte, um diese universelle Wahrheit zu untermauern.
  - Der spezifische Teil: „Eine Person in einem regenmantel" ist spezifisch für das Wetter. Das System nutzt das Foto, um diese spezifischen Details zu erlernen.
- Durch die Trennung dieser beiden Aspekte lernt der Beamte das Kernkonzept der „Person" (das sich nie ändert), passt sich gleichzeitig aber dem spezifischen Aussehen der aktuellen Szene an.

Wie es in der Praxis funktioniert
Während der Trainingsphase (der „Lernphase") verwendet das System die Fotos, die generierten Tiefenkarten und die Textbeschriftungen gemeinsam. Es ist, als würde der Beamte mit einem 3D-Modell und einem Wörterbuch lernen.

Sobald das Training jedoch abgeschlossen ist und der Beamte zur Arbeit geht (die „Inferenzphase"), werden die Tiefenkarten nicht mehr benötigt. Der Beamte hat die 3D-Formen und die universellen Konzepte bereits gelernt. Er kann nun auf ein neues, nebliges Foto schauen und sagen: „Das ist ein Auto", weil er die Form eines Autos aus den Tiefenkarten und das Konzept eines Autos aus dem Text gelernt hat, nicht nur die Farbe des Autos auf den Trainingsfotos.

Die Ergebnisse
Der Artikel behauptet, dass diese Methode bisher die beste ist (State-of-the-Art).

Sie schlägt andere Methoden, die versuchen, verschiedene Fotoquellen miteinander zu mischen.
Sie funktioniert besser beim Übergang von Tag zu Nacht oder von echten Fotos zu computergenerierten Bildern.
Sie funktioniert sogar gut unter „ungesehenen" Wetterbedingungen (wie starkem Regen oder Nebel), für die sie nie explizit trainiert wurde, was beweist, dass sie die wahre „Form" von Objekten gelernt hat und nicht nur die Beleuchtung auswendig gelernt hat.

Auf den Punkt gebracht
Anstatt einen Computer zu zwingen, die Unterschiede zwischen Tages- und Nachtfotos zu ignorieren, gibt diese neue Methode dem Computer einen 3D-Grundriss (Tiefe) und eine intelligente Beschreibung (Text), um zu verstehen, was Objekte wirklich sind. Dies ermöglicht es dem Computer, Objekte bei jedem Wetter oder jeder Beleuchtung zu erkennen, genau wie ein Mensch, der versteht, dass ein Auto ein Auto ist, egal ob es sonnig, regnerisch oder dunkel ist.

Technische Zusammenfassung: Multi-Modale Geführte Multi-Source Domain Adaptation für die Objekterkennung

1. Problemstellung

Allgemeine Modelle zur Objekterkennung (OD) versagen häufig beim Einsatz in Zielbereichen, die sich von ihren Trainingsquellbereichen unterscheiden, aufgrund von Domain-Shifts, die durch Faktoren wie Tageszeit, Stil (real vs. synthetisch) und Kameraartefakte verursacht werden. Während Methoden für Unsupervised Domain Adaptation (UDA) Einzelszenarien bewältigt haben, stoßen sie an Grenzen, wenn mehrere Quellbereiche verfügbar sind. Das naive Zusammenführen mehrerer Quellen für eine Single-Source UDA führt oft zu schlechteren Ergebnissen als eine einzelne Quelle, bedingt durch Diskrepanzen zwischen den Quellen.

Bestehende Methoden für Multi-Source Domain Adaptation (MSDA) versuchen dies zu mildern, indem sie Quellbereiche separat behandeln, typischerweise unter Verwendung eines domainsagnostischen Netzwerks (mittels Gradient Reversal Layers) und eines domainspezifischen Netzwerks. Diese Methoden leiden jedoch unter einer fundamentalen Einschränkung: Sie versuchen, domainsagnostische Merkmale ausschließlich aus domainspezifischen RGB-Bildern zu erlernen, indem sie domainspezifische Hinweise unterdrücken. Dies erzeugt einen Trainingskonflikt, bei dem das Modell gleichzeitig domainspezifische Informationen aus demselben Eingabesignal unterdrücken und kodieren muss, was zu Optimierungsproblemen und langsamer Konvergenz führt. Darüber hinaus sind RGB-Merkmale inhärent anfällig für Variationen in Beleuchtung, Farbe und Textur, was sie zu einer eingeschränkten Quelle für eine echte domainsagnostische Repräsentation macht.

2. Methodik: MS-DePro

Um diese Einschränkungen zu adressieren, schlagen die Autoren MS-DePro (Multi-Source Detector with Depth and Prompt) vor. Die Kernphilosophie besteht darin, domainspezifische und domainsagnostische Merkmale explizit zu entkoppeln, indem zusätzliche, inhärent invariante Eingangsmodalitäten genutzt werden: Tiefenkarten und Text.

Das Framework folgt einer Mean-Teacher-Architektur und nutzt einen gelabelten Multi-Source-Schüler sowie einen ungelabelten Ziel-Lehrer. Es besteht aus zwei Hauptkomponenten:

A. Tiefengeführte Lokalisierung

Da Tiefenkarten konsistente Darstellungen von Objektform und -struktur unabhängig von Beleuchtung oder Textur bieten, nutzen die Autoren sie zur Führung der Objektlokalisierung.

Mechanismus: Während des Trainings generiert ein handelsübliches monokulares Tiefenschätzungsmodell relative Tiefenkarten aus den Eingabe-RGB-Bildern.
Architektur: Das System verwendet entkoppelte Backbones und Region Proposal Networks (RPNs) sowohl für RGB ( $BB_R, RPN_R$ ) als auch für Tiefe ( $BB_D, RPN_D$ ).
Integration: Regionsvorschläge aus dem Tiefenzweig ( $p_D$ ) werden auf die RGB-Merkmalskarte projiziert. Das System aggregiert Vorschläge beider Modalitäten und wählt die Top- $k$ basierend auf Objektigkeits-Logits aus. Dies ermöglicht es dem Modell, Regionen zu erfassen, die von RGB allein übersehen wurden, und spurartige Vorschläge zu filtern.
Inferenz: Der Tiefenzweig wird ausschließlich während des Trainings verwendet, um Pseudo-Labels zu generieren und die Lokalisierung des Schülers zu verfeinern. Bei der Inferenz wird der Tiefenzweig entfernt, und die Detektion erfolgt ausschließlich über das RGB-Netzwerk, ohne zusätzliche Latenz.

B. Multi-Modale Geführtes Prompt-Lernen

Die Autoren nutzen die hochsemantische Konsistenz von Text, um domainsagnostisches Wissen zu kodieren, während sie RGB-Merkmale für domainspezifische Anpassung verwenden.

Prompt-Zerlegung: Der lernbare Text-Prompt wird in zwei Sätze von Tokens zerlegt:
1. Domainsagnostische Tokens ( $v_m$ ): Angereichert mit Merkmalen aus flachen Tiefenkarten ( $\hat{F}_D$ ) über ein domainsagnostisches Netzwerk (DA-Net). Diese erfassen gemeinsame geometrische und strukturelle Merkmale über die Domains hinweg.
2. Domainspezifische Tokens ( $d_m$ ): Angereichert mit Merkmalen aus flachen RGB-Karten ( $\hat{F}_R$ ) über ein domainspezifisches Netzwerk (DS-Net). Diese erfassen Stil- und Erscheinungshinweise, die für jeden Domain spezifisch sind.
Token-Puffer: Da Tiefenkarten bei der Inferenz nicht verfügbar sind, werden der domainsagnostische Token ( $\pi_{DA}$ ) und der domainspezifische Token ( $\pi_{DS}$ ) während des Trainings vorab berechnet und unter Verwendung des Exponential Moving Average (EMA) in Puffern gespeichert. Diese Puffer ersetzen die dynamische Token-Generierung während der Inferenz und ermöglichen es dem Modell, einen statischen, optimierten Text-Prompt ohne Rechenaufwand zu verwenden.
Klassifikation: Der finale Text-Prompt kombiniert diese Tokens mit Klassennamen (z. B. [v1]...[vM1][d1]...[dM2][CLS]), um mit Objekt-Embeddings für die Klassifikation abzugleichen.

3. Hauptbeiträge

Neues Framework: Einführung von MS-DePro, dem ersten MSDA-Framework für die Objekterkennung, das explizit auxiliary Modalitäten (Tiefe und Text) nutzt, um domainsinvariante Repräsentationen zu kodieren und damit die Notwendigkeit adversariellen Lernens zur Unterdrückung domainspezifischer Hinweise umgeht.
Tiefengeführte Lokalisierung: Eine Methode, die Tiefenkarten nutzt, um komplementäre Regionsvorschläge zu generieren und die Robustheit der Lokalisierung gegenüber Domain-Shifts in Textur und Beleuchtung zu verbessern.
Multi-Modale Geführtes Prompt-Lernen: Ein strukturierter Prompt-Lernansatz, der domainsagnostisches (tiefengeführtes) und domainspezifisches (RGB-geführtes) Wissen innerhalb lernbarer Text-Embeddings explizit trennt.
State-of-the-Art-Leistung: Umfassende Experimente zeigen, dass MS-DePro auf MSDA-Benchmarks im Vergleich zu bestehenden Methoden überlegene Leistung erzielt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MS-DePro auf Standard-MSDA-Benchmarks und erweiterten die Evaluierung auf Multi-Source Domain Generalization (MSDG).

MSDA-Benchmarks:
- Cross-Time Adaptation (BDD100K): MS-DePro erreichte 53,7 mAP und übertraf den vorherigen SOTA (ACIA) um 5,8 mAP. Bemerkenswerterweise übertraf es die „Oracle All-combined"-Basislinie (trainiert auf sowohl Quell- als auch gelabelten Zieldaten) um 2,9 mAP.
- Cross-Camera Adaptation (Cityscapes/KITTI): MS-DePro erreichte 68,4 mAP, eine Verbesserung von 9,3 mAP gegenüber ACIA.
- Mixed-Domain Adaptation: In Settings, die Cityscapes, MS-COCO und Synscapes kombinieren, übertraf MS-DePro den vorherigen SOTA je nach Anzahl der Quellbereiche um 2,9 bis 4,4 mAP.
Domain Generalization (MSDG):
- Diverse Weather: MS-DePro erreichte die höchste durchschnittliche mAP über nicht gesehene Wetterdomains (mPC) und übertraf Methoden wie PDOC und CLIP-Gap.
- Real zu Künstlerisch: Das Modell zeigte eine starke Generalisierung von realen Datensätzen zu künstlerischen Stilen (Clipart, Comic, Aquarell) und übertraf Signifikant Single-Source Domain Generalization-Basislinien.
Ablationsstudien:
- Tiefe vs. RGB: t-SNE-Visualisierungen bestätigten, dass Tiefenmerkmale über Domains hinweg einen einzigen, konsistenten Cluster bilden, während RGB-Merkmale verstreut sind.
- Komponenten-Synergie: Das Entfernen entweder der tiefengeführten Lokalisierung oder des multi-modalen Prompt-Lernens führte zu signifikanten Leistungseinbußen, was ihren synergistischen Effekt bestätigt.
- Token-Konfiguration: Die beste Leistung wurde erzielt, indem bildweite Merkmale für domainsagnostische Tokens und proposalspezifische Merkmale für domainspezifische Tokens verwendet wurden.
- Rechenkosten: Während das Training zusätzliche Tiefenverarbeitung erfordert, sind die Inferenzkosten identisch mit dem Basis-RGB-Nur-Modell, da der Tiefenzweig entfernt und Tokens vorab berechnet werden.

5. Bedeutung und Einschränkungen

Die Arbeit behauptet, dass MS-DePro die Wirksamkeit der expliziten Entkopplung domainspezifischer und domainsagnostischer Merkmale unter Verwendung auxiliary Modalitäten demonstriert. Durch die Abkehr vom „paradoxen" Prozess der Unterdrückung von Domain-Hinweisen aus RGB-Bildern erreicht die Methode eine robustere Anpassung. Die Ergebnisse deuten darauf hin, dass die Nutzung geometrischer Hinweise (Tiefe) und semantischer Hinweise (Text) auf Eingabenebene eine überlegene Strategie für MSDA ist im Vergleich zur alleinigen Abhängigkeit von adversarieller Ausrichtung.

Einschränkungen:
Die Autoren erkennen an, dass Tiefenkarten, die durch monokulare Schätzmodelle generiert werden, unter schwierigen Bedingungen wie Bewegungsunschärfe, schwerer Okklusion, widrigen Wetterbedingungen und schwachem Licht verrauscht sein können. In diesen Szenarien kann die Qualität der Regionsvorschläge und die Stabilität des domainsagnostischen Tokens abnehmen, was sich potenziell auf die Leistung auswirkt. Die Arbeit schlägt vor, die Robustheit der Tiefenschätzung zu verbessern, sei eine Richtung für zukünftige Arbeiten.