Technische Samenvatting: Multi-Modale Gids voor Multi-Source Domeinadaptatie voor Objectdetectie

1. Probleemstelling

Algemene objectdetectie (OD)-modellen falen vaak bij implementatie in doeldomeinen die afwijken van hun trainingsbronnedomeinen, als gevolg van domeinschommelingen veroorzaakt door factoren zoals tijdstip van de dag, stijl (echt versus synthetisch) en camera-artefacten. Hoewel methoden voor Onbewaakte Domeinadaptatie (UDA) enkelvoudige bronscenario's hebben aangepakt, hebben ze moeite wanneer meerdere bronnedomeinen beschikbaar zijn. Het naïef mengen van meerdere bronnen voor enkelvoudige bron-UDA presteert vaak slechter dan zelfs een enkele bron, vanwege discrepanties tussen de bronnen.

Bestaande methoden voor Multi-Source Domeinadaptatie (MSDA) proberen dit te mitigeren door bronnedomeinen afzonderlijk te behandelen, typisch door gebruik te maken van een domein-agnostisch netwerk (met Gradient Reversal Layers) en een domeinspecifiek netwerk. Deze methoden lijden echter aan een fundamentele beperking: ze proberen domein-agnostische kenmerken uitsluitend te leren van domeinspecifieke RGB-afbeeldingen door domeinspecifieke aanwijzingen te onderdrukken. Dit creëert een trainingsconflict waarbij het model tegelijkertijd domeinspecifieke informatie moet onderdrukken en coderen vanuit dezelfde invoer, wat leidt tot optimalisatieproblemen en trage convergentie. Bovendien zijn RGB-kenmerken inherent gevoelig voor variaties in verlichting, kleur en textuur, waardoor ze een beperkte bron vormen voor een ware domein-agnostische representatie.

2. Methodologie: MS-DePro

Om deze beperkingen aan te pakken, stellen de auteurs MS-DePro (Multi-Source Detector met Diepte en Prompt) voor. De kernfilosofie is om domeinspecifieke en domein-agnostische kenmerken expliciet te ontkoppelen door gebruik te maken van aanvullende, inherent invariant invoermodaliteiten: dieptekaarten en tekst.

Het framework volgt een Mean-Teacher-architectuur, met een gelabelde multi-source student en een ongelabelde doel-leraar. Het bestaat uit twee hoofdcomponenten:

A. Diepte-gestuurde Lokalisatie

Omdat dieptekaarten consistente representaties van objectvorm en -structuur bieden, ongeacht verlichting of textuur, gebruiken de auteurs ze om objectlokalisatie te sturen.

• Mechanisme: Tijdens training genereert een kant-en-klaar monokulair diepteschattingmodel relatieve dieptekaarten vanuit invoer-RGB-afbeeldingen.
• Architectuur: Het systeem maakt gebruik van ontkoppelde backbones en Region Proposal Networks (RPN's) voor zowel RGB ($BB_R, RPN_R$) als Diepte ($BB_D, RPN_D$).
• Integratie: Regionvoorstellen van de dieptetak ($p_D$) worden geprojecteerd op de RGB-kenmerkkaart. Het systeem aggregeert voorstellen van beide modaliteiten en selecteert de top-$k$ op basis van objectheidslogits. Dit stelt het model in staat gebieden te vangen die door RGB alleen worden gemist, en spurious voorstellen te filteren.
• Inferentie: De dieptetak wordt uitsluitend tijdens training gebruikt om pseudo-labels te genereren en de lokalisatie van de student te verfijnen. Bij inferentie wordt de dieptetak verwijderd en wordt detectie uitgevoerd met alleen het RGB-netwerk, zonder extra latentie.

B. Multi-Modale Gids voor Prompt Learning

De auteurs maken gebruik van de hoge semantische consistentie van tekst om domein-agnostische kennis te coderen, terwijl RGB-kenmerken worden gebruikt voor domeinspecifieke adaptatie.

• Prompt Decompositie: De leerbare tekstprompt wordt ontleed in twee sets tokens:
  1. Domein-agnostische Tokens ($v_m$): Verrijkt met kenmerken van ondiepe dieptekaarten ($\hat{F}_D$) via een Domein-agnostisch Netwerk (DA-Net). Deze vangen gedeelde geometrische en structurele kenmerken over domeinen heen.
  2. Domeinspecifieke Tokens ($d_m$): Verrijkt met kenmerken van ondiepe RGB-kaarten ($\hat{F}_R$) via een Domeinspecifiek Netwerk (DS-Net). Deze vangen stijl- en uiterlijke aanwijzingen die specifiek zijn voor elk domein.
• Token Buffers: Omdat dieptekaarten bij inferentie niet beschikbaar zijn, worden het Domein-agnostische token ($\pi_{DA}$) en het Domeinspecifieke token ($\pi_{DS}$) vooraf berekend en opgeslagen in buffers tijdens training met behulp van Exponential Moving Average (EMA). Deze buffers vervangen de dynamische token-generatie tijdens inferentie, waardoor het model een statische, geoptimaliseerde tekstprompt kan gebruiken zonder rekenkundige overhead.
• Classificatie: De definitieve tekstprompt combineert deze tokens met klassenamen (bijv. [v1]...[vM1][d1]...[dM2][CLS]) om uitlijning met objectembeddings voor classificatie te bewerkstelligen.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van MS-DePro, het eerste MSDA-framework voor objectdetectie dat expliciet gebruik maakt van aanvullende modaliteiten (diepte en tekst) om domein-invariante representaties te coderen, waarbij de noodzaak voor adversarial learning om domeinspecifieke aanwijzingen te onderdrukken wordt omzeild.
2. Diepte-gestuurde Lokalisatie: Een methode die dieptekaarten gebruikt om complementaire regionvoorstellen te genereren, waardoor de robuustheid van lokalisatie tegenover domeinschommelingen in textuur en verlichting wordt verbeterd.
3. Multi-Modale Gids voor Prompt Learning: Een gestructureerde prompt-learningbenadering die domein-agnostische (diepte-gestuurd) en domeinspecifieke (RGB-gestuurd) kennis expliciet scheidt binnen leerbare tekstembeddings.
4. State-of-the-Art Prestaties: Uitgebreide experimenten die aantonen dat MS-DePro superieure prestaties behaalt op MSDA-benchmarks in vergelijking met bestaande methoden.

4. Experimentele Resultaten

De auteurs hebben MS-DePro geëvalueerd op standaard MSDA-benchmarks en de evaluatie uitgebreid naar Multi-Source Domeingeneralisatie (MSDG).

• MSDA-benchmarks:
  • Cross-Time Adaptatie (BDD100K): MS-DePro behaalde 53,7 mAP, wat 5,8 mAP beter is dan de vorige SOTA (ACIA). Opmerkelijk is dat het de "Oracle All-combined" baseline (getraind op zowel bron- als gelabelde doergegevens) met 2,9 mAP overtrof.
  • Cross-Camera Adaptatie (Cityscapes/KITTI): MS-DePro behaalde 68,4 mAP, een verbetering van 9,3 mAP ten opzichte van ACIA.
  • Mixed-Domain Adaptatie: In instellingen waarbij Cityscapes, MS-COCO en Synscapes werden gecombineerd, presteerde MS-DePro 2,9 tot 4,4 mAP beter dan de vorige SOTA, afhankelijk van het aantal bronnedomeinen.
• Domeingeneralisatie (MSDG):
  • Diverse Weeromstandigheden: MS-DePro behaalde de hoogste gemiddelde mAP over ongezette weer-domeinen (mPC), en overtrof methoden zoals PDOC en CLIP-Gap.
  • Echt naar Artistiek: Het model toonde sterke generalisatie van real-world datasets naar artistieke stijlen (Clipart, Comic, Watercolor), met een aanzienlijke prestatieverbetering ten opzichte van baselines voor enkelvoudige bron-domeingeneralisatie.
• Ablatiestudies:
  • Diepte versus RGB: t-SNE-visualisaties bevestigden dat dieptekenmerken een enkele, consistente cluster vormen over domeinen heen, terwijl RGB-kenmerken verspreid zijn.
  • Component Synergie: Het verwijderen van óf diepte-gestuurde lokalisatie óf multi-modale prompt learning resulteerde in aanzienlijke prestatiedalingen, wat hun synergetisch effect bevestigt.
  • Token Configuratie: De beste prestaties werden behaald door beeldniveau-kenmerken te gebruiken voor domein-agnostische tokens en voorstelniveau-kenmerken voor domeinspecifieke tokens.
  • Rekenkosten: Hoewel training extra diepteverwerking vereist, is de inferentiekost identiek aan het baseline RGB-only model, aangezien de dieptetak wordt verwijderd en tokens vooraf worden berekend.

5. Betekenis en Beperkingen

Het artikel stelt dat MS-DePro de effectiviteit aantoont van het expliciet ontkoppelen van domeinspecifieke en domein-agnostische kenmerken met behulp van aanvullende modaliteiten. Door weg te bewegen van het "paradoxale" proces van het onderdrukken van domeinaanwijzingen uit RGB-afbeeldingen, bereikt de methode robuustere adaptatie. De resultaten suggereren dat het benutten van geometrische aanwijzingen (diepte) en semantische aanwijzingen (tekst) op invoerniveau een superieure strategie is voor MSDA in vergelijking met het uitsluitend vertrouwen op adversarial alignment.

Beperkingen:
De auteurs erkennen dat dieptekaarten gegenereerd door monokulaire schattingsmodellen ruisig kunnen zijn onder uitdagende omstandigheden zoals bewegingsonscherpte, ernstige occlusie, ongunstig weer en weinig licht. In deze scenario's kan de kwaliteit van regionvoorstellen en de stabiliteit van het Domein-agnostische token verslechteren, wat mogelijk de prestaties beïnvloedt. Het artikel suggereert dat het verbeteren van de robuustheid van diepteschatting een richting is voor toekomstig werk.