Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization

1. Probleemstelling

Domain Generalization (DG) in Object Detection:
Huidige datagedreven objectdetectiemodellen lijden onder prestatieachteruitgang wanneer ze worden overgebracht van een bron-domein naar een onzichtbaar doel-domein. Dit is vooral acuut in single-source domein settings met beperkte data.

• De Kernkwestie: Modellen hebben de neiging om te vertrouwen op schijnbare correlaties veroorzaakt door verstorende factoren ($Z$) zoals verlichting, co-occurrence patronen (bijvoorbeeld een fiets die in de buurt van een persoon verschijnt), en stijlverschillen.
• Gevolg: In plaats van causale kenmerken te leren die de objectlabel ($Y$) bepalen, leert het model vooroordeelachtige associaties tussen inputkenmerken ($X$) en labels die worden veroorzaakt door $Z$. Dit leidt tot falen in out-of-distribution (OOD) scenario's (bijvoorbeeld het verkeerd classificeren van een fiets als een berijder omdat ze vaak samen voorkomen in de trainingsdata).
• Beperkingen van Bestaande DG: Huidige benaderingen richten zich vaak op domein-invariante representaties of data-augmentatie, maar verwaarlozen vaak de causale mechanismen achter verstorende factoren. Bovendien, terwijl Vision Foundation Models (VFMs) zoals DINOv2, SAM en Stable Diffusion sterke voorgeöordeelde representaties bieden, faalt het simpelweg fine-tunen ervan vaak om deze schijnbare correlaties te mitigeren, waardoor hun representatieve capaciteit wordt verspild.

2. Methodologie: Het Bridge Framework

De auteurs stellen Bridge voor, een nieuw framework dat Causale Inferentie integreert in objectdetectie met behulp van VFMs. De kerninnovatie is het Causal Basis Block (CBB), dat Front-Door Adjustment implementeert om de invloed van verstorende factoren te blokkeren.

A. Theoretische Grondslag: Front-Door Adjustment

Om schijnbare correlaties te mitigeren zonder verstorende factoren ($Z$) expliciet te observeren of te modelleren, maakt de methode gebruik van Front-Door Adjustment.

• Mechanisme: In plaats van het back-door pad ($X \leftarrow Z \rightarrow Y$) te blokkeren, introduceert de methode een mediërende variabele ($M$) op het causale pad ($X \rightarrow M \rightarrow Y$).
• Doel: Het model leert $Y$ te voorspellen op basis van $M$, waardoor het effectief het ruis van $Z$ filtert.
• Benadering: Aangezien het berekenen van de volledige verwachting over alle mogelijke input onuitvoerbaar is, benaderen de auteurs de front-door adjustment met de Normalized Weighted Geometric Mean (NWGM) en formuleren dit opnieuw als een lineaire combinatie van leerbare basisvectoren.

B. Het Causal Basis Block (CBB)

Het CBB is een plug-and-play, end-to-end differentieerbaar module dat is ontworpen om te worden ingevoegd in bevroren VFMs. Het bestaat uit twee hoofdfasen:

1. Verwachtingsschatting via Sample Queries:

   • Geïnspireerd door dictionary learning, benadert de methode de verwachte kenmerkrepresentatie met een set van leerbare Sample Queries ($Q_s$).
   • Deze queries aggregeren globale, generaliseerbare informatie uit de trainingsset.
   • Een ruimtelijke wegingskaart ($A$) wordt gegenereerd via Softmax om inputkenmerken opnieuw te wegen, met nadruk op gegeneraliseerde informatie.

2. Projectie op Low-Rank Subspace:

   • De opnieuw gewogen kenmerken worden geprojecteerd op een low-rank subspace opgespannen door leerbare Basis Vectoren ($B$).
   • Functie: Deze projectie filtert redundante en taak-irrelevante componenten (ruis) terwijl de kern causale representaties behouden blijven.
   • Wiskundige Formulering: De verwachte feature $\mathbb{E}[X]$ wordt benaderd als $C B$, waarbij $C$ de sample-coëfficiënten zijn die worden afgeleid door kenmerken te projecteren op de basis $B$.

C. Feature Aggregatie

De uiteindelijke output van het CBB combineert drie componenten om robuustheid te waarborgen:
$$F_{out} = \hat{\mathbb{E}}[X] + \hat{\mathbb{E}}[M] + M$$

• $\hat{\mathbb{E}}[X]$: De geschatte verwachting van de input (causale kenmerken).
• $\hat{\mathbb{E}}[M]$: De geschatte verwachting van de mediator.
• $M$: De ruwe mediator-kenmerken (behoud van taak-specifieke details).
  Deze aggregatie stelt het model in staat zich te richten op causale factoren terwijl het noodzakelijke taak-specifieke informatie behoudt voor downstream detectiekoppen.

3. Belangrijkste Bijdragen

1. Bridge Framework: Een nieuw DGOD-framework dat naadloos integreert met zowel discriminatieve VFMs (DINOv2/3, SAM) als generatieve VFMs (Stable Diffusion). Het adresseert schijnbare correlaties zonder kostbare full-network fine-tuning te vereisen.
2. Causal Basis Block (CBB): Een nieuwe module die front-door adjustment implementeert via basis learning. In tegenstelling tot eerdere werken die externe verstorende factoren-dictionaries of complexe post-processing vereisen, is CBB end-to-end trainbaar, flexibel en schaalbaar.
3. Nieuwe Benchmark (DroneVehicle): De auteurs hebben de DroneVehicle-dataset uitgebreid door weersomstandigheden te annoteren (Clear, Dark, Foggy, Extreme Dark), waardoor een uitgebreide benchmark is gecreëerd voor het evalueren van UAV-gebaseerde domain generalization onder diverse weersscenario's.
4. State-of-the-Art Prestaties: Uitgebreide experimenten over vijf benchmarks tonen significante verbeteringen ten opzichte van bestaande methoden.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf diverse benchmarks: Cross-Camera, Adverse Weather, Real-to-Artistic, Diverse Weather Datasets, en de nieuwe Diverse Weather DroneVehicle.

• Prestatiewinst: Bridge presteerde consequent beter dan eerdere state-of-the-art (SOTA) methoden.
  • Cross-Camera (BDD100K): Overschreed de nummer twee (Boost) met +3.8 mAP (met SD backbone) en toonde winsten van +1.1 tot +5.1 mAP over DINOv2, DINOv3 en SAM.
  • Adverse Weather (FoggyCityscapes): Bereikte consistente winsten van +3.9 tot +5.4 mAP over verschillende backbones.
  • Real-to-Artistic: Verbeterde prestaties op gestileerde datasets (Clipart, Comic, Watercolor), met een opvallende boost naar 81.0 mAP op de Clipart-dataset met DINOv3.
  • Extreme Omstandigheden: In het Extreme-Dark scenario (DroneVehicle) stelde Bridge VFMs in staat om 34.0 mAP te bereiken (DINOv3), wat significant beter is dan de baseline Faster R-CNN (8.1 mAP).
• Ablatie Studies:
  • Bevestigde dat zowel de Low-Rank Basis als Sample Queries kritiek zijn voor prestaties.
  • Toonde aan dat Bridge alternatieve causale interventies overtreft (zoals de FACL-methode die cross-attention gebruikt).
  • Demonstreerde dat de optimale basisratio varieert per modelcapaciteit (bijvoorbeeld 12.5% voor sterke DINOv3 versus 50-70% voor SAM/SD).
• Kwalitatieve Analyse: Visualisaties van gradiëntresponsen tonen aan dat Bridge succesvol de aandacht verschuift van schijnbare aanwijzingen (bijvoorbeeld achtergrondrommel, co-occurrence objecten) naar de daadwerkelijke objectkenmerken, wat leidt tot minder false positives in complexe scènes.

5. Betekenis

• Causale Inferentie in de Praktijk: Bridge biedt een praktische, schaalbare oplossing voor het probleem van "schijnbare correlaties" in deep learning, en gaat verder dan theoretische causale grafieken naar een leerbare, basis-gedreven implementatie.
• Maximaliseren van VFMs: Het ontsluit het volledige potentieel van bevroren Vision Foundation Models voor domain generalization taken, en bewijst dat voorgeöordeelde modellen robuust kunnen worden gemaakt voor distributieveranderingen zonder de volledige backbone opnieuw te trainen.
• Impact op Remote Sensing: De introductie van de weers-geannoteerde DroneVehicle-dataset vult een kritieke kloof in remote sensing onderzoek, en biedt een rigoureuze benchmark voor het evalueren van AI onder ongunstige weersomstandigheden en bij weinig licht, wat vitaal is voor toepassingen in autonoom rijden en surveillance.
• Generaliseerbaarheid: Het framework is detector-agnostisch (werkt met Faster R-CNN, Sparse R-CNN, TOOD) en backbone-agnostisch (werkt met zowel generatieve als discriminatieve modellen), waardoor het een veelzijdig hulpmiddel is voor de bredere computer vision gemeenschap.