Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization

1. Planteamiento del Problema

Generalización de Dominio (DG) en Detección de Objetos:
Los modelos actuales de detección de objetos basados en datos sufren degradación del rendimiento al transferirse de un dominio fuente a un dominio objetivo no visto. Esto es particularmente agudo en configuraciones de dominio único con datos limitados.

• El Problema Central: Los modelos tienden a depender de correlaciones espurias causadas por confusores ($Z$) como la iluminación, patrones de co-ocurrencia (por ejemplo, una bicicleta apareciendo cerca de una persona) y discrepancias estilísticas.
• Consecuencia: En lugar de aprender características causales que determinan la etiqueta del objeto ($Y$), el modelo aprende asociaciones sesgadas entre las características de entrada ($X$) y las etiquetas inducidas por $Z$. Esto conduce a fallos en escenarios fuera de distribución (OOD) (por ejemplo, clasificar erróneamente una bicicleta como un jinete porque suelen aparecer juntos en los datos de entrenamiento).
• Limitaciones de la DG Existente: Los enfoques actuales a menudo se centran en representaciones invariantes al dominio o en aumento de datos, pero frecuentemente descuidan los mecanismos causales detrás de los confusores. Además, aunque los Modelos Fundacionales de Visión (VFMs) como DINOv2, SAM y Stable Diffusion ofrecen representaciones preentrenadas sólidas, simplemente ajustarlos finamente a menudo falla en mitigar estas correlaciones espurias, desperdiciando su capacidad representacional.

2. Metodología: El Marco Bridge

Los autores proponen Bridge, un marco novedoso que integra Inferencia Causal en la detección de objetos utilizando VFMs. La innovación central es el Bloque de Base Causal (CBB), que implementa Ajuste de Puerta Delantera para bloquear la influencia de los confusores.

A. Fundamento Teórico: Ajuste de Puerta Delantera

Para mitigar las correlaciones espurias sin observar ni modelar explícitamente los confusores ($Z$), el método emplea el Ajuste de Puerta Delantera.

• Mecanismo: En lugar de bloquear la ruta de puerta trasera ($X \leftarrow Z \rightarrow Y$), el método introduce una variable mediadora ($M$) en la ruta causal ($X \rightarrow M \rightarrow Y$).
• Objetivo: El modelo aprende a predecir $Y$ basándose en $M$, filtrando efectivamente el ruido de $Z$.
• Aproximación: Dado que calcular la expectativa completa sobre todas las entradas posibles es intratable, los autores aproximan el ajuste de puerta delantera utilizando la Media Geométrica Ponderada Normalizada (NWGM) y la reformulan como una combinación lineal de vectores de base aprendibles.

B. El Bloque de Base Causal (CBB)

El CBB es un módulo plug-and-play, diferenciable de extremo a extremo diseñado para insertarse en VFMs congelados. Consiste en dos etapas principales:

1. Estimación de Expectativa mediante Consultas de Muestra:

   • Inspirado en el aprendizaje de diccionarios, el método aproxima la representación de características esperada utilizando un conjunto de Consultas de Muestra Aprendibles ($Q_s$).
   • Estas consultas agregan información global y generalizable del conjunto de entrenamiento.
   • Se genera un mapa de ponderación espacial ($A$) mediante Softmax para reponderar las características de entrada, enfatizando la información generalizada.

2. Proyección en Subespacio de Baja Rango:

   • Las características reponderadas se proyectan sobre un subespacio de baja rango abarcado por Vectores de Base ($B$) aprendibles.
   • Función: Esta proyección filtra componentes redundantes e irrelevantes para la tarea (ruido) mientras preserva las representaciones causales centrales.
   • Formulación Matemática: La característica esperada $\mathbb{E}[X]$ se aproxima como $C B$, donde $C$ son los coeficientes de muestra derivados de proyectar las características sobre la base $B$.

C. Agregación de Características

La salida final del CBB combina tres componentes para garantizar robustez:
$$F_{out} = \hat{\mathbb{E}}[X] + \hat{\mathbb{E}}[M] + M$$

• $\hat{\mathbb{E}}[X]$: La expectativa estimada de la entrada (características causales).
• $\hat{\mathbb{E}}[M]$: La expectativa estimada del mediador.
• $M$: Las características del mediador en bruto (preservando detalles específicos de la tarea).
  Esta agregación permite que el modelo se enfoque en factores causales mientras retiene la información necesaria específica de la tarea para las cabezas de detección aguas abajo.

3. Contribuciones Clave

1. Marco Bridge: Un marco DGOD novedoso que se integra perfectamente tanto con VFMs discriminativos (DINOv2/3, SAM) como con VFMs generativos (Stable Diffusion). Aborda las correlaciones espurias sin requerir un ajuste fino costoso de toda la red.
2. Bloque de Base Causal (CBB): Un nuevo módulo que implementa el ajuste de puerta delantera mediante aprendizaje de bases. A diferencia de trabajos anteriores que requieren diccionarios de confusores externos o postprocesamiento complejo, el CBB es entrenable de extremo a extremo, flexible y escalable.
3. Nuevo Benchmark (DroneVehicle): Los autores extendieron el conjunto de datos DroneVehicle anotando condiciones climáticas (Despejado, Oscuro, Neblinoso, Oscuro Extremo), creando un benchmark integral para evaluar la generalización de dominio basada en UAV bajo diversos escenarios climáticos.
4. Rendimiento de Vanguardia: Experimentos extensos en cinco benchmarks demuestran mejoras significativas sobre los métodos existentes.

4. Resultados Experimentales

El método fue evaluado en cinco benchmarks diversos: Cámara Cruzada, Clima Adverso, Real a Artístico, Conjuntos de Datos de Clima Diverso y el nuevo DroneVehicle de Clima Diverso.

• Ganancias de Rendimiento: Bridge superó consistentemente a los métodos anteriores de vanguardia (SOTA).
  • Cámara Cruzada (BDD100K): Superó al segundo clasificado (Boost) en +3.8 mAP (usando backbone SD) y mostró ganancias de +1.1 a +5.1 mAP en DINOv2, DINOv3 y SAM.
  • Clima Adverso (FoggyCityscapes): Logró ganancias consistentes de +3.9 a +5.4 mAP en diferentes backbones.
  • Real a Artístico: Mejoró el rendimiento en conjuntos de datos estilizados (Clipart, Comic, Watercolor), con un notable impulso a 81.0 mAP en el conjunto de datos Clipart usando DINOv3.
  • Condiciones Extremas: En el escenario Oscuro Extremo (DroneVehicle), Bridge permitió que los VFMs alcanzaran 34.0 mAP (DINOv3), superando significativamente al Faster R-CNN de línea base (8.1 mAP).
• Estudios de Ablación:
  • Confirmaron que tanto la Base de Baja Rango como las Consultas de Muestra son críticas para el rendimiento.
  • Mostraron que Bridge supera a intervenciones causales alternativas (como el método FACL que usa atención cruzada).
  • Demostraron que la proporción de base óptima varía según la capacidad del modelo (por ejemplo, 12.5% para DINOv3 fuerte vs. 50-70% para SAM/SD).
• Análisis Cualitativo: Las visualizaciones de las respuestas de gradiente muestran que Bridge desplaza exitosamente la atención de señales espurias (por ejemplo, desorden de fondo, objetos co-ocurrentes) a las características reales del objeto, reduciendo los falsos positivos en escenas complejas.

5. Significado

• Inferencia Causal en la Práctica: Bridge proporciona una solución práctica y escalable al problema de la "correlación espuria" en el aprendizaje profundo, avanzando más allá de los gráficos causales teóricos hacia una implementación aprendible y basada en bases.
• Maximización de VFMs: Desbloquea el potencial completo de los Modelos Fundacionales de Visión congelados para tareas de generalización de dominio, demostrando que los modelos preentrenados pueden hacerse robustos a los cambios de distribución sin reentrenar todo el backbone.
• Impacto en Teledetección: La introducción del conjunto de datos DroneVehicle anotado con clima llena una brecha crítica en la investigación de teledetección, proporcionando un benchmark riguroso para evaluar la IA en condiciones climáticas adversas y de poca luz, lo cual es vital para aplicaciones de conducción autónoma y vigilancia.
• Generalizabilidad: El marco es agnóstico al detector (funciona con Faster R-CNN, Sparse R-CNN, TOOD) y agnóstico al backbone (funciona tanto con modelos generativos como discriminativos), convirtiéndolo en una herramienta versátil para la comunidad más amplia de visión por computadora.