Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization

1. Declaração do Problema

Generalização de Domínio (DG) em Detecção de Objetos:
Modelos atuais de detecção de objetos orientados a dados sofrem degradação de desempenho ao serem transferidos de um domínio de origem para um domínio alvo não visto. Isso é particularmente agudo em cenários de domínio único com dados limitados.

• A Questão Central: Os modelos tendem a depender de correlações espúrias causadas por confundidores ($Z$), como iluminação, padrões de co-ocorrência (por exemplo, uma bicicleta aparecendo perto de uma pessoa) e discrepâncias estilísticas.
• Consequência: Em vez de aprender características causais que determinam o rótulo do objeto ($Y$), o modelo aprende associações enviesadas entre características de entrada ($X$) e rótulos induzidas por $Z$. Isso leva a falhas em cenários fora da distribuição (OOD) (por exemplo, classificar erroneamente uma bicicleta como um ciclista porque elas frequentemente aparecem juntas nos dados de treinamento).
• Limitações da DG Existente: Abordagens atuais frequentemente focam em representações invariantes ao domínio ou aumento de dados, mas negligenciam com frequência os mecanismos causais por trás dos confundidores. Além disso, embora Modelos Fundamentais de Visão (VFMs) como DINOv2, SAM e Stable Diffusion ofereçam representações pré-treinadas robustas, simplesmente ajustá-los (fine-tuning) frequentemente falha em mitigar essas correlações espúrias, desperdiçando sua capacidade representacional.

2. Metodologia: O Framework Bridge

Os autores propõem o Bridge, um framework inovador que integra Inferência Causal na detecção de objetos usando VFMs. A inovação central é o Bloco de Base Causal (CBB), que implementa o Ajuste de Porta da Frente para bloquear a influência dos confundidores.

A. Fundamentação Teórica: Ajuste de Porta da Frente

Para mitigar correlações espúrias sem observar ou modelar explicitamente os confundidores ($Z$), o método emprega o Ajuste de Porta da Frente.

• Mecanismo: Em vez de bloquear o caminho de porta traseira ($X \leftarrow Z \rightarrow Y$), o método introduz uma variável mediadora ($M$) no caminho causal ($X \rightarrow M \rightarrow Y$).
• Objetivo: O modelo aprende a prever $Y$ com base em $M$, filtrando efetivamente o ruído de $Z$.
• Aproximação: Como calcular a expectativa total sobre todas as entradas possíveis é intratável, os autores aproximam o ajuste de porta da frente usando a Média Geométrica Ponderada Normalizada (NWGM) e a reformulam como uma combinação linear de vetores de base aprendíveis.

B. O Bloco de Base Causal (CBB)

O CBB é um módulo plug-and-play, diferenciável de ponta a ponta, projetado para ser inserido em VFMs congelados. Consiste em duas etapas principais:

1. Estimação de Expectativa via Consultas de Amostra:

   • Inspirado na aprendizagem de dicionário, o método aproxima a representação de característica esperada usando um conjunto de Consultas de Amostra Aprendíveis ($Q_s$).
   • Essas consultas agregam informações globais e generalizáveis do conjunto de treinamento.
   • Um mapa de ponderação espacial ($A$) é gerado via Softmax para reponderar as características de entrada, enfatizando informações generalizadas.

2. Projeção em Subespaço de Baixo Rango:

   • As características reponderadas são projetadas em um subespaço de baixo rango abrangido por Vetores de Base Aprendíveis ($B$).
   • Função: Essa projeção filtra componentes redundantes e irrelevantes para a tarefa (ruído), preservando as representações causais centrais.
   • Formulação Matemática: A característica esperada $\mathbb{E}[X]$ é aproximada como $C B$, onde $C$ são os coeficientes de amostra derivados da projeção das características sobre a base $B$.

C. Agregação de Características

A saída final do CBB combina três componentes para garantir robustez:
$$F_{out} = \hat{\mathbb{E}}[X] + \hat{\mathbb{E}}[M] + M$$

• $\hat{\mathbb{E}}[X]$: A expectativa estimada da entrada (características causais).
• $\hat{\mathbb{E}}[M]$: A expectativa estimada do mediador.
• $M$: As características brutas do mediador (preservando detalhes específicos da tarefa).
  Essa agregação permite que o modelo foque em fatores causais, mantendo as informações específicas da tarefa necessárias para os cabeçalhos de detecção a jusante.

3. Principais Contribuições

1. Framework Bridge: Um novo framework DGOD que se integra perfeitamente tanto a VFMs discriminativos (DINOv2/3, SAM) quanto a VFMs generativos (Stable Diffusion). Ele aborda correlações espúrias sem exigir um ajuste de rede completo e custoso.
2. Bloco de Base Causal (CBB): Um novo módulo que implementa o ajuste de porta da frente através de aprendizagem de base. Diferentemente de trabalhos anteriores que exigem dicionários de confundidores externos ou pós-processamento complexo, o CBB é treinável de ponta a ponta, flexível e escalável.
3. Novo Benchmark (DroneVehicle): Os autores estenderam o conjunto de dados DroneVehicle anotando condições climáticas (Claro, Escuro, Neblina, Escuro Extremo), criando um benchmark abrangente para avaliar a generalização de domínio baseada em UAV sob diversas cenários climáticos.
4. Desempenho State-of-the-Art: Experimentos extensivos em cinco benchmarks demonstram melhorias significativas sobre métodos existentes.

4. Resultados Experimentais

O método foi avaliado em cinco benchmarks diversos: Cross-Camera, Adverse Weather, Real-to-Artistic, Diverse Weather Datasets e o novo Diverse Weather DroneVehicle.

• Ganhos de Desempenho: O Bridge superou consistentemente os métodos state-of-the-art (SOTA) anteriores.
  • Cross-Camera (BDD100K): Superou o segundo colocado (Boost) em +3.8 mAP (usando backbone SD) e mostrou ganhos de +1.1 a +5.1 mAP em DINOv2, DINOv3 e SAM.
  • Adverse Weather (FoggyCityscapes): Alcançou ganhos consistentes de +3.9 a +5.4 mAP em diferentes backbones.
  • Real-to-Artistic: Melhorou o desempenho em conjuntos de dados estilizados (Clipart, Comic, Watercolor), com um aumento notável para 81.0 mAP no conjunto de dados Clipart usando DINOv3.
  • Condições Extremas: No cenário Extreme-Dark (DroneVehicle), o Bridge permitiu que os VFMs alcançassem 34.0 mAP (DINOv3), superando significativamente o baseline Faster R-CNN (8.1 mAP).
• Estudos de Ablação:
  • Confirmaram que tanto a Base de Baixo Rango quanto as Consultas de Amostra são críticas para o desempenho.
  • Mostraram que o Bridge supera intervenções causais alternativas (como o método FACL usando atenção cruzada).
  • Demonstraram que a razão de base ótima varia conforme a capacidade do modelo (por exemplo, 12.5% para o forte DINOv3 vs. 50-70% para SAM/SD).
• Análise Qualitativa: Visualizações das respostas de gradiente mostram que o Bridge desloca com sucesso a atenção de pistas espúrias (por exemplo, desordem de fundo, objetos co-ocorrentes) para as características reais do objeto, reduzindo falsos positivos em cenas complexas.

5. Significado

• Inferência Causal na Prática: O Bridge fornece uma solução prática e escalável para o problema de "correlação espúria" no deep learning, indo além dos gráficos causais teóricos para uma implementação aprendível e orientada por bases.
• Maximizando VFMs: Desbloqueia o potencial total de Modelos Fundamentais de Visão congelados para tarefas de generalização de domínio, provando que modelos pré-treinados podem ser tornados robustos a mudanças de distribuição sem re-treinar todo o backbone.
• Impacto em Sensoriamento Remoto: A introdução do conjunto de dados DroneVehicle anotado com clima preenche uma lacuna crítica na pesquisa de sensoriamento remoto, fornecendo um benchmark rigoroso para avaliar IA em condições climáticas adversas e de baixa luminosidade, o que é vital para aplicações de direção autônoma e vigilância.
• Generalizabilidade: O framework é agnóstico ao detector (funciona com Faster R-CNN, Sparse R-CNN, TOOD) e agnóstico ao backbone (funciona com modelos generativos e discriminativos), tornando-o uma ferramenta versátil para a comunidade mais ampla de visão computacional.