Resumo Técnico: Adaptação de Domínio Multi-Fonte Guiada Multimodal para Detecção de Objetos

1. Declaração do Problema

Modelos gerais de detecção de objetos (OD) frequentemente falham quando implantados em domínios-alvo que diferem de seus domínios-fonte de treinamento devido a deslocamentos de domínio causados por fatores como hora do dia, estilo (real vs. sintético) e artefatos de câmera. Embora métodos de Adaptação de Domínio Não Supervisionada (UDA) tenham abordado cenários de fonte única, eles lutam quando múltiplos domínios-fonte estão disponíveis. A mistura ingênua de múltiplas fontes para UDA de fonte única frequentemente performa pior do que mesmo uma única fonte devido a discrepâncias entre as fontes.

Métodos existentes de Adaptação de Domínio Multi-Fonte (MSDA) tentam mitigar isso tratando os domínios-fonte separadamente, tipicamente empregando uma rede agnóstica ao domínio (usando Camadas de Reversão de Gradiente) e uma rede específica ao domínio. No entanto, esses métodos sofrem de uma limitação fundamental: eles tentam aprender características agnósticas ao domínio exclusivamente a partir de imagens RGB específicas ao domínio, suprimindo pistas específicas ao domínio. Isso cria um conflito de treinamento onde o modelo deve simultaneamente suprimir e codificar informações específicas ao domínio a partir da mesma entrada, levando a dificuldades de otimização e convergência lenta. Além disso, características RGB são inerentemente sensíveis a variações em iluminação, cor e textura, tornando-as uma fonte limitada para uma representação verdadeiramente agnóstica ao domínio.

2. Metodologia: MS-DePro

Para abordar essas limitações, os autores propõem MS-DePro (Detector Multi-Fonte com Profundidade e Prompt). A filosofia central é desenredar explicitamente características específicas ao domínio e agnósticas ao domínio, aproveitando modalidades de entrada adicionais e inerentemente invariantes: mapas de profundidade e texto.

O framework segue uma arquitetura Mean-Teacher, utilizando um estudante multi-fonte rotulado e um professor alvo não rotulado. Ele compreende dois componentes primários:

A. Localização Guiada por Profundidade

Reconhecendo que mapas de profundidade fornecem representações consistentes da forma e estrutura do objeto independentemente de iluminação ou textura, os autores os utilizam para guiar a localização de objetos.

• Mecanismo: Durante o treinamento, um modelo de estimativa de profundidade monococular pronto de prateleira gera mapas de profundidade relativos a partir de imagens RGB de entrada.
• Arquitetura: O sistema emprega backbones e Redes de Proposta de Região (RPNs) desacoplados tanto para RGB ($BB_R, RPN_R$) quanto para Profundidade ($BB_D, RPN_D$).
• Integração: Propostas de região da ramificação de profundidade ($p_D$) são projetadas no mapa de características RGB. O sistema agrega propostas de ambas as modalidades, selecionando as top-$k$ com base nos logits de objetividade. Isso permite que o modelo capture regiões perdidas apenas pelo RGB e filtre propostas espúrias.
• Inferência: A ramificação de profundidade é usada exclusivamente durante o treinamento para gerar pseudo-rótulos e refinar a localização do estudante. Na inferência, a ramificação de profundidade é removida e a detecção é realizada usando apenas a rede RGB, incorrendo em nenhuma latência adicional.

B. Aprendizado de Prompt Guiado Multimodal

Os autores aproveitam a consistência semântica de alto nível do texto para codificar conhecimento agnóstico ao domínio, enquanto usam características RGB para adaptação específica ao domínio.

• Decomposição do Prompt: O prompt de texto aprendível é decomposto em dois conjuntos de tokens:
  1. Tokens Agnósticos ao Domínio ($v_m$): Enriquecidos com características de mapas de profundidade rasos ($\hat{F}_D$) via uma Rede Agnóstica ao Domínio (DA-Net). Estes capturam características geométricas e estruturais compartilhadas entre domínios.
  2. Tokens Específicos ao Domínio ($d_m$): Enriquecidos com características de mapas RGB rasos ($\hat{F}_R$) via uma Rede Específica ao Domínio (DS-Net). Estes capturam pistas de estilo e aparência específicas de cada domínio.
• Buffers de Tokens: Como mapas de profundidade não estão disponíveis na inferência, o token Agnóstico ao Domínio ($\pi_{DA}$) e o token Específico ao Domínio ($\pi_{DS}$) são pré-calculados e armazenados em buffers durante o treinamento usando Média Móvel Exponencial (EMA). Esses buffers substituem a geração dinâmica de tokens durante a inferência, permitindo que o modelo use um prompt de texto estático e otimizado sem sobrecarga computacional.
• Classificação: O prompt de texto final combina esses tokens com nomes de classes (por exemplo, [v1]...[vM1][d1]...[dM2][CLS]) para alinhar com embeddings de objetos para classificação.

3. Contribuições Principais

1. Framework Inovador: Introdução do MS-DePro, o primeiro framework MSDA para detecção de objetos que aproveita explicitamente modalidades auxiliares (profundidade e texto) para codificar representações invariantes ao domínio, contornando a necessidade de aprendizado adversarial para suprimir pistas específicas ao domínio.
2. Localização Guiada por Profundidade: Um método que utiliza mapas de profundidade para gerar propostas de região complementares, melhorando a robustez da localização contra deslocamentos de domínio em textura e iluminação.
3. Aprendizado de Prompt Guiado Multimodal: Uma abordagem estruturada de aprendizado de prompt que separa explicitamente conhecimento agnóstico ao domínio (guiado por profundidade) e específico ao domínio (guiado por RGB) dentro de embeddings de texto aprendíveis.
4. Desempenho de Ponta: Experimentos abrangentes demonstrando que o MS-DePro alcança desempenho superior em benchmarks MSDA comparado a métodos existentes.

4. Resultados Experimentais

Os autores avaliaram o MS-DePro em benchmarks MSDA padrão e estenderam a avaliação para Generalização de Domínio Multi-Fonte (MSDG).

• Benchmarks MSDA:
  • Adaptação Cruzada no Tempo (BDD100K): O MS-DePro alcançou 53,7 mAP, superando o anterior SOTA (ACIA) em 5,8 mAP. Notavelmente, superou a linha de base "Oracle All-combined" (treinada em ambos os dados fonte e alvo rotulados) em 2,9 mAP.
  • Adaptação Cruzada de Câmera (Cityscapes/KITTI): O MS-DePro alcançou 68,4 mAP, uma melhoria de 9,3 mAP sobre o ACIA.
  • Adaptação de Domínio Misto: Em configurações combinando Cityscapes, MS-COCO e Synscapes, o MS-DePro superou o anterior SOTA em 2,9 a 4,4 mAP, dependendo do número de domínios-fonte.
• Generalização de Domínio (MSDG):
  • Clima Diverso: O MS-DePro alcançou a maior mAP média entre domínios climáticos não vistos (mPC), superando métodos como PDOC e CLIP-Gap.
  • Real para Artístico: O modelo demonstrou forte generalização de conjuntos de dados do mundo real para estilos artísticos (Clipart, Comic, Aquarela), superando significativamente as linhas de base de generalização de domínio de fonte única.
• Estudos de Ablação:
  • Profundidade vs. RGB: Visualizações t-SNE confirmaram que características de profundidade formam um único cluster consistente entre domínios, enquanto características RGB estão dispersas.
  • Sinergia de Componentes: Remover a localização guiada por profundidade ou o aprendizado de prompt multimodal resultou em quedas significativas de desempenho, confirmando seu efeito sinérgico.
  • Configuração de Tokens: O melhor desempenho foi alcançado usando características em nível de imagem para tokens agnósticos ao domínio e características em nível de proposta para tokens específicos ao domínio.
  • Custo Computacional: Embora o treinamento envolva processamento adicional de profundidade, o custo de inferência é idêntico ao modelo de base apenas RGB, pois a ramificação de profundidade é removida e os tokens são pré-calculados.

5. Significado e Limitações

O artigo afirma que o MS-DePro demonstra a eficácia de desenredar explicitamente características específicas ao domínio e agnósticas ao domínio usando modalidades auxiliares. Ao afastar-se do processo "paradoxal" de suprimir pistas de domínio a partir de imagens RGB, o método alcança uma adaptação mais robusta. Os resultados sugerem que aproveitar pistas geométricas (profundidade) e pistas semânticas (texto) no nível de entrada é uma estratégia superior para MSDA comparado a confiar apenas no alinhamento adversarial.

Limitações:
Os autores reconhecem que mapas de profundidade gerados por modelos de estimativa monococular podem ser ruidosos sob condições desafiadoras, como desfoque de movimento, oclusão severa, condições climáticas adversas e baixa luminosidade. Nessas situações, a qualidade das propostas de região e a estabilidade do token Agnóstico ao Domínio podem degradar, potencialmente afetando o desempenho. O artigo sugere que melhorar a robustez da estimativa de profundidade é uma direção para trabalhos futuros.