Resumen Técnico: Adaptación de Dominio Multi-Fuente Guiada Multi-Modal para Detección de Objetos

1. Declaración del Problema

Los modelos generales de detección de objetos (OD) a menudo fallan al desplegarse en dominios objetivo que difieren de sus dominios fuente de entrenamiento debido a desplazamientos de dominio causados por factores como la hora del día, el estilo (real vs. sintético) y artefactos de la cámara. Si bien los métodos de Adaptación de Dominio No Supervisada (UDA) han abordado escenarios de fuente única, luchan cuando están disponibles múltiples dominios fuente. Mezclar ingenuamente múltiples fuentes para UDA de fuente única a menudo rinde peor incluso que una sola fuente debido a las discrepancias entre las fuentes.

Los métodos existentes de Adaptación de Dominio Multi-Fuente (MSDA) intentan mitigar esto tratando los dominios fuente por separado, empleando típicamente una red agnóstica al dominio (usando Capas de Reversión de Gradiente) y una red específica del dominio. Sin embargo, estos métodos sufren una limitación fundamental: intentan aprender características agnósticas al dominio únicamente a partir de imágenes RGB específicas del dominio suprimiendo las señales específicas del dominio. Esto crea un conflicto de entrenamiento donde el modelo debe simultáneamente suprimir y codificar información específica del dominio a partir de la misma entrada, lo que conduce a dificultades de optimización y una convergencia lenta. Además, las características RGB son inherentemente sensibles a variaciones en la iluminación, el color y la textura, lo que las convierte en una fuente limitada para una representación verdaderamente agnóstica al dominio.

2. Metodología: MS-DePro

Para abordar estas limitaciones, los autores proponen MS-DePro (Detector Multi-Fuente con Profundidad y Prompt). La filosofía central es desacoplar explícitamente las características específicas del dominio y las agnósticas al dominio aprovechando modalidades de entrada adicionales e inherentemente invariantes: mapas de profundidad y texto.

El marco sigue una arquitectura Mean-Teacher, utilizando un estudiante multi-fuente etiquetado y un maestro objetivo no etiquetado. Comprende dos componentes principales:

A. Localización Guiada por Profundidad

Reconociendo que los mapas de profundidad proporcionan representaciones consistentes de la forma y la estructura de los objetos independientemente de la iluminación o la textura, los autores los utilizan para guiar la localización de objetos.

• Mecanismo: Durante el entrenamiento, un modelo de estimación de profundidad monoculares de uso común genera mapas de profundidad relativos a partir de imágenes RGB de entrada.
• Arquitectura: El sistema emplea espaldas desacopladas y Redes de Propuesta de Regiones (RPN) tanto para RGB ($BB_R, RPN_R$) como para Profundidad ($BB_D, RPN_D$).
• Integración: Las propuestas de regiones de la rama de profundidad ($p_D$) se proyectan sobre el mapa de características RGB. El sistema agrega propuestas de ambas modalidades, seleccionando las top-$k$ basadas en los logit de objetividad. Esto permite que el modelo capture regiones pasadas por alto por el RGB solo y filtre propuestas espurias.
• Inferencia: La rama de profundidad se utiliza exclusivamente durante el entrenamiento para generar pseudo-etiquetas y refinar la localización del estudiante. En la inferencia, la rama de profundidad se elimina y la detección se realiza utilizando solo la red RGB, incurriendo en ninguna latencia adicional.

B. Aprendizaje de Prompt Guiado Multi-Modal

Los autores aprovechan la consistencia semántica de alto nivel del texto para codificar conocimiento agnóstico al dominio mientras utilizan características RGB para la adaptación específica del dominio.

• Descomposición del Prompt: El prompt de texto aprendible se descompone en dos conjuntos de tokens:
  1. Tokens Agnósticos al Dominio ($v_m$): Enriquecidos con características de mapas de profundidad superficiales ($\hat{F}_D$) a través de una Red Agnóstica al Dominio (DA-Net). Estos capturan características geométricas y estructurales compartidas entre dominios.
  2. Tokens Específicos del Dominio ($d_m$): Enriquecidos con características de mapas RGB superficiales ($\hat{F}_R$) a través de una Red Específica del Dominio (DS-Net). Estos capturan señales de estilo y apariencia específicas de cada dominio.
• Búferes de Tokens: Dado que los mapas de profundidad no están disponibles en la inferencia, el token Agnóstico al Dominio ($\pi_{DA}$) y el token Específico del Dominio ($\pi_{DS}$) se precalculan y almacenan en búferes durante el entrenamiento utilizando el Promedio Móvil Exponencial (EMA). Estos búferes reemplazan la generación dinámica de tokens durante la inferencia, permitiendo que el modelo utilice un prompt de texto estático y optimizado sin sobrecarga computacional.
• Clasificación: El prompt de texto final combina estos tokens con nombres de clases (por ejemplo, [v1]...[vM1][d1]...[dM2][CLS]) para alinearse con los incrustados de objetos para la clasificación.

3. Contribuciones Clave

1. Marco Novel: Introducción de MS-DePro, el primer marco MSDA para detección de objetos que aprovecha explícitamente modalidades auxiliares (profundidad y texto) para codificar representaciones invariantes al dominio, evitando la necesidad de aprendizaje adversarial para suprimir señales específicas del dominio.
2. Localización Guiada por Profundidad: Un método que utiliza mapas de profundidad para generar propuestas de regiones complementarias, mejorando la robustez de la localización frente a desplazamientos de dominio en textura e iluminación.
3. Aprendizaje de Prompt Guiado Multi-Modal: Un enfoque estructurado de aprendizaje de prompts que separa explícitamente el conocimiento agnóstico al dominio (guiado por profundidad) y el específico del dominio (guiado por RGB) dentro de incrustados de texto aprendibles.
4. Rendimiento de Estado del Arte: Experimentos integrales que demuestran que MS-DePro logra un rendimiento superior en benchmarks MSDA en comparación con métodos existentes.

4. Resultados Experimentales

Los autores evaluaron MS-DePro en benchmarks MSDA estándar y extendieron la evaluación a la Generalización de Dominio Multi-Fuente (MSDG).

• Benchmarks MSDA:
  • Adaptación Cruzada en el Tiempo (BDD100K): MS-DePro logró 53.7 mAP, superando al SOTA anterior (ACIA) por 5.8 mAP. Cabe destacar que superó la línea base "Oracle All-combined" (entrenada en datos de fuente y objetivo etiquetados) por 2.9 mAP.
  • Adaptación Cruzada de Cámaras (Cityscapes/KITTI): MS-DePro logró 68.4 mAP, una mejora de 9.3 mAP sobre ACIA.
  • Adaptación de Dominio Mixto: En configuraciones que combinan Cityscapes, MS-COCO y Synscapes, MS-DePro superó al SOTA anterior por 2.9 a 4.4 mAP dependiendo del número de dominios fuente.
• Generalización de Dominio (MSDG):
  • Clima Diverso: MS-DePro logró el mAP promedio más alto a través de dominios de clima no vistos (mPC), superando a métodos como PDOC y CLIP-Gap.
  • Real a Artístico: El modelo demostró una fuerte generalización desde conjuntos de datos del mundo real hasta estilos artísticos (Clipart, Cómic, Acuarela), superando significativamente las líneas base de generalización de dominio de fuente única.
• Estudios de Ablación:
  • Profundidad vs. RGB: Las visualizaciones t-SNE confirmaron que las características de profundidad forman un único y consistente clúster a través de dominios, mientras que las características RGB están dispersas.
  • Sinergia de Componentes: Eliminar ya sea la localización guiada por profundidad o el aprendizaje de prompts multi-modal resultó en caídas significativas de rendimiento, confirmando su efecto sinérgico.
  • Configuración de Tokens: El mejor rendimiento se logró utilizando características a nivel de imagen para tokens agnósticos al dominio y características a nivel de propuesta para tokens específicos del dominio.
  • Costo Computacional: Si bien el entrenamiento implica procesamiento adicional de profundidad, el costo de inferencia es idéntico al modelo base solo RGB, ya que la rama de profundidad se elimina y los tokens se precalculan.

5. Significancia y Limitaciones

El artículo afirma que MS-DePro demuestra la efectividad de desacoplar explícitamente las características específicas del dominio y las agnósticas al dominio utilizando modalidades auxiliares. Al alejarse del proceso "paradójico" de suprimir señales del dominio de imágenes RGB, el método logra una adaptación más robusta. Los resultados sugieren que aprovechar señales geométricas (profundidad) y señales semánticas (texto) a nivel de entrada es una estrategia superior para MSDA en comparación con depender únicamente de la alineación adversarial.

Limitaciones:
Los autores reconocen que los mapas de profundidad generados por modelos de estimación monoculares pueden ser ruidosos bajo condiciones desafiantes como desenfoque por movimiento, oclusión severa, clima adverso y poca luz. En estos escenarios, la calidad de las propuestas de regiones y la estabilidad del token Agnóstico al Dominio pueden degradarse, afectando potencialmente el rendimiento. El artículo sugiere que mejorar la robustez de la estimación de profundidad es una dirección para trabajos futuros.