Towards Domain-Generalized Open-Vocabulary Object Detection: A Progressive Domain-invariant Cross-modal Alignment Method

1. Planteamiento del Problema

La Detección de Objetos de Vocabulario Abierto (OVOD) ha logrado un éxito notable al permitir que los detectores reconozcan categorías no vistas durante el entrenamiento, basándose en la alineación entre características visuales y embebidos textuales (mediante Modelos Visión-Lenguaje o VLMs). Sin embargo, la mayoría de estos métodos asumen implícitamente la estacionariedad del dominio (que los datos de prueba provienen de la misma distribución que los de entrenamiento).

El problema central identificado en este trabajo es la fragilidad de la alineación cruzada de modos (cross-modal alignment) ante desplazamientos de distribución (domain shifts).

• Vulnerabilidad Fundamental: Cuando ocurren cambios en el dominio (ej. niebla, lluvia, cambios de estilo artístico), la relación entre las variedades visuales y los embebidos textuales se rompe.
• Colapso del Espacio Latente: Los autores demuestran que los desplazamientos visuales no solo añaden ruido, sino que provocan un colapso en el espacio latente compartido. Las señales visuales de las categorías novedosas (novel categories) se desvinculan de sus "anclas" semánticas, mientras que las categorías base (que tienen priores visuales aprendidos) pueden resistir mejor.
• Heterogeneidad del Fallo: El impacto del desplazamiento no es uniforme; algunos ejemplos sufren un colapso de señal (la confianza cae), mientras que otros experimentan confusión de límites (la frontera entre categorías se vuelve borrosa). Los métodos actuales tratan todos los ejemplos por igual, lo que desestabiliza el entrenamiento en las regiones más críticas para la generalización.

2. Metodología: PICA

Para abordar estos desafíos, los autores proponen PICA (Progressive Domain-invariant Cross-modal Alignment), un marco que formaliza la Detección de Objetos de Vocabulario Abierto Generalizada al Dominio (DG-OVOD).

A. Formalización del Problema (DG-OVOD)

Se define un escenario donde el modelo se entrena en un dominio fuente ($D_{src}$) con anotaciones solo de categorías base, pero debe evaluarse en un dominio objetivo no visto ($D_{tgt}$) que incluye categorías novedosas y presenta desplazamientos de distribución tanto semánticos como visuales.

B. Mecanismo de PICA

PICA introduce una estrategia de aprendizaje curricular guiada por dos métricas complementarias que caracterizan los modos de fallo en cada región de la imagen:

1. Proxy de Fuerza de Señal ($q_r$): Mide la confianza absoluta de la alineación positiva. Identifica regiones donde la señal visual es débil o ruidosa (colapso de señal).
2. Proxy de Ambigüedad ($h_r$): Mide la confusión de límites calculando la diferencia entre la similitud con la categoría negativa más fuerte y la positiva. Identifica regiones cercanas a la frontera de decisión.

Estrategia de Muestreo Progresivo (Curriculum Learning):
En lugar de entrenar con todas las muestras simultáneamente, PICA utiliza un muestreador adaptativo que organiza las regiones en niveles de dificultad:

• Fase Inicial: Prioriza regiones con baja ambigüedad y alta fuerza de señal. Esto permite que la capa de proyección aprenda a mapear características visuales limpias a sus prototipos textuales sin distraerse por el ruido del dominio.
• Fases Posteriores: A medida que el modelo se calibra, incorpora progresivamente regiones más ambiguas o con señales más débiles.
• Puerta Suave (Soft Gate): Dentro de cada nivel de dificultad, las regiones con una fuerza de señal extremadamente baja (percentil inferior) reciben una penalización para evitar que el modelo se ajuste en exceso a regiones donde la información semántica ha colapsado.

Función de Pérdida:
El objetivo de entrenamiento combina la pérdida de detección estándar, la pérdida de vocabulario abierto y una pérdida curricular ($L_{curr}$). Esta última utiliza un objetivo InfoNCE bidireccional sobre el conjunto de regiones muestreadas, forzando la consistencia visual entre vistas originales y aumentadas, actuando como regularizador para mantener la estabilidad del espacio latente.

3. Contribuciones Clave

1. Formalización de DG-OVOD: Se establece el primer protocolo unificado de evaluación para cuantificar el impacto de los desplazamientos de distribución en la generalización de vocabulario abierto.
2. Descubrimiento de una Vulnerabilidad Paradigmática: Se revela que la inestabilidad de la alineación cruzada de modos es el cuello de botella principal para la generalización en OVOD bajo desplazamientos de dominio, un aspecto previamente ignorado.
3. Propuesta de PICA: Un nuevo método que utiliza un curriculum progresivo basado en ambigüedad y fuerza de señal para forzar una alineación invariante al dominio, corrigiendo la desconexión semántico-visual.
4. Benchmark Sistemático: Se crea el primer benchmark integral (OV-COCO-C y OV-COCO-O) que evalúa métodos OVOD bajo 15 tipos de corrupciones sintéticas y 6 dominios de distribución fuera de distribución (OOD) reales.

4. Resultados Experimentales

Los autores evaluaron PICA frente a los métodos más avanzados (SOTA) como Baron, R.CLIP, Obj, etc., en dos benchmarks principales:

• OV-COCO-C (Corrupciones Sintéticas): PICA logró el mejor rendimiento global con un mAP50 promedio de 20.7, superando a todos los métodos existentes. Mostró mejoras consistentes en tipos de corrupción variados (ruido, desenfoque, clima, distorsiones geométricas). Por ejemplo, bajo condiciones de "Nieve" (Snow), mejoró el rendimiento de categorías novedosas de 18.9 a 19.8.
• OV-COCO-O (Desplazamientos de Dominio Real): En dominios como dibujos animados, bocetos y condiciones climáticas reales, PICA alcanzó un mAP50 promedio de 19.7, superando significativamente a los baselines.
• Análisis de Estabilidad:
  • Gap de Invarianza de Alineación (AI-gap): PICA mostró un gap significativamente menor, indicando una correspondencia visual-textual más estable.
  • Dinámica del Gradiente: PICA mantuvo una mayor similitud coseno en la dirección del gradiente durante el entrenamiento, lo que sugiere conflictos de gradiente reducidos y una optimización más coherente en comparación con los métodos basales que sufren caídas frecuentes.
  • Estabilidad a Nivel de Región: El análisis mostró que PICA consolida selectivamente la robustez en regiones de señal media-alta, mientras que los métodos uniformes fallan en proteger estas regiones de la confusión de límites.

5. Significado e Impacto

Este trabajo es fundamental porque cambia el paradigma de cómo se aborda la generalización en la detección de objetos de vocabulario abierto.

• Más allá del Laboratorio: Demuestra que la robustez en OVOD no se logra simplemente con más datos o arquitecturas más grandes, sino mediante la estabilidad de la alineación latente entre modos.
• Nueva Perspectiva de Entrenamiento: Introduce la idea de que el aprendizaje debe ser progresivo y adaptativo a la calidad de la señal y la ambigüedad, en lugar de tratar todos los ejemplos por igual.
• Aplicaciones Críticas: Al mejorar la fiabilidad bajo condiciones adversas (niebla, lluvia, estilos artísticos), este enfoque es crucial para aplicaciones del mundo real como la conducción autónoma y la percepción robótica en entornos abiertos y dinámicos.

En resumen, PICA proporciona una vía principista para construir sistemas de visión artificial verdaderamente generalizables, asegurando que la conexión entre lo que la máquina "ve" y lo que "entiende" (texto) permanezca intacta incluso cuando las condiciones visuales cambian drásticamente.