Simple Supervision Is Hard to Beat: A Bitter Lesson from Sparse Target Labels in Domain-Adaptive Object Detection

Resumen Técnico: La supervisión simple es difícil de superar

Definición del Problema
La adaptación de dominio libre de fuente para la detección de objetos (SFDA-OD) tiene como objetivo adaptar un detector entrenado en un dominio fuente etiquetado a un dominio objetivo no etiquetado sin acceder a los datos de la fuente. Los métodos actuales de vanguardia en SFDA-OD dependen fuertamente de marcos de autoentrenamiento profesor-estudiante, donde un modelo profesor genera etiquetas pseudo-etiquetas para imágenes objetivo no etiquetadas con el fin de supervisar un modelo estudiante. Sin embargo, este enfoque sufre de un cuello de botella: bajo cambios de dominio, las pseudo-etiquetas suelen contener falsos positivos, omiten objetos difíciles (falsos negativos) y proporcionan señales de optimización inestables.

Mientras que la Adaptación de Dominio Activa (ADA) estudia cómo seleccionar las muestras más informativas para su anotación, este artículo investiga un protocolo más simple y controlado: ¿cuál es la forma óptima de utilizar un subconjunto pequeño y uniformemente aleatorio de imágenes objetivo etiquetadas? Los autores aíslan la cuestión de la utilización de etiquetas de la selección de etiquetas, preguntándose si las anotaciones dispersas del objetivo pueden mejorar los métodos de SFDA-OD existentes más allá de su uso directo como ejemplos supervisados.

Metodología
El artículo propone un método de referencia llamado Mezcla de Supervisión de Objetivos Aleatorios (RTSM) y evalúa sistemáticamente diez "plugins de retroalimentación de etiquetas dispersas" diseñados para dirigir la rama de autoentrenamiento no etiquetada utilizando las mismas anotaciones.

1. El Ancla (RTSM):
   RTSM trata al subconjunto de objetivo aleatoriamente etiquetado como datos de entrenamiento supervisados ordinarios. Añade una pérdida de detección supervisada estándar en estas imágenes etiquetadas mientras mantiene la rama de autoentrenamiento de SFDA-OD original (pérdida no etiquetada, actualizaciones profesor-estudiante y generación de pseudo-etiquetas) completamente inalterada. Esto sirve como un punto de referencia fuerte y simple para medir el beneficio directo de la supervisión dispersa.

2. Plugins de Retroalimentación:
   Los autores evalúan diez plugins modulares que intentan utilizar las mismas etiquetas dispersas para mejorar la rama no etiquetada. Estos se categorizan en tres puntos de intervención en el proceso de Mean Teacher:

   • Selección de Pseudo-Etiquetas (Orientada a la Precisión): Estos plugins ajustan cómo se convierten los candidatos del profesor en pseudo-etiquetas.
     • Umbralización Mapeada por Prior (Prior-Mapped Thresholding): Ajusta los umbrales de confianza específicos de la clase basados en la discrepancia entre los priors de clase de la verdad de terreno (ground-truth) dispersa y los priors de las pseudo-etiquetas de referencia.
     • Umbralización Calibrada por Precisión (Precision-Calibrated Thresholding): Selecciona umbrales que maximizan la retención de candidatos correctos mientras se cumple un objetivo de precisión empírica en el conjunto disperso.
     • Reescalado de Puntuación de Fiabilidad (Reliability Score Rescaling): Suprime las puntuaciones de confianza para las clases donde las pseudo-etiquetas de referencia muestran una baja precisión en el conjunto disperso.
   • Completado de Objetos (Orientado al Recall): Estos plugins intentan recuperar objetos omitidos por el generador de pseudo-etiquetas de referencia.
     • Recuperación de Consultas Difíciles (Hard Query Recovery): Entrena un clasificador binario en imágenes dispersas para identificar candidatos rechazados que corresponden a objetos omitidos de la verdad de terreno, insertándolos en el conjunto de pseudo-etiquetas.
     • Recuperación Difícil Multi-Vista (Multi-View Hard Recovery): Mejora la Recuperación de Consultas Difíciles con señales de consistencia entre vistas.
     • Revitalización de Consultas de Primer Plano (Foreground Query Revival): Utiliza los candidatos recuperados como supervisión débil (fomentando la "presencia de primer plano") en lugar de pseudo-etiquetas estrictas para evitar la propagación de errores de localización o de clase.
     • Revitalización de Primer Plano Multi-Vista (Multi-View Foreground Revival): Combina la recuperación multi-vista con la pérdida de supervisión débil.
   • Control de Optimización: Estos plugins regulan la dinámica de entrenamiento entre las etiquetas dispersas confiables y las pseudo-etiquetas ruidosas.
     • Balanceo de Pérdida Dispersa (Sparse Loss Balancing): Ajusta dinámicamente el peso de la pérdida no etiquetada en relación con la pérdida supervisada basándose en sus magnitudes.
     • PCGrad Anclado al Objetivo (Target-Anchored PCGrad): Proyecta el gradiente de la pseudo-etiqueta para eliminar componentes que entran en conflicto con el gradiente supervisado disperso.
     • Actualización del Profesor Guiada por Etiquetas (Label-Guided Teacher Update): Utiliza la supervisión dispersa para identificar grupos de parámetros que deben actualizarse más rápido (mayor impulso EMA) en el modelo profesor.

Configuración Experimental
La evaluación abarca cuatro métodos de SFDA-OD (PETS, LPU, LPLD, DDT), dos detectores basados en transformadores (DINO, DETA) y dos tareas de adaptación (Cityscapes $\to$ Foggy Cityscapes y Cityscapes $\to$ BDD100K). Los experimentos se realizan con presupuestos de etiquetas dispersas de 1%, 5% y 10% del conjunto de entrenamiento objetivo.

Resultados Clave

1. RTSM es Altamente Efectivo: En todos los entornos, RTSM mejora consistentemente los baselines de SFDA puro por un margen significativo, que oscila entre 1.7 y 18.3 AP50. Esto confirma que simplemente mezclar un pequeño subconjunto aleatorio de etiquetas del objetivo en la pérdida supervisada es una señal de adaptación poderosa.
2. Los Plugins de Retroalimentación son Poco Confiables: Ninguno de los diez plugins supera consistentemente a RTSM.
   • Las ganancias de rendimiento dependen del método: Un plugin que mejora un método de SFDA (por ejemplo, PETS) a menudo degrada otro (por ejemplo, LPLD).
   • El rendimiento es inconsistente entre categorías: Las mejoras en clases de objetos específicas son frecuentemente compensadas por degradaciones en otras.
   • Rendimientos Decrecientes: A medida que aumenta el presupuesto de etiquetas (del 1% al 10%), el beneficio marginal de los plugins sobre RTSM disminuye, volviéndose a menudo negativo. Con presupuestos más altos, la supervisión directa captura la mayor parte de la señal disponible, dejando poco espacio para que los mecanismos de retroalimentación ruidosos aporten valor.
3. No hay un Ganador Universal: No existe una única estrategia de plugin (selección, completado o control) que sirva como una mejora robusta de propósito general sobre el ancla simple de RTSM.

Significado y Reivindicaciones
El artículo entrega una "lección amarga" para el campo de la SFDA-OD con etiquetas dispersas: la supervisión simple es difícil de superar.

• RTSM como un Basiline Necesario: Los autores argumentan que RTSM debe servir como el ancla mínima y necesaria para trabajos futuros. Cualquier método propuesto que utilice etiquetas dispersas debe demostrar ganancias más allá de RTSM, no solo sobre el SFDA puro, para probar una utilización efectiva de las etiquetas.
• Limitaciones de la Retroalimentación Compleja: El estudio revela que usar etiquetas dispersas para calibrar pseudo-etiquetas, recuperar objetos omitidos o regular la dinámica de optimización produce resultados fragmentados e inestables. La complejidad de estos mecanismos de retroalimentación no se traduce en mejoras de rendimiento consistentes.
• Alcance: Los hallazgos son específicos para la detección de objetos basada en transformadores bajo adaptación de dominio libre de fuente. Los autores señalan modestamente que se necesita trabajo futuro para determinar si este patrón se extiende a otras familias de detectores o tareas de visión.

En conclusión, el artículo sugiere que para la SFDA-OD con etiquetas dispersas, la estrategia más efectiva suele ser la más simple: incorporar directamente las etiquetas disponibles del objetivo en la pérdida supervisada, en lugar de intentar usarlas para diseñar bucles de retroalimentación complejos para la rama de autoentrenamiento no etiquetada.