Resumen Técnico: Detección de Objetos en Tiempo Real Sin Fuente (RT-SFOD)

Planteamiento del Problema

Los sistemas de detección de objetos en el mundo real para la conducción autónoma, la vigilancia y la robótica deben adaptarse a los cambios de dominio (por ejemplo, cambios climáticos, diferentes sensores de cámara) sin acceso a datos de origen etiquetados o al conjunto de datos de origen mismo. Este escenario, conocido como Detección de Objetos Sin Fuente (SFOD), está limitado por estrictos requisitos de latencia y memoria.

Los métodos de SFOD existentes dependen predominantemente de detectores de dos etapas pesados (por ejemplo, Faster R-CNN) o arquitecturas basadas en transformadores (por ejemplo, DETR). Aunque son precisos, estos modelos son computacionalmente intensivos y poco adecuados para aplicaciones en tiempo real. Por el contrario, los detectores de una sola etapa eficientes como YOLO han sido subutilizados en la investigación de SFOD. Además, la aplicación directa del autoentrenamiento estándar de Mean-Teacher (MT) a los modernos detectores de doble cabeza libres de NMS (como YOLOv10) produce resultados subóptimos debido a dos cuellos de botella específicos:

1. Calidad de las etiquetas pseudo: Los detectores de doble cabeza producen predicciones de Uno-a-Uno (O2O) y Uno-a-Muchos (O2M). Las predicciones O2O son precisas pero omiten objetos (bajo recall/exhaustividad), mientras que las predicciones O2M ofrecen cobertura pero introducen ruido (menor precisión). Las estrategias simples de fusión no logran equilibrar este compromiso de manera efectiva.
2. Colapso de la discriminabilidad de características: Los cambios de dominio causan que los mapas de características multiescala colapsen en subespacios de menor dimensión, reduciendo el rango efectivo y la discriminabilidad de las características, algo que el autoentrenamiento estándar no logra recuperar plenamente.

Metodología: RT-SFOD

Los autores proponen RT-SFOD, un marco construido sobre la arquitectura YOLOv10, que es un detector de doble cabeza libre de NMS. El método integra dos módulos novedosos en un bucle de autoentrenamiento de Mean-Teacher, ambos activos únicamente durante el entrenamiento para preservar la eficiencia en la inferencia.

1. Fusión de Etiquetas Pseudo de Doble Cabeza (DHF)

Para abordar el compromiso entre precisión y exhaustividad en la generación de etiquetas pseudo, DHF combina selectivamente las predicciones de las cabezas O2O y O2M:

• Anclas: Se retienen las predicciones O2O de alta confianza como anclas de alta precisión.
• Suplementación: Las predicciones O2M no redundantes y de alto puntaje se añaden solo si tienen un solapamiento de Intersección sobre Unión (IoU) bajo con las anclas O2O.
• Resultado: Esta estrategia preserva la alta precisión de O2O mientras recupera los objetos omitidos mediante O2M, mejorando significamente el F1-score de las etiquetas pseudo sin introducir un ruido excesivo. Crucialmente, en la inferencia, el detector revierte a su modo estándar de solo O2O libre de NMS, lo que no incurre en sobrecarga de tiempo de ejecución.

2. Diversificación de Representación Adaptativa Multiescala (MARD)

Para contrarrestar el colapso de la discriminabilidad de las características bajo el cambio de dominio, MARD impone restricciones estructuradas en los mapas de características multiescala (salidas PAN) durante el pase hacia adelante del estudiante:

• Muestreo: Los vectores de características se muestrean tanto de regiones de primer plano (guiadas por cajas pseudo) como de regiones de fondo.
• Restricciones: La función de pérdida impone:
  • Restricciones de varianza: Evita el colapso de canales asegurando que cada canal mantenga una dispersión no trivial.
  • Restricciones de covarianza: Reduce la redundancia entre canales para promover la diversidad.
• Ponderación Adaptativa: La pérdida se pondera mediante un esquema de calentamiento (warm-up) y la confianza de las etiquetas pseudo para asegurar la estabilidad durante las primeras etapas del entrenamiento.
• Alcance: MARD opera sobre características multiescala en lugar de embeddings globales, apuntando específicamente a las representaciones de características utilizadas para objetos pequeños, medianos y grandes.

Flujo de Entrenamiento

El marco utiliza un inicio de calor de Normalización de Lote Adaptativa (AdaBN) para alinear el modelo profesor con las estadísticas del dominio objetivo. El profesor genera etiquetas pseudo en imágenes objetivo con aumentos débiles, las cuales son fusionadas vía DHF. El estudiante se entrena en imágenes con aumentos fuertes utilizando las etiquetas pseudo fusionadas y la pérdida MARD. El profesor se actualiza mediante el Promedio Móvil Exponencial (EMA) una vez por época.

Contribuciones Clave

1. Primer Estudio Sistemático de SFOD de Doble Cabeza Libre de NMS: El artículo establece un nuevo estado del arte en la frontera de precisión-velocidad-tamaño de modelo al adaptar YOLOv10 para SFOD, alejándose de los pesados backbones de dos etapas o de transformadores.
2. Fusión de Etiquetas Pseudo de Doble Cabeza (DHF): Un módulo de tiempo de entrenamiento que optimiza la calidad de las etiquetas pseudo aprovechando las fortalezas complementarias de las cabezas O2O y O2M, logiendo F1-scores superiores comparado con el uso de una sola cabeza o uniones ingenuas.
3. Diversificación de Representación Adaptativa Multiescala (MARD): Un mecanismo que mitiga la degradación del rango de características bajo el cambio de dominio imponiendo restricciones de varianza y covarianza en los mapas de características multiescala, recuperando hasta el 84% de la diversidad de características perdida.
4. Eficiencia y Generalizabilidad: El método logra una precisión de adaptación de vanguardia mientras es significativamente más rápido (1.3× mayor rendimiento) y más compacto (~2× menos parámetros) que los métodos de SFOD previos. El enfoque se valida en YOLOv10 y se demuestra que se generaliza a otros detectores de doble cabeza basados en YOLO y DETR.

Resultados Experimentales

Los autores evalúan RT-SFOD en cuatro benchmarks de cambio de dominio: Cityscapes $\to$ Foggy Cityscapes (C2F), Sim10k $\to$ Cityscapes (S2C), KITTI $\to$ Cityscapes (K2C), y Cityscapes $\to$ BDD100k (C2B).

• Precisión: En el benchmark C2F, RT-SFOD-L alcanza un 53.8% mAP, superando al mejor método de SFOD anterior (SF-YOLO-L con 51.6%) por +2.2 mAP, y compitiendo con métodos de Adaptación de Dominio No Supervisada (UDA) que requieren datos de origen.
• Eficiencia: Comparado con métodos de SFOD previos basados en Faster R-CNN o DETR, RT-SFOD ofrece un 1.3× mayor rendimiento y utiliza ~2× menos parámetros. Por ejemplo, el modelo RT-SFOD-S (7.2M params) corre a 233 FPS, superando a modelos más pesados manteniendo una precisión competitiva.
• Ablación: Eliminar DHF o MARD individualmente resulta en caídas significativas de rendimiento. Combinar ambos produce los mejores resultados, confirmando que abordan cuellos de botella complementarios (calidad de supervisión vs. representación de características).
• Generalización: El método mejora el rendimiento en diversos detectores de doble cabeza basados en YOLO y DETR (MS-DETR, Mr. DETR) sin ajuste de hiperparámetros, sugiriendo que los beneficios son inherentes al paradigma de doble cabeza.

Significado y Reivindicaciones

El artículo afirma avanzar la frontera de Pareto del compromiso entre velocidad-precisión-tamaño del modelo en SFOD. Al demostrar que la adaptación de alta precisión no requiere arquitecturas pesadas, RT-SFOD permite el despliegue de detectores de objetos robustos y en tiempo real en entornos sensibles a la privacidad o con recursos limitados (por ejemplo, vehículos autónomos, robótica de borde) donde los datos de origen no están disponibles. Los autores enfatizan que sus módulos son solo para el tiempo de entrenamiento, dejando inalterado el flujo de inferencia y manteniendo la eficiencia inherente del backbone YOLOv10.