Resumen Técnico: TTA-DAME (Adaptación en Tiempo de Prueba con Aumento de Dominio y Ensemble de Modelos)

1. Problema

El informe aborda el desafío de la Adaptación en Tiempo de Prueba (Test-Time Adaptation - TTA) en el contexto de la detección de objetos para la conducción autónoma.

• Desafío Principal: Los modelos preentrenados en un dominio fuente (generalmente datos diurnos y claros) sufren un rendimiento degradado cuando se enfrentan a dominios objetivo en constante cambio durante la prueba, como cambios climáticos adversos o transiciones de día a noche.
• Limitaciones Actuales: La falta de datos anotados para condiciones nocturnas o climáticas extremas hace difícil el entrenamiento supervisado tradicional. Además, la adaptación continua a dominios cambiantes puede provocar un "olvido catastrófico" (pérdida de conocimiento del dominio fuente) o sobreajuste a dominios específicos.
• Objetivo: Desarrollar un método que permita a un modelo adaptarse dinámicamente y de forma no supervisada a dominios objetivo variables durante la inferencia, manteniendo la robustez y la precisión.

2. Metodología (TTA-DAME)

La propuesta, denominada TTA-DAME, integra cuatro componentes principales para abordar la adaptación dinámica:

A. Marco Base: Mean-Teacher

Se utiliza un marco de Mean-Teacher, donde un modelo "estudiante" se adapta a los cuadros de entrada del video, mientras que un modelo "maestro" (actualizado mediante un promedio móvil exponencial - EMA) guía el aprendizaje. Ambos inician con pesos preentrenados del dominio fuente.

B. Restauración Estocástica (Stochastic Restoration)

Para evitar el sobreajuste y el olvido catastrófico al adaptarse a nuevos dominios:

• Se implementa una estrategia donde los pesos del modelo estudiante se restauran aleatoriamente a los pesos del modelo fuente con una probabilidad definida (0.1).
• Esto asegura que el modelo mantenga un punto de partida robusto y no se desvíe completamente de la distribución original.

C. Aumento de Dominio y Discriminador

• Aumento de Dominio: Se utilizan técnicas (como la librería 'automold') para simular diversas condiciones climáticas y horarios en los datos de entrenamiento, ajustando brillo, contraste y temperatura de color. Esto prepara al modelo para una variedad de escenarios.
• Discriminador de Dominio y Detector Nocturno: Se entrena un discriminador (basado en EfficientNet-B7) para clasificar si una imagen es de "día" o "noche" (incluyendo amanecer y atardecer).
  • Si se detecta noche: Se utiliza un detector especializado entrenado específicamente para condiciones de baja iluminación.
  • Si se detecta día: Se activa el modelo Mean-Teacher adaptado, que se enfoca en variaciones climáticas diurnas sin tener que lidiar con la complejidad de la noche.

D. Transformación de Visibilidad Mejorada

Para condiciones adversas como niebla o lluvia fuerte que oscurecen los objetos:

• Se propone una transformación directa de los cuadros de entrada basada en la media y desviación estándar de los píxeles.
• Si un cuadro muestra alta media de píxeles y baja desviación (indicativo de niebla/nubosidad), se aplican ajustes de contraste y brillo para mejorar la visibilidad y la delimitación de los bordes de los objetos antes de la detección.

E. Ensemble de Modelos

Para consolidar las predicciones y mitigar la pérdida de conocimiento:

• Se combinan tres modelos: el modelo fuente (DINO), un modelo transformador multi-dominio adaptado y un modelo basado en YOLOv8.
• Las predicciones se fusionan mediante Soft-NMS (Non-Maximum Suppression suave), que reduce la confianza de las cajas superpuestas en lugar de eliminarlas, preservando así las detecciones válidas en objetos densos.
• Se ajusta dinámicamente el peso de cada modelo durante la adaptación para equilibrar la retención del conocimiento fuente y la adaptación al objetivo.

3. Contribuciones Clave

1. Estrategia de Híbrido Día/Noche: La introducción de un discriminador de dominio que activa un detector especializado para la noche, permitiendo que el modelo principal se enfoque solo en variaciones climáticas diurnas.
2. Mecanismo de Restauración Estocástica: Una técnica efectiva para prevenir el olvido catastrófico y mantener la generalidad del modelo durante la adaptación continua.
3. Transformación de Visibilidad: Un método post-procesamiento basado en estadísticas de píxeles para mejorar la entrada en condiciones de baja visibilidad, superando las limitaciones del aumento de datos tradicional en estos casos.
4. Ensemble Diversificado: La combinación de arquitecturas Transformer (DINO) y CNN (YOLO) con fusión Soft-NMS para maximizar la precisión y el recall.

4. Resultados

Los experimentos se realizaron en el conjunto de datos de validación del SHIFT Benchmark (ICCV 2023 Challenge).

• Rendimiento General: El método TTA-DAME logró un 49.4% de Precisión Media (AP) y un 62.2% de Recall Medio (AR).
• Comparación con la Línea Base: Esto representa una mejora de 2.3 puntos porcentuales (p.p.) en AP y 4.5 p.p. en AR respecto a la línea base simple (DINO con Mean-Teacher).
• Impacto de Componentes Individuales:
  • Restauración Estocástica: +0.7% AP.
  • Aumento de Dominio: +0.3% AP adicional.
  • Discriminador + Detector Nocturno: Mejora la capacidad de detección en brechas de dominio grandes (día-noche).
  • Transformación de Visibilidad: +0.3% AP.
  • Ensemble de Modelos: Aportó el mayor salto, especialmente en Recall (+3.1% AR), demostrando la sinergia entre los modelos.

5. Significado e Impacto

El informe demuestra que la adaptación en tiempo de prueba es crucial para la seguridad de los sistemas de conducción autónoma en el mundo real, donde las condiciones no son estáticas.

• Robustez: La metodología propuesta supera significativamente a los enfoques de adaptación estándar al manejar explícitamente las grandes brechas de dominio (como la noche) y las condiciones de visibilidad reducida.
• Eficiencia: Al separar la lógica de día y noche, el sistema evita forzar a un único modelo a aprender características contradictorias, mejorando la eficiencia y la precisión.
• Validación Empírica: Los resultados en el desafío SHIFT validan que la combinación de aumento de datos, discriminación de dominio y ensemble de modelos es una estrategia superior para la detección de objetos en entornos dinámicos.

En conclusión, TTA-DAME establece un nuevo estándar para la adaptación de modelos en escenarios de conducción autónoma, ofreciendo una solución robusta frente a la variabilidad climática y temporal sin requerir anotaciones adicionales en el dominio objetivo.