AMIEOD: Adaptive Multi-Experts Image Enhancement for Object Detection in Low-Illumination Scenes

Resumen Técnico: AMIEOD – Mejora de Imagen Adaptativa con Múltiples Expertos para la Detección de Objetos en Escenas de Baja Iluminación

Enunciado del Problema
Los sistemas de detección de objetos entrenados en conjuntos de datos estándar y bien iluminados a menudo sufren una degradación significativa del rendimiento cuando se aplican a escenarios de baja iluminación (por ejemplo, noche, contraluces, exposición corta). Las soluciones existentes generalmente se dividen en tres categorías: Mejora de Imagen en Baja Luz (LLIE) seguida de detección, Mejora y Detección Optimizadas Conjuntamente (JED), y Extracción de Características Invariantes a la Iluminación (IIFE). Sin embargo, estos enfoques suelen depender de esquemas de mejora únicos que no logran adaptarse con flexibilidad a las diversas características de las imágenes en diferentes escenas y condiciones de captura. Además, a menudo persiste una brecha de dominio entre las imágenes mejoradas y la distribución de datos esperada por los modelos de detección, lo que limita la eficacia de la percepción visual en entornos oscuros.

Metodología
Los autores proponen AMIEOD (Mejora de Imagen Adaptativa con Múltiples Expertos para la Detección de Objetos), un marco que optimiza conjuntamente la mejora de imagen y la detección de objetos de manera orientada al rendimiento de detección. El marco consta de tres componentes principales:

1. Módulo de Mejora de Imagen con Múltiples Expertos (MEIEM):
   En lugar de depender de una única estrategia de mejora, MEIEM integra tres submódulos distintos para extraer información complementaria de imágenes con poca luz:

   • PIEM (Módulo de Mejora de Imagen Preentrenado): Utiliza un modelo SCI (Iluminación Auto-Calibrada) congelado para mejorar el brillo y proporcionar señales de objetos más claras.
   • JIEM (Módulo de Mejora Optimizado Conjuntamente): Comparte la arquitectura de PIEM pero se optimiza conjuntamente con el detector para asegurar que la mejora se alinee con representaciones conscientes de la detección.
   • IAEM (Módulo de Mejora Adaptativa a la Imagen): Basado en IAYOLO, este módulo utiliza una red de Predicción de Parámetros (PP) para predecir parámetros adaptativos para un módulo de Procesamiento de Imagen Diferenciable (DIP), ajustando el contraste, el balance de blancos y el tono según las características globales de la imagen.
     Durante el entrenamiento, la imagen de entrada es procesada por todos los expertos para generar múltiples variantes mejoradas ($I_1, I_2, ..., I_n$) junto con la original, las cuales se alimentan al detector.

2. Pérdida de Regresión Guiada por Detección (DGRL):
   Para asegurar que los submódulos aprendan información beneficiosa para la detección, se introduce DGRL. Identifica la salida mejorada con la pérdida de detección más baja entre la original y todas las variantes mejoradas como el objetivo de regresión. Luego, los otros expertos se regresan hacia este objetivo óptimo. Este proceso minimiza la varianza de las salidas de múltiples expertos alrededor de la solución óptima y suprime el ruido durante el entrenamiento temprano, guiando efectivamente los módulos de mejora sin interferir con la optimización del detector.

3. Módulo de Selección de Expertos (ESM) con Entropía Cruzada Guiada por Detección (DGCE):
   Dado que solo se puede aplicar una estrategia de mejora durante la inferencia, se construye un ESM para seleccionar adaptativamente el experto más adecuado para una imagen de entrada dada. El ESM se entrena utilizando DGCE, que trata la selección de expertos como una tarea de clasificación. La etiqueta de verdad fundamental para el entrenamiento es el experto que produce la pérdida de detección mínima para una imagen específica. Esto permite que el ESM aprenda una política que aproxima la probabilidad a posteriori del experto óptimo, enrutando dinámicamente la entrada hacia la mejor estrategia de preprocesamiento.

Contribuciones Clave

• Marco de Múltiples Expertos: La introducción de MEIEM, que aprovecha diversas estrategias de mejora (preentrenada, optimizada conjuntamente y adaptativa a la imagen) para explorar exhaustivamente las características de las imágenes de baja iluminación.
• Optimización Guiada por Detección: La propuesta de DGRL, que optimiza los módulos de mejora basándose en los resultados de detección, asegurando que las imágenes mejoradas estén adaptadas a la tarea de detección.
• Enrutamiento Adaptativo: El desarrollo del ESM y la pérdida DGCE, que permite al sistema seleccionar dinámicamente la estrategia de mejora más apropiada para cada imagen de entrada basándose en sus características globales, en lugar de utilizar un enfoque estático o de esquema único.
• Generalización: El método está diseñado para ser flexible con el detector, demostrando funcionar eficazmente en diversas arquitecturas YOLO (v3, v5, v7, v9).

Resultados Experimentales
Se realizaron experimentos extensos en el conjunto de datos ExDark, con validación adicional en DarkFace, LLVIP y M3FD.

• Rendimiento: En el conjunto de datos ExDark, AMIEOD logró un mAP del 82.1%, superando al YOLOv3 de referencia en un 5.6% y superando al método actual de vanguardia (EMV-YOLO) en un 2.4%. Logró la mayor Precisión Promedio (AP) en 9 de las 12 categorías de objetos.
• Generalización: El método mejoró consistentemente el rendimiento en diferentes conjuntos de datos y backbones de detectores (YOLOv3, v5s, v7, v9), demostrando robustez en diversas condiciones de baja iluminación.
• Eficiencia: A pesar de la complejidad adicional del ESM, el marco mantiene velocidades de inferencia en tiempo real de aproximadamente 70 FPS a una resolución de 640×640, ofreciendo una compensación favorable entre precisión y eficiencia.
• Estudios de Ablación: Los resultados confirmaron que la combinación de entrenamiento con múltiples expertos, DGRL y selección adaptativa de expertos (DGCE) es esencial para las ganancias de rendimiento observadas. Específicamente, DGRL aceleró significativamente la convergencia y estabilizó el entrenamiento, mientras que DGCE permitió que el modelo superara tanto a las estrategias de selección de expertos fijas como a las aleatorias.

Significado y Afirmaciones
El artículo afirma que AMIEOD aborda las limitaciones de los métodos de mejora de esquema único mediante la introducción de un marco flexible y adaptativo que alinea la mejora de imagen directamente con los objetivos de detección. Al optimizar conjuntamente diversos expertos de mejora y emplear un mecanismo de selección guiado por detección, el método mejora significativamente la precisión de la detección de objetos en escenas tenues. Los autores enfatizan que su enfoque preserva eficazmente la información estructural y semántica, mejorando la robustez para objetos pequeños, con poca luz o parcialmente ocultos. Aunque reconocen los desafíos con objetos visualmente ambiguos o camuflados, el trabajo establece una alternativa principista al enrutamiento heurístico, ofreciendo un enfoque fundamentado teóricamente para minimizar el riesgo de detección esperado en entornos de baja iluminación.