POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP

1. Problema y Motivación

Los Procesadores de Señal de Imagen (ISP) convierten los datos RAW de los sensores en imágenes sRGB. Los ISP convencionales utilizan cadenas fijas de operaciones (balance de blancos, mapeo de tonos, etc.) diseñadas para la fotografía general, lo que a menudo no se alinea con los objetivos de tareas de visión específicas (como detección de objetos o segmentación).

Aunque existen enfoques de aprendizaje profundo para optimizar ISP, los métodos actuales presentan limitaciones significativas:

• Búsqueda de Arquitectura Neural (NAS): Métodos como ReconfigISP utilizan entrenamiento con mezcla suave de módulos, lo que genera una inconsistencia entre el entrenamiento y la inferencia (donde los módulos se seleccionan de forma discreta).
• Aprendizaje por Refuerzo (RL) Paso a Paso: Métodos como DRL-ISP y AdaptiveISP toman decisiones secuenciales en cada etapa del pipeline. Esto requiere estimar recompensas futuras (mediante redes critic), lo que provoca inestabilidad en el entrenamiento, alto costo computacional debido a ejecuciones repetidas y una gran sobrecarga de memoria.

El desafío central es optimizar simultáneamente la secuencia de módulos y sus parámetros de manera estable, eficiente y adaptable a la tarea específica.

2. Metodología: POS-ISP

Los autores proponen POS-ISP, un marco de Aprendizaje por Refuerzo (RL) que formula la optimización del ISP como un problema de predicción de secuencia global, en lugar de una toma de decisiones paso a paso.

Arquitectura del Sistema

El sistema consta de dos componentes principales que predicen el pipeline completo en una sola pasada hacia adelante (forward pass):

1. Predictor de Secuencia (Sequence Predictor):

   • Es una red recurrente basada en GRU (Unidades Recurrentes de Puerta).
   • Predice la secuencia completa de módulos ($A = a_1, ..., a_k$) considerando el contexto de los módulos anteriores.
   • Modela la distribución de probabilidad sobre la secuencia completa, capturando las dependencias entre módulos.
   • Utiliza una estrategia de muestreo controlada por temperatura durante el entrenamiento para equilibrar exploración y explotación.

2. Predictor de Parámetros (Parameter Predictor):

   • Es una red ligera tipo codificador-decodificador (CNN) que toma la imagen de entrada.
   • Predice los parámetros específicos para cada módulo ($\Theta$) adaptados a la imagen actual.
   • Diseño clave: Predice parámetros condicionados solo a la imagen, no a la secuencia. Esto actúa como regularización y reduce la complejidad, ya que la política de secuencia converge hacia pipelines dominantes, permitiendo que el predictor de parámetros aprenda a generar configuraciones compatibles automáticamente.

Formulación del Problema y Entrenamiento

• Objetivo: Encontrar una secuencia óptima $\hat{A}$ para una tarea $T$ y parámetros $\hat{\Theta}$ adaptados a la imagen.
• Recompensa: Se define como la mejora en el rendimiento de la tarea de destino (ej. pérdida de detección) comparada con la entrada RAW, menos una penalización por resultados degenerados (valores de píxeles extremos).
• Optimización:
  • A diferencia de los métodos RL paso a paso, POS-ISP evalúa el pipeline completo y recibe una recompensa terminal.
  • El predictor de secuencia se entrena con el gradiente de política REINFORCE para maximizar la recompensa esperada.
  • El predictor de parámetros se entrena mediante retropropagación estándar minimizando la pérdida de la tarea.
  • Este enfoque elimina la necesidad de una red critic inestable y de estimaciones de recompensa futura.

3. Contribuciones Clave

1. Optimización a Nivel de Secuencia: Introducen un marco que predice el pipeline completo en una sola pasada, evitando la inestabilidad de la estimación de recompensas futuras y la sobrecarga de decisiones secuenciales.
2. Diseño Recurrente Contextual: Utilizan un predictor de secuencia recurrente que captura dependencias inter-módulos, permitiendo una optimización consciente del contexto global del pipeline.
3. Eficiencia y Estabilidad: Logran un entrenamiento más estable y un costo computacional significativamente menor al eliminar la ejecución repetida del controlador durante la inferencia.

4. Resultados Experimentales

El método se evaluó en tres tareas principales: Detección de Objetos, Segmentación de Instancias y Mejora de Imágenes.

• Rendimiento en Tareas:
  • En detección de objetos (LOD-Dark) y segmentación (LIS-Dark), POS-ISP supera a los métodos state-of-the-art (DRL-ISP, ReconfigISP, AdaptiveISP) en métricas como mAP.
  • En mejora de imágenes (Adobe FiveK), produce resultados visualmente más coherentes con el estilo de expertos, evitando problemas de sobre-saturación o desequilibrios de color comunes en otros métodos.
• Estabilidad:
  • Las curvas de entrenamiento muestran una convergencia suave y constante, a diferencia de las oscilaciones observadas en métodos basados en actor-critic.
  • Las comparaciones con múltiples semillas muestran una varianza muy baja, indicando alta reproducibilidad.
• Eficiencia Computacional:
  • Velocidad: POS-ISP es drásticamente más rápido. En pruebas de GPU, reduce el tiempo de inferencia de ~12-15 ms (AdaptiveISP/DRL-ISP) a 1.55 ms.
  • Memoria: Reduce el uso de memoria pico de ~1000 MB a 14.4 MB, haciéndolo viable para dispositivos móviles y de borde.
  • Esto se debe a que, en la inferencia, la secuencia de módulos se fija y solo se ejecuta la predicción de parámetros una vez.

5. Significado y Conclusión

POS-ISP representa un cambio de paradigma en la optimización de ISP para visión por computadora. Al pasar de una optimización paso a paso inestable a una predicción de secuencia global, el método resuelve los problemas de inestabilidad de entrenamiento y sobrecarga computacional inherentes a los enfoques anteriores.

Su capacidad para lograr un rendimiento superior con un costo computacional mínimo lo convierte en una solución práctica para la implementación en hardware real (móviles, cámaras), permitiendo pipelines de ISP adaptados a la tarea que pueden optimizarse directamente para objetivos de alto nivel (como la precisión de detección) sin sacrificar la eficiencia.

Limitaciones Futuras: El trabajo actual requiere entrenamiento separado para cada tarea. Los autores sugieren como trabajo futuro extender el marco a un modelo unificado capaz de optimizar múltiples tareas simultáneamente para mejorar la escalabilidad.