Resumen Técnico: SPARK – Aprendizaje por Refuerzo Adaptativo impulsado por Políticas Espaciales para la Destilación de Conocimiento

1. Planteamiento del Problema

La cuantización de bajo bit (usando 8 bits o menos) es esencial para desplegar redes de restauración de imágenes (IR) en dispositivos con recursos limitados, como teléfonos inteligentes y drones. Sin embargo, la cuantización introduce ruido de redondeo que degrada desproporcionadamente las regiones de alta frecuencia, incluyendo bordes, texturas finas y estructuras repetitivas. Aunque la Destilación de Conocimiento (KD) es una técnica estándar para entrenar modelos ligeros supervisándolos con un profesor complejo, los métodos de KD existentes para IR aplican señales de destilación de manera uniforme en todas las ubicaciones espaciales.

Este enfoque uniforme es subóptimo porque:

• Asignación Ineficiente de Gradientes: Las regiones suaves y de baja frecuencia (por ejemplo, cielos despejados) son fáciles de reconstruir tanto para el profesor como para el estudiante; forzar al estudiante a imitar al profesor en estas áreas genera pocos gradientes útiles y desplaza el aprendizaje de las regiones más difíciles.
• Modos de Fallo Críticos: El ruido de cuantización es más dañino en las regiones de alta frecuencia, donde los observadores humanos juzgan la calidad. Las funciones de pérdida uniformes ponderan de forma efectiva insuficiente estas áreas críticas.
• Heurísticas Estáticas: Los intentos previos para abordar esto mediante máscaras de bordes diseñadas a mano o heurísticas de dificultad fijas se comprometen con una única noción de "dificultad" que permanece estática durante todo el entrenamiento, fallando en adaptarse a la capacidad evolutiva del estudiante o a las características específicas de la degradación.

2. Metodología: El Marco de Trabajo SPARK

Los autores proponen SPARK (Aprendizaje por Refuerzo Adaptativo impulsado por Políticas Espaciales para la Destilación de Conocimiento), un marco que trata la asignación espacial del esfuerzo de destilación como un problema de decisión secuencial resuelto mediante una política de Aprendizaje por Refuerzo (RL) ligera.

Componentes Principales

1. Redes de Profesor y Estudiante:

   • Una Red de Profesor de gran capacidad, preentrenada y congelada, proporciona salidas de alta calidad ($I_t$) que sirven como una señal de supervisión suave.
   • Una Red de Estudiante ligera (cuantizada mediante Entrenamiento Consciente de la Cuantización, QAT) aprende a replicar al profesor. Durante el entrenamiento, se aplica una cuantización falsa para imitar el comportamiento de despliegue mientras se retienen los gradientes de precisión completa para la optimización.

2. Extractor de Características de Dificultad:
   En cada paso de entrenamiento, un módulo no diferenciable extrae cuatro mapas de características complementarios para evaluar la dificultad de reconstrucción espacial:

   • Varianza de Laplaciano: Captura la nitidez de los bordes (regiones de alta frecuencia).
   • Varianza de Píxel: Mide la complejidad de la textura local.
   • Error de Reconstrucción del Estudiante: La diferencia absoluta entre la salida del estudiante y la Verdad de Terreno ($|Estudiante - GT|$).
   • Brecha de Conocimiento Profesor-Estudiante: La diferencia entre las salidas del profesor y del estudiante.

3. Red de Política Espacial (Agente de RL):

   • Una CNN compacta (tres capas convolucionales) procesa las características de dificultad en una cuadrícula de $8 \times 8$.
   • Produce un mapa de pesos espaciales estocástico ($W$) mediante el muestreo de una distribución Gaussiana aprendida ($\mathcal{N}(\mu, \sigma)$).
   • La salida se limita al rango $[0, 1]$ para servir como un mapa de pesos normalizado.
   • Estocasticidad: El muestreo aleatorio permite a la política explorar estrategias de asignación espacial no triviales que los objetivos puramente supervisados y deterministas podrían omitir.

4. Objetivo de Entrenamiento y Recompensa:

   • Función de Pérdida: La pérdida total combina una pérdida de reconstrucción L1 estándar (anclando al estudiante a la Verdad de Terreno) y una Pérdida de KD con Pesado Espacial. La pérdida de KD es un Error Cuadrático Medio (MSE) pesado entre el estudiante y el profesor, modulado por el mapa de pesos de la política $W$.
   • Señal de Recompensa: La política se entrena utilizando una función de recompensa basada en la mejora de la calidad de reconstrucción (PSNR y SSIM) en relación con un estudiante base entrenado sin el pesado espacial.
   • Desacoplamiento de Gradientes: Crucialmente, la acción muestreada (el mapa de pesos) se desacopla antes de aplicarse a la pérdida de KD. Esto separa el aprendizaje de la política de los gradientes de reconstrucción píxel a píxel, permitiendo que la política se optimice únicamente basándose en la señal de recompensa global.

5. Inferencia:
   La red de la política de RL se descarta después del entrenamiento. En consecuencia, SPARK añade costo cero de inferencia y no requiere cambios arquitectónicos en la red del estudiante, lo que lo hace agnóstico a la tarea de IR (aplicable a Mejora de Baja Luz, Reducción de Ruido y Super-Resolución).

3. Principales Contribuciones

• Identificación de un Cuello de Botella: El artículo identifica la uniformidad espacial de las pérdidas de KD existentes como un cuello de botella primario para la cuantización de bajo bit, motivando la destilación espacialmente adaptativa como un componente necesario para la restauración robusta a la cuantización.
• Política Espacial impulsada por RL: La introducción de SPARK, la primera estrategia de pesaje espacial basada en RL para la KD en IR de bajo bit. Utiliza características de dificultad interpretables para aprender un mapa de pesos por región de extremo a extremo durante el QAT.
• Exploración Estocástica: Al emplear una acción de muestreo Gaussiano estocástico con gradientes desacoplados, el marco permite la exploración de asignaciones espaciales inaccesibles para los objetivos puramente diferenciables.
• Amplia Aplicabilidad: Se demuestra que el método es efectivo en diversas tareas de IR (LLE, Denoising, SR) y en varias arquitecturas de estudiantes sin requerir modificaciones específicas de la tarea.

4. Resultados Experimentales

Los autores evaluaron SPARK en bancos de pruebas estándar: LOLv1 (Mejora de Baja Luz), SIDD (Reducción de Ruido) y Urban100 (Super-Resolución).

• Rendimiento Cuantitativo:

  • SPARK superó consistentemente a PTQ (Cuantización Post-Entrenamiento), QAT estándar y métodos de KD de vanguardia (FAKD, DCKD, SLKD) a través de múltiples modelos de estudiante (MIRNet, DnCNN, RFDN, SRCNN).
  • LOLv1: SPARK logró 22.01 dB de PSNR (frente a 21.67 dB del segundo mejor, SLKD) utilizando MIRNet como estudiante.
  • SIDD: SPARK logró 33.89 dB de PSNR (frente a 32.14 dB para SLKD).
  • Urban100 (SR): A una escala de $\times 2$, SPARK redujo la brecha con el profesor de precisión completa a solo -0.16 dB. A una escala de $\times 4$, superó a PTQ por +2.53 dB para estudiantes RFDN.
  • SPARK alcanzó consistentemente los valores más altos de PSNR/SSIM y los valores más bajos de LPIPS.

• Rendimiento Cualitativo:

  • Las comparaciones visuales mostraron que SPARK recupera el brillo y el detalle estructural de manera más precisa en escenarios de baja luz en comparación con sus competidores.
  • En la reducción de ruido, SPARK produjo resultados más limpios con mayor uniformidad de color y bordes más nítidos, evitando el ruido residual y la distorsión de color vistos en otros métodos.
  • En Super-Resolución, SPARK reconstruyó características estructurales más finas y una geometría precisa, evitando el sobre-suavizado y los artefactos de aliasing comunes en los enfoques SOTA.

• Estudios de Ablación:

  • Las comparaciones confirmaron que el mecanismo de recompensa basado en RL es el principal motor de la mejora, superando significativamente el entrenamiento sin RL (usando solo pérdida L1 o MSE).

5. Significado y Reivindicaciones

El artículo afirma que SPARK establece una base para la destilación espacialmente adaptativa en la visión de bajo nivel. Su importancia radica en:

• Eficiencia: Resuelve el problema de la degradación inducida por la cuantización en regiones críticas sin añadir sobrecarga de inferencia.
• Adaptabilidad: Reemplaza las heurísticas estáticas y diseñadas a mano con un proceso de decisión aprendible y dependiente del estado que evoluciona a medida que cambia la capacidad del estudiante.
• Generalización: Demuestra que un marco unificado y agnóstico a la tarea puede manejar eficazmente diversas tareas de restauración (LLE, Denoising, SR) bajo restricciones computacionales significativas.

Los autores reconocen modestamente una limitación: la señal de recompensa depende de métricas globales (PSNR/SSIM), que pueden no capturar completamente la calidad perceptual en todos los escenarios de degradación, sugiriendo esto como una dirección para trabajos futuros. Sin embargo, los resultados actuales validan la hipótesis central de que la destilación espacialmente adaptativa es superior a la supervisión uniforme para la IR de bajo bit.