Learnable Quantum Efficiency Filters for Urban Hyperspectral Segmentation

Resumen Técnico: Filtros de Eficiencia Cuántica Aprendizables (LQE)

1. Planteamiento del Problema

La percepción robusta para la conducción autónoma es fundamental, pero las cámaras RGB convencionales son susceptibles al metamerismo (diferentes materiales que parecen iguales bajo cierta iluminación). La imagen hiperespectral (HSI) mitiga este problema al capturar firmas espectrales densas en cientos de longitudes de onda, mejorando la discriminación de materiales (ej. asfalto, peatones, señales).

Sin embargo, la HSI presenta dos desafíos críticos:

• Alta dimensionalidad: Los datos hiperespectrales (hipercubos) tienen entre 25 y 128 bandas, lo que genera una carga computacional y de memoria significativamente mayor (8-42 veces más que RGB) en comparación con los 3 canales RGB.
• Redundancia espectral y ruido: La alta resolución espectral reduce la captura de fotones por banda, degradando la relación señal-ruido en condiciones de poca luz.
• Limitaciones de los métodos actuales:
  • Los métodos clásicos de reducción de dimensionalidad (PCA, ICA) son interpretables estadísticamente pero no se adaptan a la tarea de percepción y carecen de correspondencia física con filtros ópticos reales.
  • Los métodos de aprendizaje profundo (capas convolucionales 1x1, atención) son "cajas negras" no restringidas físicamente, lo que impide su uso para diseñar sensores reales y a menudo requieren muchos parámetros.

2. Metodología: Enfoque LQE

Los autores proponen LQE (Learnable Quantum Efficiency), un método de reducción de dimensionalidad (DR) inspirado en la física que parametriza funciones de respuesta espectral suaves y de alto orden para emular las curvas de eficiencia cuántica (QE) plausibles de un sensor real.

• Formulación del Filtro:

  • Cada filtro $Q_f$ se modela como una suma ponderada de funciones gaussianas asimétricas de alto orden (múltiples picos).
  • Se utilizan coordenadas de longitud de onda normalizadas ($\tilde{\lambda} \in [0, 1]$).
  • Cada pico $p$ en un filtro $f$ se define por cuatro parámetros aprendibles:
    1. Centroide ($c_{p,f}$): Posición del pico.
    2. Log-ancho de banda ($\ell_{p,f}$): Controla el ancho ($\beta$).
    3. Amplitud ($\alpha_{p,f}$): Mapeada al rango (0, 1).
    4. Asimetría ($\gamma_{p,f}$): Introduce distorsión para modelar la asimetría observada en filtros CFA reales.
  • La respuesta final se normaliza para garantizar estabilidad numérica.

• Operación y Optimización:

  • El filtro realiza una integración espectral diferenciable sobre el hipercubo de entrada, reduciendo $C$ canales a $F$ canales ($F \ll C$).
  • El sistema se entrena de extremo a extremo (end-to-end) junto con el modelo de segmentación semántica (SSM) mediante retropropagación.

• Regularización Inspirada en la Física:
  Para asegurar que los filtros aprendidos sean físicamente plausibles y útiles para el diseño de sensores, se imponen tres restricciones de pérdida:

  1. Dominancia de Pico ($L_{dom}$): Fomenta que cada filtro tenga un solo pico dominante, evitando respuestas caóticas.
  2. Separación de Centroides ($L_{sep}$): Obliga a que los picos principales de diferentes filtros estén espaciados, promoviendo la diversidad espectral.
  3. Regularización de Ancho de Banda ($L_{bw}$): Restringe el ancho de banda a límites físicamente realistas (ej. 4.8–15 nm), compatibles con las cámaras HSI actuales.

3. Contribuciones Clave

1. Nueva Parametrización Diferenciable: Introducción de filtros QE de alto orden (múltiples picos) con funciones gaussianas asimétricas, permitiendo la optimización de extremo a extremo bajo restricciones físicas.
2. Evaluación Exhaustiva: Pruebas sistemáticas en tres conjuntos de datos públicos de conducción urbana (HyKo, HSI-Drive, H-City) contra 6 métodos clásicos y 7 métodos aprendibles, utilizando 6 arquitecturas de segmentación diferentes (U-Net, DeepLabV3+, etc.).
3. Descubrimiento de Patrones Intrínsecos: Demostración de que los filtros aprendidos convergen a patrones espectrales específicos del conjunto de datos, independientemente de la arquitectura de la red neuronal subyacente, validando la capacidad del método para capturar la información espectral discriminativa real.

4. Resultados Experimentales

Los resultados muestran que LQE supera consistentemente a los métodos baselines en métricas de segmentación (mIoU, mF1, Kappa) con una eficiencia paramétrica superior.

• Rendimiento Global:

  • HyKo-VIS: Mejora del 2.45% en mIoU sobre métodos clásicos y 1.18% sobre métodos aprendibles.
  • HSI-Drive: Mejora del 0.45% sobre clásicos y 1.56% sobre aprendibles.
  • H-City: Mejora del 1.04% sobre clásicos y 0.81% sobre aprendibles.
  • En promedio, LQE logra mejoras de 1.25% (mIoU), 1.26% (mF1) y 0.76% (Kappa) sobre todos los métodos comparados.

• Eficiencia Paramétrica:

  • LQE es extremadamente ligero: requiere solo 12 a 36 parámetros (dependiendo del número de picos y filtros), en comparación con 51 a 22,000 parámetros para los métodos aprendibles competidores (como Autoencoders o ConvNeXt).

• Latencia:

  • La latencia de inferencia en GPU oscila entre 0.96 ms y 1.81 ms. Aunque es ligeramente más lenta que las capas convolucionales 1x1 más rápidas, es competitiva con arquitecturas más pesadas (CBAM, ConvNeXt) y el sobrecosto se compensa con la ganancia en precisión y la reducción de parámetros.

• Estudios de Ablación:

  • Se encontró que configuraciones de bajo orden (ej. $P=3$ picos por filtro) son óptimas, ofreciendo el mejor equilibrio entre expresividad del modelo e interpretabilidad.
  • Los filtros aprendidos convergen a patrones espectrales consistentes (ej. desplazamiento de picos hacia regiones de 490-510 nm en HyKo) independientemente de la red de segmentación utilizada.

5. Significado e Impacto

Este trabajo establece un puente fundamental entre el aprendizaje profundo y el diseño de sensores físicos:

• Interpretabilidad Física: A diferencia de las "cajas negras" actuales, LQE produce curvas de respuesta espectral que pueden interpretarse y potencialmente implementarse en hardware real (filtros CFA personalizados).
• Diseño de Sensores para el Futuro: Los filtros aprendidos por LQE pueden guiar el diseño de sensores multiespectrales optimizados específicamente para tareas de visión urbana (ADAS), mejorando la detección de peatones y la evaluación de la carretera.
• Eficiencia: Demuestra que es posible lograr un rendimiento superior en segmentación semántica con una fracción mínima de parámetros, lo cual es crucial para la implementación en vehículos autónomos con recursos limitados.

En conclusión, LQE no solo mejora el rendimiento de la segmentación hiperespectral, sino que proporciona un marco principista para el diseño de sensores basados en datos, cerrando la brecha entre la percepción computacional y la óptica física.