Resumen Técnico: Más allá de Bayer: Co-diseño de Sensores Óptimos para la Tarea en Segmentación de Conducción Autónoma Robusta

Declaración del Problema

La percepción en la conducción autónoma depende en gran medida de la escala de los modelos descendentes (backbones más grandes, modelos fundacionales, fusión cooperativa). Sin embargo, el sensor ascendente —la cámara— suele estar diseñado para la calidad perceptual humana (por ejemplo, filtros de color Bayer estándar y óptica con corrección de aberraciones) en lugar de para la toma de decisiones de las máquinas. Esto crea un flujo de trabajo de elecciones localmente sensatas pero globalmente agnósticas a la tarea. El artículo aborda la pregunta: ¿Qué debería medir la propia cámara para maximizar el rendimiento de la segmentación semántica densa? Específicamente, investiga qué grados de libertad del sensor —óptica (Función de Propagación de Punto, PSF), filtros espectrales (Matriz de Filtro de Color, CFA) y ruido— valen la pena co-optimizar con la red neuronal.

Metodología

Los autores proponen un flujo de trabajo diferenciable de RAW-a-tarea que trata al sensor y a la red de segmentación como un único sistema optimizable.

1. Flujo de Trabajo Diferenciable: El sistema modela la radiancia de la escena $x$ pasando a través de:

   • Óptica: Una PSF ($p$), parametrizada como un kernel diferenciable.
   • CFA: Un mosaico espectral $T \times T$ aprendible ($M$) donde cada píxel aplica una proyección espectral $w_i^\top x$.
   • Ruido: Un modelo de ruido Poisson–Gaussiano ($N$) y conversión Analógico-Digital.
   • Demosaicado: Una reconstrucción suave y diferenciable ($g_\phi$) a mapas de características.
   • Segmentación: Una red de backbone ($f_\theta$, específicamente SegFormer-B4) que produce el mapa semántico.
     Todos los componentes son diferenciables, lo que permite el entrenamiento de extremo a extremo mediante retropropagación desde la pérdida de segmentación.

2. Análisis de Información Teórica:

   • PSF (Óptica): Los autores aplican la Desigualdad de Procesamiento de Datos. Demuestran (Proposición 2) que para cualquier PSF pasiva y no negativa bajo un piso de ruido fijo, la PSF de identidad (sin desenfoque) es el único maximizador de la información mutua $I(y; x)$. Cualquier PSF aprendida solo puede atenuar las frecuencias espaciales, empujando el contenido de la señal hacia el piso de ruido y descartando irreversiblemente la información necesaria para la predicción densa por píxel. Por lo tanto, el co-diseño de la PSF está teóricamente limitado a ser neutral o perjudicial.
   • CFA (Espectral): A diferencia de la óptica, el grado de libertad espectral puede aumentar la información relevante para la tarea. Al reasignar los pesos de los filtros de la luminancia perceptual (Bayer estándar) a mezclas espectrales discriminativas de clases, el sensor puede capturar más información relevante sin cambiar el presupuesto de medición por píxel.
   • Restricción de Tamaño de Mosaico (Tile Size): Dado que la entrada es sRGB de rango 3, un mosaico $T \times T$ puede abarcar como máximo tres direcciones espectrales linealmente independientes. Aumentar $T$ más allá de 2 (por ejemplo, a 3 o 4) obliga a los filtros a entrar en mezclas redundantes y debilita el muestreo espacial, lo cual es perjudicial para la predicción densa.

3. Configuración Experimental:

   • Datasets: KITTI-360 (urbano, condiciones normales) y ACDC (condiciones adversas: niebla, noche, lluvia, nieve).
   • Líneas Base (Baselines): Cámara fija (Bayer estándar, PSF de identidad), co-diseño completo (PSf + CFA + Ruido), y ablaciones aislando el aprendizaje de CFA, el ruido y el tamaño del mosaico.
   • Optimización: La óptica se fija a la identidad basada en el análisis teórico, mientras que los pesos del CFA y los parámetros de ruido son aprendidos.

Contribuciones Clave

1. Descomposición de Información Teórica: El artículo establece que para la predicción densa, los grados de libertad del sensor son asimétricos. El co-diseño de la PSF es neto-negativo (o en el mejor de los casos neutral) debido a la desigualdad de procesamiento de datos, mientras que el diseño de CFA espectral es un palanca real para la mejora.
2. Pipeline de CFA Espectral Aprendible: Instancian un flujo de trabajo diferenciable con un CFA $T \times T$ aprendible y un demosaicado suave, entrenado de extremo a extremo con un backbone SegFormer-B4.
3. Descomposición Empírica: A través de experimentos controlados, aíslan las contribuciones del aprendizaje de CFA, la co-optimización del ruido y la óptica, demostrando que el aprendizaje de CFA es la fuente dominante de ganancia.
4. Resultado Negativo sobre el Tamaño de Mosaico: Demuestran que ampliar el tamaño del mosaico del CFA más allá del estándar $2 \times 2$ (Bayer) reduce consistentemente el rendimiento (por ejemplo, en KITTI-360, el mIoU cae de 0.6229 a 0.6165 y 0.6133, respectivamente), proporcionando una explicación de información teórica clara (límite de entrada de rango 3 vs. costo de muestreo espacial).

Resultados

Los experimentos validan las afirmaciones teóricas tanto en KITTI-360 como en ACDC:

• El Aprendizaje de CFA es Dominante: El aprendizaje de los pesos del CFA $2 \times 2$ mejora el Mean Intersection-over-Union (mIoU) en +0.019 en KITTI-360 y +0.020 en ACDC en comparación con una cámara Bayer fija.
• El Co-diseño de PSF es Perjudicial: En KITTI-360 (física emparejada), el co-diseño completo que incluye una PSF aprendible resulta en 0.6031 mIoU, lo cual es 0.020 inferior al CFA aprendible con PSF de identidad (0.6229). Esto confirma la predicción teórica de que la óptica aprendida descarta información de alta frecuencia necesaria.
• El Tamaño del Mosaico Importa: Aumentar el tamaño del mosaico a $3 \times 3$ y $4 \times 4$ reduce consistentemente la precisión (por ejemplo, en KITTI-360, el mIoU cae de 0.6229 a 0.6165 y 0.6133, respectivamente).
• Co-Optimización de Ruido: El efecto de aprender conjuntamente los parámetros de ruido es marginal y dependiente del dataset (ligeramente positivo en KITTI-360, ligeramente negativo en ACDC).
• Robustez: Las ganancias se mantienen a través de condiciones adversas (niebla, noche, lluvia, nieve) en el dataset ACDC.
• Patrones Aprendidos: El CFA $2 \times 2$ óptimo aprendido converge a un patrón muy similar al Bayer estándar (RGGB), lo que sugiere que la asignación estándar es casi óptima para sRGB, pero las ganancias provienen del ajuste preciso de las mezclas para la tarea y del entrenamiento conjunto del demosaicador.

Significancia y Reivindicaciones

El artículo argumenta que las tendencias dominantes en la conducción autónoma (modelos fundacionales, fusión V2X) operan aguas abajo del sensor. Sin embargo, el sensor establece un techo de información (Proposición 1) que ningún modelo descendiente, independientemente de su tamaño o cooperación, puede exceder.

• Receta Óptima para la Tarea: Los autores concluyen con una receta simple y fundamentada en la teoría para la segmentación con entrada RGB estándar: Aprender los pesos del CFA $2 \times 2$ y mantener una PSF de identidad.
• Agnosticismo de Modelo: Debido a que la intervención ocurre al nivel del sensor, las ganancias de rendimiento son agnósticas al modelo y se componen con cualquier arquitectura descendente.
• Alcance: El trabajo se limita a sensores RGB de consumo (rango 3 sRGB). Establece explícitamente que no pretende realizar super-resolución hiperespectral (lo que requeriría una cámara de entrada hiperespectral), sino que optimiza la mezcla de las bandas espectrales existentes para la tarea específica de la predicción densa.
• Resultados Negativos como Perspectiva: El artículo enfatiza que identificar qué no optimizar (es decir, PSF y mosaicos de CFA más grandes) es tan valioso como identificar qué optimizar, evitando el esfuerzo desperdiciado en grados de libertad que están teóricamente limitados para ser de poca ayuda.