💻 computer science

A Structural Preservation Framework for Denoiser Selection in YOLO-Based Pedestrian Detection under Sensor Noise

Este artículo introduce la Puntuación de Preservación Estructural (SPS, por sus siglas en inglés) para evaluar la efectividad de los denominadores en la detección de peatones basada en YOLO, revelando que, si bien variantes específicas como la correlación de magnitud de gradiente pueden clasificar a los denominadores dentro de niveles de ruido conocidos, ninguna métrica a nivel de imagen puede predecir universalmente el rendimiento de la detección en denominadores o condiciones de ruido no vistos debido a factores no lineales y dependientes de la arquitectura.

Autores originales: Vo Thanh Kiet, Rene Jaros, Minh Ly Duc, Petr Bilik, Radek Martinek

Publicado 2026-09-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vo Thanh Kiet, Rene Jaros, Minh Ly Duc, Petr Bilik, Radek Martinek

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la tecnología moderna, las cámaras son los ojos de las máquinas. Desde coches autónomos que navegan por calles de la ciudad hasta sistemas de seguridad que vigilan plazas públicas, estos dispositivos dependen de la inteligencia artificial para reconocer personas y objetos instantáneamente. Durante años, los ingenieros han entrenado a estos sistemas para que sean increíblemente agudos, enseñándoles a detectar detalles en imágenes perfectas y claras. Sin embargo, el mundo real rara vez es perfecto. Las cámaras suelen tener dificultades cuando la luz es tenue, el clima es malo o el propio sensor es imperfecto, lo que resulta en imágenes que se ven granuladas o moteadas con estática. Este ruido puede confundir a la máquina, haciendo que pase por alto a un peatón o confunda un maniquí con una persona real. Para solucionar esto, un instinto común de la ingeniería es añadir un paso de limpieza antes de que la máquina observe la imagen, con la esperanza de que una foto más clara conduzca a una decisión más inteligente.

Pero un nuevo estudio sugiere que este instinto suele ser erróneo. Los investigadores han descubierto que el simple hecho de hacer que una imagen parezca más limpia al ojo humano no ayuda necesariamente a que la máquina vea mejor. De hecho, algunos métodos que producen las imágenes más bellas y suaves pueden, en realidad, cegar al detector ante los mismos detalles que necesita para funcionar. El equipo se propuso encontrar una forma de predecir qué método de limpieza ayudaría realmente a una máquina a ver a una persona, en lugar de solo hacer que la foto se vea bien. Probaron diversas técnicas de limpieza en un conjunto de datos de imágenes de peatones, que iban desde fotos claras hasta otras fuertemente distorsionadas por el ruido, y midieron qué tan bien funcionaba después cada versión de un sistema de detección popular.

Los investigadores descubrieron que la relación entre la calidad de la imagen y la visión de la máquina es mucho más compleja de lo que se pensaba anteriormente. Desarrollaron una nueva forma de medir una imagen que no se centra en qué tan suave se ve, sino en qué tan bien conserva los bordes nítidos y las texturas que una máquina utiliza para identificar formas. Cuando aplicaron esta nueva medición a sus pruebas, descubrieron que algunos métodos de limpieza tradicionales, que habían sido ampliamente eclipsados por herramientas de inteligencia artificial más nuevas y complejas, eran en realidad mejores para preservar estos detalles críticos. Un método antiguo, que funciona comparando pequeños bloques de la imagen para encontrar patrones, mantuvo intacta la estructura esencial de la escena. En contraste, varias herramientas de aprendizaje profundo modernas, que están entrenadas para minimizar los errores píxel por píxel, tendieron a suavizar demasiado la imagen. Estas herramientas eliminaron el ruido, pero al hacerlo, también borraron las líneas finas y las texturas que la máquina necesitaba para localizar a una persona, provocando que su precisión cayera significamente.

El estudio reveló una verdad sorprendente sobre cómo aprenden estos sistemas. Las herramientas de detección modernas ya están entrenadas para lidiar con cierta cantidad de desorden. Cuando los investigadores reentrenaron los detectores con las imágenes con ruido, las máquinas aprendieron a lidiar con la estática por su cuenta. En este escenario, añadir un paso de limpieza a menudo no proporcionaba ningún beneficio, y a veces empeoraba las cosas si el limpiador eliminaba demasiado detalle. Sin embargo, en un escenario más realista donde la máquina ya está entrenada y no puede ser reentrenada, el paso de limpieza se volvió vital. Aquí, la elección del limpiador importaba enormemente. Los investigadores descubrieron que la efectividad de un limpiador depende fuertemente del nivel de ruido. Con niveles bajos de ruido, una medida específica de qué tan bien una imagen conserva sus bordes podía predecir con fuerza qué limpiador funcionaría mejor. Pero si mezclaban todos los niveles de ruido, la predicción fallaba por completo, porque la severidad del ruido mismo era el factor dominante.

Quizás el hallazgo más significativo fue que no existe una regla única y universal para elegir un limpiador. Los investigadores intentaron construir un modelo que pudiera predecir el rendimiento de un método de limpieza que nunca habían visto, basándose en cómo funcionaba con los que ya habían probado. Este intento falló. La relación entre la calidad estructural de una imagen y el éxito de la máquina era específica para el tipo de limpiador que se estuviera utilizando. Un método que funcionaba bien para un tipo de algoritmo no necesariamente predecía el éxito para un tipo diferente. Esto significa que, si bien no hay una fórmula mágica para elegir el limpiador perfecto para cualquier situación, hay un camino claro hacia adelante para los ingenieros. Pueden usar esta nueva medición estructural para clasificar una lista corta de herramientas de limpieza conocidas para una cámara y un nivel de ruido específicos, pero no pueden confiar en ella para adivinar el rendimiento de una herramienta completamente nueva.

El trabajo subraya un cambio fundamental en cómo pensamos sobre el procesamiento de imágenes para las máquinas. El objetivo no es crear una imagen que parezca perfecta para un humano, sino preservar las pistas estructurales específicas en las que una máquina confía. El estudio muestra que el mejor limpiador no es siempre el que produce la puntuación más alta en las tablas de calidad estándar, ni es siempre el modelo de inteligencia artificial más avanzado. A veces, un método más simple y antiguo que respeta los bordes naturales de la escena es la opción más efectiva. Al comprender que las máquinas ven el mundo a través del lente de la estructura y la textura en lugar de la suavidad, los ingenieros pueden tomar mejores decisiones sobre cómo preparar las imágenes para tareas críticas de seguridad, asegurando que los ojos de la máquina permanezcan agudos incluso cuando el mundo a su alrededor es ruidoso.

Resumen Técnico: Un Marco de Preservación Estructural para la Selección de Denoisers en la Detección de Peatones Basada en YOLO bajo Ruido de Sensor

1. Planteamiento del Problema

Los detectores de objetos profundos modernos, particularmente la familia YOLO, logran una alta precisión en benchmarks curados pero sufren una degradación significativa de su fiabilidad cuando las imágenes de entrada se desvían de las condiciones de entrenamiento limpias debido al ruido del sensor (por ejemplo, limitaciones de CMOS/CCD, adquisición en condiciones de baja luz). Una respuesta de ingeniería común es insertar una etapa de eliminación de ruido (denoising) aguas arriba del detector basándose en la suposición de que "una mejor calidad de imagen conduce a una mejor detección". Sin embargo, este artículo demuestra que esta suposición falla sistemáticamente para los detectores YOLO.

Las variantes actuales de YOLO incorporan una aumentación de datos agresiva (mosaico, inyección de ruido, fluctuación fotométrica), internalizando la tolerancia a la degradación leve. En consecuencia, el valor marginal de una etapa de denoising no depende de la eliminación del ruido a nivel de píxel, sino de si el denoiser preserva o destruye las claves estructurales específicas (bordes, gradientes, texturas de alta frecuencia) en las que el detector confía. La literatura carece de un marco para predecir qué métodos de denoising ayudarán a la detección posterior o para diagnosticar por qué otros fallan, obligando a los profesionales a reentrenar y evaluar exhaustivamente cada par candidato de denoiser-detector —una tarea computacionalmente prohibitiva (180 ejecuciones en este estudio). Además, las métricas estándar de calidad de imagen como PSNR y SSIM se correlacionan pobremente con el rendimiento de la tarea posterior, ya que están ajustadas a la percepción humana más que a las claves de visión por máquina.

2. Metodología

Los autores introducen la Puntuación de Preservación Estructural (SPS), una familia de tres variantes computables basadas en referencias, diseñada para cuantificar con qué fidelidad un denoiser preserva la estructura relevante para el detector. El marco opera sin un detector entrenado y es evaluado en el conjunto de datos de peatones PnPLO/Karthy (944 imágenes de entrenamiento, 160 de validación, 235 de prueba) a través de un diseño experimental factorial:

Detectores: Cinco variantes de tamaño medio de YOLO (v8m a v12m).
Niveles de Ruido: Seis niveles de ruido Gaussiano ( $\sigma \in \{0, 1, 5, 10, 20, 30\}$ ).
Condiciones de Procesamiento: Cinco métodos de denoising (Gaussian, BM3D, DnCNN, Autoencoder, CAE+PSO) más un baseline ruidoso.
Total de Ejecuciones: 180 ejecuciones de entrenamiento y evaluación de extremo a extremo.

Las Tres Variantes de SPS:

Variante A (Solapamiento de Bordes): Mide el solapamiento entre los mapas de bordes Canny de las imágenes limpias y las procesadas, capturando la supervivencia de los contornos de los objetos.
Variante B (Correlación de Magnitud de Gradiente): Calcula la correlación de Pearson de las magnitudes de gradiente de Sobel entre las imágenes limpias y las procesadas. Esto captura la preservación de los patrones de contraste local, incluso si los bordes se desplazan sub-píxel.
Variante C (Retención de Energía de Alta Frecuencia): Mide la retención de la energía espectral en la región de alta frecuencia (corte radial $r_c = 0.5 r_{max}$ ) mediante 2D FFT. Esto cuantifica si la textura de escala fina es suprimida (sobre-suavizado) o si se inyecta contenido de alta frecuencia espurio.

Protocolos de Evaluación:

Protocolo de Reentrenamiento: Los detectores se reentrenan para cada condición $(método, ruido)$ para medir el cambio en el rendimiento de detección ( $\Delta F1$ ) relativo al baseline ruidoso.
Protocolo de Detector Congelado: Los detectores se entrenan una vez con datos limpios y se mantienen fijos; los denoisers se aplican solo en el tiempo de inferencia para simular escenarios de despliegue.
Validación Cruzada: Un protocolo de validación cruzada de dejar uno fuera (leave-one-method-out, LOOCV) pone a prueba si la relación SPS- $\Delta F1$ se generaliza a métodos de denoising no vistos.

3. Contribuciones Clave

Marco SPS: Formulación de una familia de métricas basadas en referencias con roles predictivos (Variantes A y B) y diagnósticos (Variante C) explícitamente separados, yendo más allá de las tablas de clasificación de PSNR/SSIM.
Evidencia Empírica: Presentación de resultados de 180 ejecuciones sistemáticas. Bajo reentrenamiento, la Variante B (Correlación de Magnitud de Gradiente) es la única métrica entre PSNR, SSIM y las tres variantes de SPS que alcanza significancia estadística no ajustada contra $\Delta F1$ ( $r = +0.418, p = 0.038$ ). Su tamaño de efecto es comparable al de PSNR y significativamente superior al de SSIM. Entre las métricas perceptivas conscientes de la estructura, solo GMSD iguala el rendimiento de la Variante B.
Mecanismo de Diagnóstico: El análisis de energía de alta frecuencia (Variante C) revela que los autoencoders entrenados con MSE retienen solo entre el 16% y 21% de la energía de alta frecuencia de la imagen limpia en $\sigma=20$ , comparado con el 87% de BM3D. Esto cuantifica el "colapso por sobre-suavizado" de los modelos entrenados con MSE. Por el contrario, DnCNN retiene un 277% de la energía de alta frecuencia, lo que indica una inyección espuria (anillado) en lugar de sobre-suavizado, algo que el detector tolera mejor que la pérdida estructural.
Límites de Generalización: La validación cruzada de dejar uno fuera arroja valores de $R^2$ negativos (promedio $R^2 = -1.443$ ), demostrando que la relación lineal SPS- $\Delta F1$ no se generaliza a través de diferentes familias de métodos de denoising. La preservación estructural es una condición necesaria pero no suficiente para predecir el rendimiento en operadores no vistos.

4. Resultados Clave

Correlación con el Desplazamiento de la Detección: En el régimen de denoising activo ( $\sigma \ge 1$ ), la Variante B se correlaciona con $\Delta F1$ ( $r = +0.418$ ). Ninguna métrica sobrevive a la corrección de multiplicidad (Holm/Benjamini-Hochberg), pero el tamaño del efecto es robusto. La correlación depende del detector, alcanzando significancia solo para YOLOv9m y YOLOv10m, probablemente debido a sus características arquitectónicas específicas de preservación de gradientes (vía PGI, cabezales libres de NMS).
Dinámica del Detector Congelado: Cuando los detectores están congelados (escenario de despliegue), la agrupación de todos los niveles de ruido enmascara la relación por completo ( $r \approx 0$ ). Sin embargo, dentro de niveles de ruido individuales, la Variante B clasifica fuertemente a los denoisers ( $r \ge +0.93$ en $\sigma \le 10$ ). Esto identifica el nivel de ruido como un factor de confusión; la selección basada en métricas debe controlar el nivel de ruido operativo.
Rendimiento de los Métodos:
- BM3D: Preserva consistentemente la estructura (87% de retención de alta frecuencia) y proporciona el $\Delta F1$ más estable, ligeramente positivo o neutro en regímenes de alto ruido.
- Autoencoders MSE: Son activamente perjudiciales en los regímenes de reentrenamiento, causando colapsos absolutos en $F1$ (por ejemplo, $\Delta F1 \approx -0.075$ en $\sigma=20$ ) debido al sobre-suavizado.
- DnCNN: Produce un residuo de alta frecuencia espurio pero permanece cerca del baseline ruidoso, sugiriendo que los detectores toleran mejor el ruido residual que la pérdida estructural.
Validación ANOVA: En $\sigma=20$ , la elección del método de denoising es un factor estadísticamente significativo ( $p=0.0033$ ), con contrastes por pares que muestran que los métodos que preservan la estructura (BM3D, DnCNN) superan a los métodos de sobre-suavizado (Autoencoder), aunque los pares individuales no sobreviven a la corrección de familia.

5. Significación y Reivindicaciones

El artículo afirma que la preservación estructural es una condición necesaria pero no suficiente para que un denoiser mejore el rendimiento de la detección de objetos. Los autores declaran explícitamente que el SPS no debe verse como un predictor universal y agnóstico al detector para operadores de denoising arbitrarios. En cambio, su importancia radica en su papel como un ayuda computacionalmente barata y estadísticamente fundamentada para clasificar candidatos a denoisers dentro de una lista corta curada y calibrada en un nivel de ruido conocido.

El estudio refuta la suposición de que una "mejor calidad de imagen" (según PSNR/SSIM) implica una mejor detección. Establece que:

La preservación de la magnitud del gradiente es un correlato más fuerte del rendimiento de detección que las métricas tradicionales.
Los denoisers de predicción directa entrenados con MSE dañan sistemáticamente la detección al suprimir las claves estructurales de alta frecuencia.
La relación entre las métricas de calidad de imagen y el rendimiento de detección es no lineal y dependiente de la arquitectura, lo que impide una extrapolación simple a métodos no vistos.

Los autores concluyen que, si bien el SPS no puede reemplazar la evaluación de extremo a extremo, puede reducir el espacio de búsqueda para la selección de denoisers en un orden de magnitud, siempre que se utilice como una "segunda opinión" dentro de un conjunto de candidatos controlado en lugar que como un puntaje universal independiente.