Resumen Técnico: Marco de Trabajo REVIVE para la Recuperación de Vandalismo en Vehículos Autónomos

1. Planteamiento del Problema

Los Vehículos Autónomos (VA) dependen fuertemente de los sensores basados en cámaras para la percepción semántica, incluyendo la detección de objetos, el reconocimiento de carriles y la interpretación de señales de tráfico. Sin embargo, estos sistemas son vulnerables a los Ataques de Oclusión por Vandalismo (VOA, por sus siglas en inglés), donde obstrucciones físicas (por ejemplo, pintura en aerosol, calcomanías, lodo o escombros) bloquean o distorsionan la lente de la cámara. A diferencia de las perturbaciones adversarias digitales, el vandalismo físico persiste hasta que el sensor se limpia o se reemplaza, comprometiendo directamente la utilidad del flujo de la cámara.

Si bien la investigación existente aborda la detección de VOA o se apoya en la redundancia de sensores (LiDAR, radar), existe una brecha crítica en la recuperación automatizada a nivel de imagen. Los métodos de restauración actuales suelen tratar todas las regiones corruptas de manera uniforme, sin tener en cuenta las variaciones en las estructuras espaciales de los diferentes tipos de vandalismo. Además, muchas técnicas de recuperación priorizan las métricas de similitud de imagen sobre la preservación de las tareas de percepción descendentes, lo que puede resultar en la alucinación de contenido crítico para la seguridad o en la falla al restaurar la evidencia necesaria para la detección de objetos.

2. Metodología: El Marco de Trabajo REVIVE

El artículo propone REVIVE (Recovery and Enhancement of Vandalized Images for Vision Excellence), un pipeline multimodal de extremo a extremo diseñado para detectar, clasificar, localizar y recuperar fotogramas de cámaras vandalizados. El marco emplea una estrategia de recuperación consciente del tipo jerárquica que dirige diferentes patrones de oclusión hacia la rama de restauración más apropiada.

Arquitectura del Pipeline

El pipeline procesa una imagen de entrada $I$ a través de cuatro etapas distintas:

1. Detección Binaria de Vandalismo:

   • Una red neuronal convolucional (CNN) ligera con tres bloques convolucionales, agrupación de promedio global y una cabeza totalmente conectada distingue entre fotogramas limpios y vandalizados.
   • Propósito: Permitir la terminación temprana para imágenes limpias, asegurando la eficiencia computacional.
   • Pérdida: Entropía Cruzada Binaria (BCE).

2. Clasificación Multi-clase de VOA:

   • Si se detecta vandalismo, un clasificador identifica el patrón específico de oclusión en cinco categorías basadas en características espaciales:
     • Aleatorio (Random): Oclusiones dispersas, tipo ruido (ej. salpicaduras de aerosol).
     • Centro-hacia-afuera (Center-out): Parches cuadrados en el centro de la imagen (ej. calcomanías dirigidas).
     • Superior-inferior (Top-bottom): Bandas horizontales desde la región superior.
     • Inferior-superior (Bottom-top): Bandas horizontales desde la región inferior (ej. lodo).
     • Dirigido (Targeted): Parches cuadrados posicionados aleatoriamente en regiones específicas.
   • Pérdida: Entropía Cruzada Categórica (CCE).

3. Segmentación y Localización de VOA:

   • Una arquitectura U-Net basada en EfficientNet genera una máscara binaria que delinea las regiones vandalizadas.
   • Condicionamiento Consciente del Tipo: La etiqueta de clase VOA de la Etapa 2 se convierte en un vector de características y se integra en la red de segmentación (por ejemplo, concatenándola con los mapas de características del codificador) para adaptar el enfoque del modelo a la estructura espacial esperada del ataque específico.
   • Pérdida: Suma ponderada de Entropía Cruzada Binaria y Pérdida Dice (Dice Loss).

4. Recuperación de Imagen Consciente del Tipo:
   El marco selecciona una estrategia de recuperación basada en el tipo de VOA identificado:

   • Filtrado de Mediana Estadístico-Paramétrico: Aplicado a VOAs Aleatorios. Utiliza umbralización adaptativa y agrupamiento morfológico multiescala para suprimir artefactos tipo ruido sin síntesis semántica.
   • Difusión Estable Guiada por BLIP: Aplicada a VOAs Estructurados (Centro-hacia-afuera, Superior-inferior, etc.). Utiliza BLIP para generar prompts descriptivos a partir del contexto de la escena, guiando a la Difusión Estable (Stable Diffusion) para sintetizar contenido semánticamente plausible para grandes regiones ocluidas. Esta rama se trata como asíncrona debido a la alta latencia y los riesgos de alucinación.
   • Reemplazo Directo de Píxeles: Un método de referencia de límite superior utilizado cuando hay disponible un fotograma de referencia limpio, espacialmente alineado y temporalmente reciente. Reemplaza los píxeles vandalizados directamente con los píxeles correspondientes del fotograma de referencia.

Puerta de Calidad (Quality Gate)

Un componente crítico de REVIVE es una puerta de calidad post-recuperación que filtra los candidatos antes de que lleguen al stack de percepción descendente. Un fotograma recuperado solo se acepta si:

1. No suprime detecciones relevantes para la seguridad (Recall $\ge$ línea base sin recuperación).
2. No introduce falsos positivos excesivos.
3. Cumple con un piso de consistencia estructural (SSIM $\ge$ 0.5).
   Si un candidato falla, el sistema emite una señal de baja confianza (modo degradado) en lugar de reenviar una imagen reconstruida potencialmente dañina.

3. Contribuciones Clave

• Marco de Trabajo REVIVE: Un pipeline de extremo a extremo que acopla la clasificación multi-clase de VOA con la selección de ramas de recuperación conscientes del tipo, yendo más allá de los enfoques de restauración uniformes.
• Definición del Modelo de Amenaza: Un alcance específico para la recuperación a nivel de imagen dentro de un stack de percepción de VA, distinguiendo entre la restauración de imagen y la recuperación completa de la planificación del vehículo.
• Métricas de Evaluación: Una evaluación exhaustiva utilizando tanto métricas de calidad de imagen (SSIM, PSNR) como, crucialmente, la consistencia de la detección de objetos descendente (recall, precisión, F1-score de YOLOv8l).
• Análisis de Límite Superior Basado en Referencia: Una comparación rigurosa del reemplazo directo de píxeles contra inpainting clásico (Telea, Navier-Stokes) y aprendido (LaMa, Stable Diffusion), resaltando las condiciones bajo las cuales la recuperación generativa no es adecuada para el bloqueo en tiempo real.
• Implementación de la Puerta de Calidad: Una evaluación de una puerta de calidad con referencia que demuestra que el filtrado de candidatos evita que el pipeline degrade el rendimiento por debajo de la línea base sin recuperación.

4. Resultados Experimentales

El marco fue evaluado con 5,000 imágenes del conjunto de datos BDD100K (con VOAs sintéticos) y 500 pares de imágenes limpias/vandalizadas rastreadas.

Rendimiento de Detección y Segmentación

• Detección Binaria: Logró un 97% de precisión general con precisión y recall >95%.
• Clasificación Multi-clase: Logró un 99% de precisión general en todos los cinco tipos de VOA.
• Segmentación: La EfficientNet-U-Net alcanzó un coeficiente Dice medio de 0.91 para VOAs estructurados y 0.87 para VOAs aleatorios. Los puntajes medios de IoU superaron el 85% en todos los tipos.

Rendimiento de Recuperación (Detección de Objetos Descendente)

Usando YOLOv8l para la evaluación en 500 pares rastreados:

• VOAs sin Recuperar: Redujeron el recall de detección a 0.588 y el mAP50 a 0.635.
• Reemplazo Directo de Píxeles (Referencia Alineada): Restauró el recall a 0.967, el F1-score a 0.970 y el mAP50 a 0.979 con una fidelidad de imagen casi perfecta (SSIM 0.988, PSNR 52.8dB). Nota: Esto es un límite superior basado en referencia, no una garantía de despliegue general.
• Inpainting LaMa: Mejoró el recall a 0.667 y el mAP50 a 0.680, superando a los fotogramas sin recuperar, pero siendo más lento que los candidatos ligeros.
• Difusión Estable (Stable Diffusion): Mostró un rendimiento variable (SSIM 0.667–0.867) y una menor recuperación de detección agregada (Recall 0.339, mAP50 0.162) para VOAs estructurados, confirmando su falta de idoneidad como paso de bloqueo en tiempo real.
• Filtrado de Mediana: Rápido (0.26ms) pero resultó en un bajo recall de detección (0.214) para VOAs aleatorios, indicando que la supresión de ruido visual no garantiza la recuperación de la percepción.

Impacto de la Puerta de Calidad

• Sin la puerta de calidad, la ruta consciente del tipo degradó el recall por imagen a 0.304.
• Con la puerta de calidad, el recall regresó a 0.608, asegurando que el flujo reenviado nunca sea peor que el fotograma sin recuperar.
• La puerta aceptó el 93.8% de los candidatos de reemplazo de píxeles alineados y el 86.4% de los candidatos de LaMa, mientras que rechazó a la mayoría de los candidatos de las ramas que fallaron en restaurar la evidencia de detección (por ejemplo, solo el 17.8% de los candidatos de Stable Diffusion).

Latencia

• El pipeline de preprocesamiento online de REVIVE (clasificación, segmentación, recuperación, puerta) añade 22.7 ms por fotograma, ajustándose dentro de un presupuesto de 30 FPS (33 ms).
• Stable Diffusion requiere ~8.6 segundos por imagen, confirmando su papel como una rama asíncrona.

5. Significado y Reivindicaciones

El artículo posiciona a REVIVE no como una solución universal que restaura ciegamente todas las imágenes, sino como un marco estructurado para seleccionar y validar estrategias de recuperación.

• Utilidad Práctica: La contribución principal es la demostración de que la recuperación debe juzgarse por la consistencia de la detección de objetos descendente, no solo por la similitud de la imagen. Una reconstrucción visualmente plausible que falla en restaurar la evidencia de detección es insegura.
• Mecanismo de Seguridad: La puerta de calidad es central para la afirmación de seguridad del marco. Asegura que el sistema nunca reenvíe un fotograma reconstruido que degrade la percepción por debajo del nivel del fotograma sin recuperar (vandalizado).
• Alcance Modesto: Los autores declaran explícitamente que REVIVE aborda la recuperación a nivel de imagen para apoyar la detección de objetos, no la planificación o el control completo del vehículo. Reconocen que el reemplazo directo de píxeles es un límite superior teórico que depende de referencias alineadas, lo cual es raro en condiciones de conducción dinámica.
• Trabajo Futuro: El artículo identifica limitaciones, incluyendo el uso de máscaras sintéticas, la falta de conjuntos de datos de vandalismo del mundo real y la necesidad de una puerta de calidad libre de referencias e integración de sensores multivista para futuros despliegues.

En resumen, REVIVE proporciona un pipeline práctico y consciente del tipo que integra detección, clasificación y recuperación con una puerta de calidad de seguridad crítica, asegurando que cualquier intento de recuperación mejore o mantenga la utilidad del flujo de la cámara para la percepción de la conducción autónoma.