Multi-View Camera System for Variant-Aware Autonomous Vehicle Inspection and Defect Detection

Resumen Técnico: Sistema de Percepción Multivista para Inspección de Vehículos Autónomos y Detección de Defectos

1. Problema

En la fabricación de vehículos moderna (Industria 4.0), garantizar que cada vehículo salga de la línea de producción cumpliendo con la especificación de su variante correcta y libre de defectos visibles es un desafío creciente. Los sistemas de inspección tradicionales basados en una sola cámara enfrentan limitaciones críticas:

• Oclusiones y características dependientes de la vista: No pueden capturar accesorios de techo o detalles laterales completos.
• Brecha percepción-lógica: Los detectores de objetos estándar responden "¿qué está presente?", pero las fábricas necesitan saber "¿es esto correcto para esta variante específica?".
• Escasez de datos de defectos: Los arañazos y abolladuras son patrones de "cola larga" (raros), lo que dificulta el entrenamiento supervisado.
• Rendimiento: Las líneas de producción actuales requieren un alto volumen (throughput) que los pipelines de inspección lentos o incompletos no pueden satisfacer.

2. Metodología

El artículo presenta AVI (Automated Vehicle Inspection), una plataforma de percepción multivista de extremo a extremo que integra detección profunda con un motor de reglas semánticas.

• Configuración de Hardware:

  • Utiliza una matriz fija de 11 cámaras sincronizadas que capturan un barrido de 360° del vehículo.
  • Las cámaras están estratégicamente asignadas a tareas específicas (ej. T1/T3 para logotipos y parachoques, T2 para techo, L1/R1 para ruedas, L2-R4 para paneles laterales).
  • Resolución de captura: 3840x2160.

• Arquitectura de Modelos (Pipeline de Percepción):

  • Identificación y Clasificación:
    • YOLOv8: Detecta logotipos, mascota (emblem) y parrilla frontal.
    • Gemini-1.5 Flash: Realiza OCR (Reconocimiento Óptico de Caracteres) en la región de la mascota para extraer el nombre de la variante.
    • EfficientNet: Clasifica si el vehículo es de Combustión Interna (ICE) o Eléctrico (EV) basándose en la imagen de la parrilla frontal.
  • Detección de Características Específicas de la Variante:
    • YOLOv8: Entrenado en vistas específicas (techo/trasera) para detectar antenas, rieles de techo y limpiaparabrisas traseros, así como el tipo de rueda y estilo de parachoques.
  • Detección de Defectos (Anomalías):
    • YOLOv8-Seg: Realiza segmentación semántica de arañazos y abolladuras en las vistas laterales, generando máscaras a nivel de píxel.

• Fusión Consciente de la Vista y Motor de Decisiones Semánticas:

  • Fusión: Se utiliza una estrategia de max-pooling sobre las detecciones de múltiples vistas para cada tarea, asegurando robustez ante oclusiones parciales.
  • Motor de Reglas: Compara el conjunto de características detectadas ($F_{detected}$) contra un manifiesto esperado derivado del VIN (Número de Identificación del Vehículo).
  • Lógica de Decisión: Calcula características faltantes ($F_{missing}$) y extrañas ($F_{extra}$). Un vehículo recibe un "APROBADO" solo si no hay discrepancias en las características y no se detectan daños ($D_{damage}$).

3. Contribuciones Clave

• Asignación Dirigida de Vistas: Una política de enrutamiento que asigna cada detector a las vistas informativas específicas, reduciendo falsos positivos y latencia.
• Cierre de la Brecha Percepción-Razonamiento: Un sistema unificado que no solo detecta objetos, sino que valida lógicamente si los componentes presentes coinciden con la configuración de la variante del VIN.
• Módulo de Defectos Eficiente en Datos: Un enfoque de segmentación diseñado para funcionar con etiquetas limitadas, permitiendo la localización fiable de anomalías en paneles y parachoques.
• Evaluación Exhaustiva: Es el primer sistema reportado públicamente que unifica la validación de características multivista con la detección de defectos en un entorno industrial desplegable.

4. Resultados

El sistema fue evaluado en un conjunto de datos híbrido (datos privados de un OEM de 4 modelos + datos públicos de Roboflow) con más de 25,000 imágenes.

• Rendimiento de Componentes:

  • YOLOv8 superó a otros backbones (Faster R-CNN, YOLOv5, YOLOv7) en detección de marcas y características, alcanzando un mAP@50 del 95.72%.
  • YOLOv8-Seg logró el mejor rendimiento en segmentación de daños con un mIoU de 0.879, superando a Mask R-CNN y YOLO11-seg.
  • La clasificación ICE/EV y la OCR mostraron alta precisión incluso con reflejos y oclusiones parciales.

• Rendimiento del Sistema (Nivel de Fábrica):

  • Precisión de Verificación: 93%.
  • Recall de Detección de Defectos: 86%.
  • Throughput: 3.3 vehículos por minuto (aprox. 18 segundos por vehículo).
  • Latencia: ≈285 ms por vehículo.

• Estudio de Ablación:

  • El uso de las 11 cámaras es crítico; las configuraciones de una sola vista reducen la cobertura de características al 28-71% y la precisión de verificación cae drásticamente.
  • Eliminar el módulo de segmentación reduce el recall de defectos de 86.5% a ~70%, demostrando su necesidad crítica.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la inspección autónoma industrial.

• Viabilidad Industrial: Demuestra que es posible lograr una verificación robusta y explicable en tiempo real sin depender de modelos monolíticos pesados, utilizando backbones optimizados (YOLOv8, EfficientNet).
• Enfoque Híbrido: Propone un paradigma donde la percepción profunda actúa como sensor de datos crudos, mientras que un motor de reglas determinista (basado en VIN) toma la decisión final. Esto supera las limitaciones de los sistemas puramente basados en aprendizaje profundo para tareas de validación lógica compleja.
• Escalabilidad: La arquitectura está diseñada para ser desplegable en líneas de producción reales, ofreciendo una solución práctica para el control de calidad en la era de la personalización masiva de vehículos.