Multi-View Camera System for Variant-Aware Autonomous Vehicle Inspection and Defect Detection

Probleemstelling

In de moderne autofabrieken (Industrie 4.0) is het waarborgen van de kwaliteit een toenemend complexe uitdaging. Elke voertuigvariant moet niet alleen vrij zijn van zichtbare defecten (krassen, deuken), maar ook exact overeenkomen met de specifieke configuratie (bijv. type wiel, dakrails, ICE vs. EV).
Bestaande systemen hebben te kampen met drie hoofdbeperkingen:

1. Eenzijdige inspectie: Traditionele single-camera systemen lijden onder occlusies (verduistering) en kunnen view-afhankelijke kenmerken (zoals dakaccessoires) niet betrouwbaar vaststellen.
2. Semantische kloof: Bestaande detectoren kunnen wel zeggen "wat er is", maar niet of "dit correct is voor deze specifieke variant". Er ontbreekt een koppeling tussen waarneming en logische verificatie.
3. Data-schaarste: Defecten zoals krassen en deuken komen zelden voor (lange staart), wat het trainen van supervisie-modellen moeilijk maakt.

Methodologie: Het AVI-systeem

De auteurs presenteren AVI (Automated Vehicle Inspection), een end-to-end multi-view perceptiesysteem dat dieplerningsmodulen combineert met een semantische regelengine.

1. Hardware en Opstelling:

• 11 Gesynchroniseerde Camera's: Een vaste rig langs de inspectielijn die een volledige 360°-scan maakt.
• Resolutie: 3840x2160 per camera.
• Triggering: Een lichtstraalsensor zorgt voor gelijktijdige opname.
• View-to-Task Routing: Elke camera is toegewezen aan specifieke taken (bijv. T1/T3 voor logo's, T2 voor dakrails, L1/R1 voor wielen, zijkanten voor defecten).

2. Architectuur en Modulen:
Het systeem gebruikt een modulaire aanpak met gespecialiseerde modellen:

• Voertuigidentificatie & Classificatie:
  • YOLOv8: Detecteert logo's en mascottes op de voorkant/achterkant.
  • Gemini-1.5 Flash: Voert OCR uit op de mascotte om de variantnaam te extraheren.
  • EfficientNet: Classificeert het grille-ontwerp om te onderscheiden tussen ICE (verbrandingsmotor) en EV (elektrisch).
• Variant-specifieke Kenmerkdetectie:
  • Een tweede YOLOv8 model detecteert configureerbare onderdelen zoals dakrails, antennes en wieltypes, gebaseerd op de specifieke camera-weergaven.
• Defectdetectie (Oppervlakte-anomalieën):
  • YOLOv8-Seg: Een segmentatiemodel dat pixel-precieze maskers genereert voor krassen en deuken op de zijpanelen en bumpers. Dit is cruciaal voor de zeldzame defecten.

3. View-Aware Fusion en Semantische Beslissingsengine:

• Fusie: Voor elke taak worden de detecties van alle toegewezen camera's samengevoegd via een max-pooling strategie. De hoogste betrouwbaarheidsscore per object wordt gebruikt als de definitieve detectie.
• Semantische Regelengine:
  • Op basis van het VIN (Vehicle Identification Number) wordt een verwachte "manifest" (lijst van verwachte onderdelen) opgehaald.
  • Het systeem vergelijkt de gedetecteerde kenmerken ($F_{detected}$) met de verwachte kenmerken ($F_{expected}$).
  • Het berekent ontbrekende ($F_{missing}$) en extra ($F_{extra}$) onderdelen.
  • Een "PASS" wordt alleen gegeven als er geen discrepanties zijn én geen defecten zijn gedetecteerd.

Belangrijkste Bijdragen

1. Eerste Geïntegreerde Industrieel Systeem: Het is het eerste publiek gerapporteerde systeem dat multi-camera kenmerkvalidatie en defectdetectie unificeert in een inzetbaar industriële setting.
2. Semantische Beslissingslaag: Het overbrugt de kloof tussen perceptie en redenering door probabilistische detecties om te zetten in deterministische pass/fail-beslissingen gebaseerd op VIN-gegevens.
3. View-Aware Routing: Door detectoren te beperken tot informatieve camera-weergaven, wordt het aantal false positives verminderd en de latentie verlaagd zonder nauwkeurigheid te verliezen.
4. Data-efficiënte Defectmodule: Een gespecialiseerde segmentatie tak die betrouwbaar werkt ondanks beperkte labels voor zeldzame defecten.

Resultaten

Het systeem werd getest op een hybride dataset van meer dan 25.000 beelden (OEM-gegevens van 4 modellen + openbare defectdatasets).

• Nauwkeurigheid:
  • Verificatienauwkeurigheid: 93% (systeemniveau).
  • Defectdetectie (Recall): 86%.
  • Segmentatie (mIoU): 0.879 voor YOLOv8-Seg (superieur aan Mask R-CNN en andere YOLO-varianten).
• Doorvoer: Het systeem verwerkt 3,3 voertuigen per minuut (ongeveer 18 seconden per voertuig) met een verwerkingslatentie van slechts 285 ms.
• Ablatie-studie:
  • Single-view systemen (bijv. alleen front of rear) halen slechts 88-92% verificatienauwkeurigheid en missen tot 71% van de kenmerken.
  • Het verwijderen van de segmentatiemodule zorgt voor een catastrofale daling in defectdetectie (van 86,5% naar ~70%), wat aantoont dat segmentatie essentieel is ondanks de extra rekentijd.

Betekenis en Conclusie

Dit werk demonstreert dat een principes-gedreven multi-camera routing, gecombineerd met semantische redenering, robuuste en uitlegbare kwaliteitscontrole mogelijk maakt in de auto-industrie.

• Praktische Toepasbaarheid: Het systeem voldoet aan de strakke doorvoereisen van productielijnen door gebruik te maken van geoptimaliseerde backbones (YOLOv8, EfficientNet) in plaats van zware, monolithische transformers.
• Toekomstvisie: Het paper stelt dat toekomstige autonome inspectiesystemen perceptiemodules moeten zien als sensoren die voeden aan een deterministische redeneerlaag, in plaats van te proberen complexe bedrijfslogica volledig end-to-end te leren.
• Impact: Het biedt een blauwdruk voor Industry 4.0 waar data-gedreven QA standaard wordt, zelfs bij complexe varianten en zeldzame defecten.