Multi-View Camera Perception System for Variant-Aware Automated Vehicle Inspection and Defect Detection

기술 요약: 변형 모델 인지 가능한 자동 차량 검사 시스템을 위한 다중 뷰 카메라 인지 시스템

문제 정의
자동차 제조 공정의 최종 라인 품질 관리는 두 가지 과제에 직면해 있습니다. 하나는 엄격한 "택트 타임(tact time)"(차량당 수 초) 제약 내에서 높은 물량의 차량을 검사해야 한다는 것이며, 다른 하나는 다양한 구성의 변형 모델(variant)에 대해 정확성을 확보해야 한다는 것입니다. 단일 플랫폼에서도 루프 랙, 안테나, 휠 유형, 배지, 파워트레인(ICE 대 EV)과 같은 기능적 차이로 인해 수십 가지의 변형 모델이 생산될 수 있습니다. 기존의 단일 카메라 스테이션이나 수동 육안 검사는 높은 처리량, 전체 변형 모델 커버리지, 그리고 일관성을 동시에 달 p기 어렵습니다. 또한, 기존의 자동화 시스템은 검사 작업(예: 결함 탐지 또는 휠 유형 식별)을 개별적으로 처리하는 경향이 있으며, 특정 차량의 예상 구성(VIN 기반 명세서)에 따라 의사결정을 조건화하는 능력이 부족합니다. 이는 탐지기가 보이는 것을 보고할 수는 있지만, 해당 차량에 실제로 있어야 할 기능과 일치하는지 여부는 판단하지 못하는 "인지-추론 간극(perception-reasoning gap)"을 생성합니다.

방법론: AVI 시스템
본 논문은 이 간극을 메우기 위해 설계된 엔지니어링 통합 솔루션인 자동 차량 검사(Automated Vehicle Inspection, AVI) 시스템을 제시합니다. 이 시스템은 새로운 신경망 아키텍처가 아니라, 고정된 다중 뷰 리그(rig), 작업별 라우팅, 그리고 결정론적 의사결정 엔진으로 구성된 특정 통합 설계에 의해 정의됩니다.

1. 하드웨어 설정: 시스템은 각 차량의 360도 전방위 스윕을 3840x2160 해상도로 포착하는 11개의 동기화된 카메라를 활용합니다.
2. 작업-뷰 라우팅(Task-to-View Routing): 모든 뷰를 모든 모델에 통과시키는 대신, 시스템은 특정 카메라가 전용 인지 모듈에 데이터를 공급하도록 하는 정적 라우팅 정책을 채택합니다.
   • 차량 식별 및 브랜딩: T1(전면) 및 T3(후면) 카메라는 로고, 마스코트, 그릴을 국소화하기 위해 YOLOv8 탐지기에 데이터를 전달합니다. 마스코트 영역은 Gemini 1.5 Flash를 통해 OCR 처리를 거쳐 변형 모델 명칭을 추출하며, 클래식한 루틴을 통해 로고 정렬 상태를 확인합니다.
   • 파워트레인 분류: 전면 그릴 크롭(T1)은 EfficientNet 모델을 사용하여 내연기관(ICE) 또는 전기차(EV)로 분류됩니다.
   • 변형 모델 특징 탐지: 두 번째 YOLOv8 모델은 구성 가능한 특징들(루프 랙, 안테나, 리어 와이퍼, 휠 유형)을 탐지합니다. 결정적으로, 이 모델은 대상이 물리적으로 보이는 뷰(예: 루프 항목의 경우 T2/T3, 휠의 경우 L1/R1)만 처리하여 추론 비용과 오탐지를 줄입니다.
   • 표면 결함 세그멘테이션: YOLOv8-Seg 모델은 8개의 측면 뷰(L1–L4, R1–R4)를 모두 처리하여 스크래치, 덴트(찌그러짐), 도장 변형에 대한 픽셀 수준 마스크를 생성합니다.
3. 증거 표준화 및 의사결정 로직:
   • 표준화 계층: 이질적인 출력값(경계 상자, OCR 텍스트, 클래스 확률, 세그멘테이션 마스크)은 공통 형식인 신뢰 점수를 포함한 불리언(boolean) 특징 플래그로 변환됩니다.
   • 뷰 인지형 집계(View-Aware Aggregation): 각 작업에 대해 시스템은 할당된 뷰에 대해 맥스 풀링(max-pooling) 전략을 적용하여, 무관한 뷰로부터 신호가 희석되는 것을 방지하고 특징의 존재 여부를 결정합니다.
   • 결정론적 규칙 엔진: 시스템은 차량의 VIN으로부터 예상되는 특징 명세를 가져옵니다. 이후 탐지된 특징과 예상되는 명세 간의 집합론적 비교를 수행하여 누락되거나 추가된 항목을 식별합니다.
   • 판정: 누락된 특징, 추가된 특징, 그리고 (면적 임계값을 초과하는) 탐지된 표면 이상 징후의 집합이 모두 비어 있는 경우 최종 합격/불합격(Pass/Fail) 판정이 내려집니다. 이 과정은 차량이 베이에 진입한 후에는 라이브 데이터베이스 쿼리와 독립적으로 감사 가능하도록 설계되었습니다.

주요 기여

• 타겟 뷰 할당: 탐지기를 정보가 풍부한 뷰로 제한하여 오탐지와 계산 비용을 줄이는 라우팅 정책을 제시합니다.
• 증거 표준화 및 규칙 기반 의사결정 계층: 다양한 인지 출력을 비교 가능한 불리언 플래그로 변환하여, VIN 유래 명세와 결정론적 비교를 가능하게 하는 융합 체계를 구축했습니다.
• 데이터 효율적 결함 모듈: 레이블이 제한된 시나리오에 최적화된 세그멘테이션 브랜치를 통해 측면 패널의 신뢰할 수 있는 이상 징식 국소화를 구현했습니다.
• 비교 벤치마킹: 40개 차량 모델에 대한 평가와 절제 연구(ablation studies)를 통해 다중 뷰 설계와 전용 세그멘테이션 브랜치의 필요성을 입증했습니다.

결과
시스템은 하이브리드 코퍼스(프라이빗 OEM 데이터셋 40개 모델, 파일럿 배포 중인 1,250대 차량 및 공개 스크래치/덴트 데이터셋)를 통해 평가되었습니다.

• 성능: 전체 AVI 시스템은 95%의 엔드 투 엔드 검증 정확도와 86.5%의 결함 탐지 재현율(특히 스크래치 및 덴트)을 달성했습니다.
• 처리량: 시스템은 분당 3.3대의 차량(차량당 약 18초)을 처리하며, 차량당 처리 지연 시간은 285ms로 생산 택트 타임 내에 충분히 들어옵니다.
• 절제 연구 결과:
  • 단일 뷰 구성(예: 전면 T1 전용)은 검증 정확도를 8893%로, 특징 커버리지를 약 2843%로 떨어뜨려 다중 뷰 캡처의 필요성을 확인시켜 주었습니다.
  • 세그멘테이션 브랜치를 제거하면 지연 시간은 약간 감소했으나, 결함 탐지 재현율이 86.5%에서 71.4%로 감소하여 세그멘테이션 브랜치가 운영상의 필수 요구 사항임을 증명했습니다.
• 모델 선택: 비교 테스트 결과, 각각의 작업에 대해 YOLOv8과 YOLOv8-Seg가 가장 강력한 오프더쉘 백본임을 확인했으며, 이는 정밀도, 재현율, mAP/mIoU 측면에서 Faster R-CNN, YOLOv5, YOLOv7을 능가했습니다.

의의 및 주장
본 논문은 알고리즘적 참신함보다는 통합 설계에 그 주요 의의가 있다고 주장합니다. 확률적 인지와 결정론적 추론을 분리함으로써, 시스템은 감사 가능하고 산업 수준의 파이프라인을 달성합니다.

• 간극 해소: 시스템은 시각적 증거를 특정 차량 명세와 대조하여 "올바른가"라는 문제를 해결하며, 이를 통해 유효한 누락 특징(기본 트림)과 결함(프리미엄 트림에서 특징이 누락됨)을 구분합니다.
• 배포 가능성: 이 아키텍처는 결정 로직을 변경하지 않고도 인지 모듈을 재학습하거나 교체할 수 있어, 변형 모델의 진화와 유지보수에 강건합니다.
• 운영 현실: 본 시스템은 산업 현장 배포를 위해 핵심적인 병목 현상이 거대한 단일 트랜스포머 모델보다는 멀티모달 증거의 통합에 있음을 보여줍니다. 확립된 백본(YOLOv8, EfficientNet)의 사용은 무거운 모놀리식 트랜스포머에 비해 재학습과 유지보수를 단순화합니다.

저자들은 일시적인 폐쇄(occlusion)에 적응하지 못하는 정적인 뷰-태스크 매핑의 특성과, 알려지지 않은 이상 징후를 탐지할 수 없는 폐쇄형 명세(closed manifest)에 대한 의존성 등 한계점을 명시했습니다. 향후 연구로는 적응형 뷰 어텐션(adaptive view attention) 및 오픈 월드 이상 탐지(open-world anomaly detection)를 제안했습니다.