기술 요약: 자율 주행 차량의 반달리즘 복구를 위한 REVIVE 프레임워크

1. 문제 정의

자율 주행 차량(AV)은 객체 탐지, 차선 인식, 교통 표지판 해석을 포함한 시맨틱 인지를 위해 카메라 기반 센서에 크게 의존한다. 그러나 이러한 시스템은 물리적 장애물(예: 스프레이 페인트, 스티커, 진흙 또는 파편)이 카메라 렌즈를 가리거나 왜곡하는 **반달리즘 유발 폐쇄 공격(Vandalism-Induced Occlusion Attacks, VOAs)**에 취약하다. 디지털 적대적 섭동(adversarial perturbations)과 달리, 물리적 반달리즘은 센서가 세척되거나 교체될 때까지 지속되며, 이는 카메라 스트림의 효용성을 직접적으로 저해한다.

기존 연구들은 VOA 탐지를 다루거나 센서 중복성(LiDAR, 레이더)에 의존하지만, 자동화된 이미지 수준의 복구 측면에서는 결정적인 공백이 존재한다. 현재의 복구 방법들은 모든 손상된 영역을 균일하게 처리하며, 서로 다른 반달리즘 유형의 다양한 공간적 구조를 고려하지 못한다. 또한, 많은 복구 기술들이 다운스트림 인지 작업의 보존보다는 이미지 유사도 지표를 우선시하여, 안전에 중요한 콘텐츠를 환각(hallucination)하거나 객체 탐지에 필요한 증거를 복구하는 데 실패할 가능성이 있다.

2. 방법론: REVIVE 프레임워크

본 논문은 Vandalized 이미지를 탐지, 분류, 국소화 및 복구하기 위해 설계된 다중 모달 엔드 투 엔드 파이프라인인 REVIVE(Recovery and Enhancement of Vandalized Images for Vision Excellence)를 제안한다. 이 프레임워크는 서로 다른 폐쇄 패턴을 가장 적합한 복구 분기로 라우팅하는 계층적, **유형 인식 복구 전략(type-aware recovery strategy)**을 채택한다.

파이프라인 아키텍처

파이프라인은 입력 이미지 $I$를 다음 네 가지 단계로 처리한다:

1. 이진 반달리즘 탐지 (Binary Vandalism Detection):

   • 세 개의 컨볼루션 블록, 글로벌 평균 풀링, 그리고 완전 연결 헤드를 갖춘 경량 CNN을 사용하여 깨끗한 프레임과 반달리즘이 발생한 프레임을 구분한다.
   • 목적: 깨끗한 이미지에 대해 조기 종료를 가능하게 하여 계산 효율성을 확보한다.
   • 손실 함수: 이진 크로스 엔트로피(Binary Cross-Entropy, BCE).

2. 다중 클래스 VOA 분류 (Multi-Class VOA Classification):

   • 반달리즘이 탐지되면, 분류기는 공간적 특성에 따라 다섯 가지 범주로 특정 폐쇄 패턴을 식별한다:
     • Random (무작위): 흩뿌려진 노이즈 형태의 폐쇄 (예: 스프레이 비산).
     • Center-out (중심 외곽): 이미지 중앙의 사각형 패치 (예: 표적 스티커).
     • Top-bottom (상하 밴드): 상단 영역에서 발생하는 수평 밴드.
     • Bottom-top (하상 밴드): 하단 영역에서 발생하는 수평 밴드 (예: 진흙).
     • Targeted (표적): 특정 영역에 무작위로 배치된 사각형 패치.
   • 손실 함수: 범주형 크로스 엔트로피(Categorical Cross-Entropy, CCE).

3. VOA 세그멘테이션 국소화 (VOA Segmentation Localization):

   • EfficientNet 기반 U-Net 아키텍처가 반달리즘 영역을 나타내는 이진 마스크를 생성한다.
   • 유형 인식 조건화 (Type-Aware Conditioning): 2단계에서 얻은 VOA 클래스 레이블을 특징 벡터로 변환하여 세그멘테이션 네트워크에 통합한다(예: 인코더 특징 맵과 결합). 이를 통해 모델이 특정 공격의 예상 공간 구조에 적응하도록 한다.
   • 손실 함수: 이진 크로스 엔트로피와 Dice Loss의 가중 합.

4. 유형 인식 이미지 복구 (Type-Aware Image Recovery):
   프레임워크는 식별된 VOA 유형에 따라 복구 전략을 선택한다:

   • 통계적-파라미터 중앙값 필터링 (Statistical-Parametric Median Filtering): Random VOA에 적용된다. 적응형 임계값 처리와 다중 스케일 형태학적 클러스터링을 사용하여 시맨틱 합성 없이 노이즈 형태의 아티팩트를 억제한다.
   • BLIP 가이드 스테이블 디퓨전 (BLIP-Guided Stable Diffusion): Structured VOA(Center-out, Top-bottom 등)에 적용된다. BLIP을 사용하여 장면 문맥으로부터 묘사적인 프롬프트를 생성하고, 이를 통해 Stable Diffusion이 큰 폐쇄 영역에 대해 시맨틱하게 타당한 콘텐츠를 합성하도록 유도한다. 이 분기는 높은 지연 시간과 환각 위험으로 인해 **비동기적(asynchronous)**으로 처리된다.
   • 직접 픽셀 교체 (Direct Pixel Replacement): 시간적으로 최근이며 공간적으로 정렬된 깨끗한 참조 프레임이 사용 가능한 경우 사용하는 상한선(upper-bound) 참조 방법이다. 대응하는 참조 프레임의 픽셀로 반달리즘된 픽셀을 직접 교체한다.

품질 게이트 (Quality Gate)

REVIVE의 핵심 구성 요소는 후보 프레임이 다운스트림 인지 스택에 도달하기 전에 필터링하는 사후 복구 품질 게이트이다. 복구된 프레임은 다음 조건을 만족해야만 수용된다:

1. 안전 관련 탐지를 억제하지 않아야 함 (Recall $\ge$ 미복구 베이스라인).
2. 과도한 허위 양성(false positives)을 유발하지 않아야 함.
3. 구조적 일관성 하한선을 충족해야 함 (SSIM $\ge$ 0.5).
   만약 후보가 실패할 경우, 시스템은 잠재적으로 해로운 재구성 이미지를 전달하는 대신 저신뢰도(저하 모드) 신호를 발생시킨다.

3. 주요 기여

• REVIVE 프레임워크: 단순한 균일 복구 접근 방식을 넘어, 다중 클래스 VOA 분류와 유형 인식 복구 분기 선택을 결합한 엔드 투 엔드 파이프라인을 제시한다.
• 위협 모델 정의: 이미지 수준의 복구를 자율 주행 차량의 인지 스택 내에서 구체적인 범위로 설정하며, 이미지 복구와 전체 차량 수준의 계획 복구를 구분한다.
• 평가 지표: 이미지 품질 지표(SSK, PSNR)뿐만 아니라, 결정적으로 다운스트림 객체 탐지 일관성(YOLOv8l recall, precision, F1-score)을 사용하는 포괄적인 평가 방식을 제공한다.
• 참조 기반 상한 분석: 직접 픽셀 교체를 고전적(Telea, Navier-Stokes) 및 학습 기반(LaMa, Stable Diffusion) 인페인팅과 엄격하게 비교하여, 생성적 복구가 실시간 차단 단계로서 부적절한 조건을 밝혀낸다.
• 품질 게이트 구현: 참조가 가능한 품질 게이트의 성능을 평가하여, 필터링을 통해 파이프라인이 미복구 베이스라인보다 성능을 저하시키는 것을 방지함을 입증한다.

4. 실험 결과

프레임워크는 BDD100K 데이터셋에서 추출한 5,000개의 이미지(합성 VOA 포함)와 500개의 추적된 깨끗한/반달리즘 이미지 쌍을 통해 평가되었다.

탐지 및 세그멘테이션 성능

• 이진 탐지: 97%의 전체 정확도를 달성하였으며, 정밀도(precision)와 재현율(recall) 모두 95% 이상을 기록했다.
• 다중 클래스 분류: 5가지 VOA 유형 전체에서 99%의 전체 정확도를 달성했다.
• 세그멘테이션: EfficientNet-U-Net은 Structured VOA에 대해 0.91, Random VOA에 대해 0.87의 평균 Dice 계수를 달성했다. 평균 IoU 점수는 모든 유형에서 85%를 초과했다.

복구 성능 (다운스트림 객체 탐지)

500개의 추적 쌍에 대해 YOLOv8l을 사용하여 평가한 결과는 다음과 같다:

• 미복구 VOA (Unrecovered VOAs): 탐지 재현율을 0.588로, mAP50을 0.635로 감소시켰다.
• 직접 픽셀 교체 (정렬된 참조 사용): 재현율을 0.967, F1-score를 0.970, mAP50을 0.979로 복구하였으며, 거의 완벽한 이미지 충실도(SSIM 0.988, PSNR 52.8dB)를 보였다. 참고: 이는 일반적인 배포 보장이 아닌 참조 기반의 상한선이다.
• LaMa 인페인팅: 재현율을 0.667, mAP50을 0.680으로 개선하여 미복구 프레임보다는 우수했으나, 경량 후보들보다 느렸다.
• Stable Diffusion: Structured VOA에 대해 가변적인 성능(SSIM 0.667–0.867)을 보였으며, 낮은 총체적 탐지 복구 성능(Recall 0.339, mAP50 0.162)을 보여 실시간 차단 단계로서의 부적합성을 확인시켜 주었다.
• 중앙값 필터링 (Median Filtering): 속도는 빠르지만(0.26ms), Random VOA에 대해 낮은 탐지 재현율(0.214)을 기록하여, 시각적 노이즈 억제가 반드시 인지 복구를 보장하지 않음을 보여주었다.

품질 게이트 영향

• 품질 게이트가 없었을 경우, 유형 인식 라우팅은 개별 이미지 재현율을 0.304로 떨어뜨렸다.
• 품질 게이트를 적용하면 재현율이 0.608로 돌아와, 전달되는 스트림이 미복구 프레임보다 나빠지지 않도록 보장한다.
• 게이트는 정렬된 픽셀 교체 후보의 93.8%, LaMa 후보의 86.4%를 수용했으나, 탐지 증거를 복구하는 데 실패한 분기(예: Stable Diffusion)의 후보는 대부분 거부했다(단 17.8%만 수용).

지연 시간 (Latency)

• 온라인(비생성적) REVIVE 전처리 파이프라인(분류, 세그멘테이션, 복구, 게이팅)은 프레임당 22.7 ms를 추가하며, 이는 30 FPS(33 ms) 예산 범위 내에 들어온다.
• Stable Diffusion은 이미지당 약 8.6초가 소요되어, 비동기 분기로서의 역할을 확인시켜 준다.

5. 의의 및 주장

본 논문은 REVIVE를 단순히 모든 이미지를 맹목적으로 복구하는 보편적 해결책이 아니라, 복구 전략을 선택하고 검증하기 위한 구조화된 프레임워크로 정의한다.

• 실용적 효용성: 주요 기여는 복구가 단순히 이미지 유사도가 아니라 다운스트림 객체 탐지 일관성에 의해 판단되어야 함을 입증한 것이다. 시각적으로 그럴듯한 재구성이 탐지 증거를 복구하는 데 실패한다면 그것은 안전하지 않다.
• 안전 메커니즘: 품질 게이트는 프레임워크의 안전성 주장의 핵심이다. 이는 복구된 프레임이 미복구(반달리즘 상태) 프레임보다 인지 성능을 저하시키지 않도록 보장한다.
• 제한적 범위: 저자들은 REVIVE가 객체 탐지를 지원하기 위한 이미지 수준의 복구를 다루고 있음을 명시하며, 이를 전체 차량 수준의 계획 복구와 구분한다. 또한, 동적인 주행 조건에서 직접 픽셀 교체가 드물다는 점을 들어 이것이 이론적 상한선임을 인정한다.
• 향러 과제: 합성 마스크 사용, 실제 반달리즘 데이터셋의 부족, 참조 없는 품질 게이팅 및 다중 뷰 센서 통합의 필요성 등을 한계점으로 지적한다.

요약하자면, REVIVE는 탐지, 분류, 복구를 품질 게이트와 결합한 유형 인식 파이프라인을 제공함으로써, 어떤 복구 시도가 카메라 스트림의 유용성을 개선하거나 최소한 유지하도록 보장하는 실용적인 프레임워크를 제시한다.