Adversarially Guided Diffusion for LiDAR Range Image Synthesis

기술 요약: LiDAR 범위 이미지 합성을 위한 적대적 유도 확산 모델 (Adversarially Guided Diffusion for LiDAR Range Image Synthesis)

문제 정의
LiDAR 시맨틱 세그멘테이션은 자율 주행을 위한 핵심적인 인지 작업으로, 모델이 3D 포인트 클라우드(종종 2D 범위 이미지로 투영됨)를 처리하여 장면 요소에 시맨틱 레이블을 할당하는 과정을 포함한다. 이러한 모델들은 입력값을 미묘하게 혹은 구조적으로 눈에 띄지 않게 조작하여 모델을 오도하도록 설계된 적대적 예제(adversarial examples)에 취약하다. 적대적 예제는 이미지 분류 및 3D 포인트 클라우드 세그멘테이션 분야에서 광범위하게 연구되어 왔으나, 2D LiDAR 범위 이미지 영역에서의 **무제한 적대적 예제(unrestricted adversarial examples, UAEs)**는 여전히 거의 탐구되지 않은 상태이다. 기존의 노름 제한 공격(norm-bounded attacks, 예: FGSM, PGD)은 고정된 입력에 작은 섭동(perturbation)을 가하는데, 이는 고주파 노이즈를 유발할 수 있고 다양한 아키텍처 전반에 걸쳐 일반화되는 데 한계가 있다. 따라서 고정된 입력 섭동에 의존하지 않고, 구조화된 세그멘테이션 오류를 유도할 수 있는 현실적이고 매니폴드 일관성(manifold-consistent)을 가진 적대적 샘플을 생성하는 방법론이 필요하다.

방법론
본 논문은 세그멘테이션 손실로부터 유도된 적대적 가이던스를 사용하여 잠재 확산 모델(latent diffusion model)의 역방향 샘플링 과정을 조종하는 확산 기반 무제한 적대적 공격을 제안한다.

• 프레임워크: 이 방법은 SemanticKITTI 데이터셋으로 학습된 사전 학습된 조건부 잠재 확산 모델(sem2lidar)을 활용한다. 이 모델은 밀집된 시맨틱 레이블 맵을 조건으로 하여 LiDAR 범위 이미지를 생성한다.
• 적대적 가이던스 (Adversarial Guidance): 기존 이미지를 섭동시키는 대신, 이 공격은 역방향 확산 궤적(reverse diffusion trajectory)을 수정한다. 본 연구는 외부의 미분 가능한 대리 세그멘테이션 네트워크($g_\psi$)가 가이던스 신호를 제공하는 **훈련 불필요 가이던스(Training-Free Guidance, TFG)**를 채택한다.
• 손실 함수: 가이던스는 생성된 잠재 표현(latent)에 대한 대리 네트워크의 예측값과 조건부 레이블(비표적 공격의 경우) 또는 타겟 레이블 맵(표적 공격의 경우) 사이에서 계산된 밀집 픽셀 교차 엔트로피 손실($L_{adv}$)에 의해 구동된다.
  • 비표적(Untargeted): 전체 성능을 저하시키기 위해 실제 정답(ground-truth) 레이블에 대한 손실을 최대화한다.
  • 표적(Targeted): 특정 영역(소스 클래스)을 타겟 클래스로 강제하기 위해 손실을 최소화한다.
• 샘플링 과정: 공격은 결정론적인 DDIM 샘플러를 사용한다. 생성된 샘플이 적대적 노이즈를 도입하기 전에 전역적인 장면 구조를 유지하도록 하기 위해, 가이던스는 역방향 궤적의 정해진 분율($\tau^\star$)이 경과한 후에만 적용된다. 가이던스 단계는 손실의 그래디언트 방향으로 잠재 표현을 밀어낸다:
  $$z_{t-1} = z^{ddim}_{t-1} + s \cdot \frac{g_t}{\|g_t\|_2}$$
  여기서 $s$는 가이던스 스케일이며, $g_t$는 정규화된 적대적 손실의 그래디언트이다.
• 미분 가능성: 확산 디코더에 비미분 가능한 양자화(quantization) 단계가 포함되어 있으므로, 본 방법은 확산 모델을 재학습하지 않고도 세그멘테이션 네트워크로부터 잠재 공간까지 그래디언트를 전파할 수 있는 미분 가능한 디코딩 경로를 사용한다.

핵심 기여

1. 최초의 확산 기반 2D LiDAR UAE: 저자들은 확산 모델을 사용하여 2D LiDAR 범위 이미지 시맨틱 세그멘테이션을 겨냥한 최초의 무제한 적대적 공격을 제시한다.
2. 제어 가능한 성능 저하: 본 방법은 가이던스 스케일($s$)과 시작 분율($\tau^\star$)을 통해 공격 강도를 정밀하게 조정할 수 있음을 보여주며, 이는 효과성과 현실성 사이의 트레이드오프를 제공한다.
3. 강력한 전이성 (Transferability): 생성된 적대적 예제는 블랙박스 아키텍처(예: CENet의 그래디언트를 사용하여 RangeNet++를 공격하거나 그 반대의 경우)에 대해 상당한 전이성을 보이며, 노름 제한 베이스라인 모델들을 능가하는 전이 성능을 나타낸다.
4. 현실성 보존: 고주파 노이즈를 유발하는 노름 제한 공격과 달리, 제안된 방법은 실제 LiDAR 데이터 매니폴드에 통계적으로 근접한 샘플을 생성하여 기하학적 구조와 시각적 부드러움을 보존한다.

실험 결과
실험은 SemanticKITTI 데이터셋을 사용하여 RangeNet++와 CENet을 타겟 네트워크로 수행되었다.

• 효과성: 공격은 화이트박스 설정에서 최대 **64.2%**의 상대적 mIoU(mean Intersection over Union) 하락을, 전이 설정에서 **58.4%**의 하락을 달야냈다 ($s=10$일 때).
• 베이스라인과의 비교:
  • FGSM(Fast Gradient Sign Method) 및 SegPGD와 비교했을 때, 제안된 방법은 화이트박스 성능 저하 측면에서 대등하거나 우수한 성능을 보이면서도 훨씬 더 나은 분포적 현실성(FRID로 측정)을 유지했다.
  • 예를 들어, $s=10$에서 제안된 방법은 64.2%의 하락과 136.1의 FRID를 기록한 반면, $\epsilon=0.120$에서의 FGSM은 63.2%의 하락을 기록했으나 FRID는 207.5로 훨씬 높았다. 이는 제안된 방법이 분포적 편차가 훨씬 작음을 의미한다.
  • 결정적으로, 제안된 방법은 SegPGD에 비해 우수한 전이성을 보여주었다. 유사한 화이트박스 강도에서, 확산 기반 공격은 40.1%의 전이 하락을 달성한 반면 SegPGD는 21.7%에 그쳤다.
• 시각적 품질: 시각적 비교(그림 2) 결과, 노름 제한 베이스라인들은 고주파 노이즈를 나타낸 반면, 가이드된 확산 공격은 매끄럽고 장면 일관성이 있는 이미지를 생성했다.
• 표적 공격: 본 방법은 "도로(road)" 픽셀을 "보도(sidewalk)"로 재분류하는 것과 같이, 특정 재분류율을 제어하며 성공적으로 표적 공격 능력을 입증했다.

의의 및 주장
본 논문은 확산 기반 방법이 아직 다루지 않은 2D LiDAR 범위 이미지 영역에서 무제한 적대적 공격 문제를 해결함으로써 문헌의 중요한 공백을 메운다고 주장한다. 저자들은 자신들의 접근 방식이 뚜렷한 효과성-현실성 트레이드오프를 제공한다고 주장한다. 섭동(perturbation) 영역이 아닌 생성(generative) 영역에서 작동함으로써, 이 방법은 노름 제한 공격에서 흔히 나타나는 고주파 아티팩트를 피하고, 정제 기술(purification techniques, 종종 작은 섭동 예산을 기반으로 함)을 통한 방어에 더 어려운 적대적 예제를 생성한다. 이 연구는 역방향 확산 궤적을 조작함으로써 서로 다른 세그멘테이션 아키텍처 전반에 걸쳐 더 잘 일반화되는 적대적 샘플을 생성할 수 있음을 시사하며, 이는 자율 주행 시스템의 모델 안전성에 대한 더욱 견고한 평가를 제공한다.