Comparative Analysis of Patch Attack on VLM-Based Autonomous Driving Architectures

이 논문은 자율주행용 비전 - 언어 모델 (VLM) 아키텍처가 물리적 패치 공격에 심각한 취약점을 보이며, 다양한 모델 간의 체계적인 비교 평가를 통해 현재 설계가 안전-중요 응용 분야의 적대적 위협을 충분히 처리하지 못함을 입증합니다.

핵심

🚗 1. 배경: 자율주행차의 '새로운 뇌'

기존 자율주행차는 '눈 (카메라)'으로 보고 '머리 (컴퓨터)'가 계산해서 운전했습니다. 하지만 최근에는 **생성형 AI(챗GPT 같은 것)**를 차에 심어서, 차가 상황을 보고 **"앞에 사람이 있으니 멈춰야 해"**라고 사람처럼 말하며 운전하는 기술 (VLM) 이 등장했습니다.

이 기술은 매우 똑똑해 보이지만, **"이 새로운 뇌가 속임수에 얼마나 취약한지"**는 아직没人 (아무도) 잘 몰랐습니다.

🎭 2. 실험 내용: "거짓말하는 간판"을 붙이다

연구팀은 자율주행차가 지나가는 길가에 있는 광고판이나 버스 정류장 간판에 특수하게 설계된 **거짓말 그림 (적대적 패치)**을 붙였습니다.

• 비유: 마치 마술사가 관객의 눈을 속이듯, 이 그림은 자율주행차의 카메라에 **"도로는 비어있어, 가자!"**라고 속삭이는 마법 같은 그림입니다.
• 실험 상황:
  1. 보행자 상황: 사람이 건너는 횡단보도 앞에 간판을 붙여, 차가 **"사람이 없으니 계속 가자"**고 착각하게 만들었습니다.
  2. 고속도로 상황: 오른쪽으로 가면 콘크리트 장벽에 부딪히는 길에 간판을 붙여, 차가 **"오른쪽으로 꺾어라"**라고 명령하게 만들었습니다.

이때 차의 내부 코드를 해킹하지 않고, **외부에서 찍은 사진만 보고 답을 내는 방식 (블랙박스)**으로 공격을 했습니다.

🧪 3. 비교 대상: 세 가지 다른 '뇌'

연구팀은 서로 다른 설계로 만든 세 가지 최신 자율주행 AI 모델을 비교했습니다.

1. 돌핀 (Dolphins): 시각과 언어를 서로 깊게 연결하는 방식.
2. 올미드라이브 (OmniDrive): 시각 정보를 언어로 번역하는 중계소 방식.
3. 립바드 (LeapVAD): 빠른 직관과 느린 분석을 동시에 하는 두 가지 뇌를 가진 방식.

📉 4. 충격적인 결과: 모두 속아 넘어갔습니다!

실험 결과는 매우 놀라웠습니다. 세 모델 모두 거짓말 간판에 속아 넘어가는 데 실패했습니다.

• 성공률: 간판이 보이는 거리에서 자율주행차가 잘못된 행동을 할 확률이 **73%76%**나 되었습니다. (평소 실수율은 36% 였으니, 12~20 배나 더 위험해졌습니다.)
• 지속성: 한 번 속으면, 차는 67 초 동안 (약 78 프레임) 계속 잘못된 행동을 했습니다. 즉, "아, 방금 실수했나?" 하고 바로 고쳐지지 않고, 오래도록 위험한 길을 계속 가버렸습니다.
• 시각 망각: 가장 끔찍한 점은 차가 사람이나 장벽 같은 위험한 물체를 아예 못 보게 되었다는 것입니다.
  • 비유: 마치 안경을 쓴 사람이 안경에 특수한 스티커를 붙여, 앞의 사람을 '보이지 않는 공기'로 인식하게 만든 것과 같습니다.

🔍 5. 각 모델의 약점 (성격 분석)

세 모델은 모두 망했지만, 망하는 방식 (약점) 이 달랐습니다.

• 돌핀: 사람이 지나가는 횡단보도 상황에서 가장 쉽게 속았습니다. (시각과 언어 연결이 너무 깊어서, 한 군데가 망가지면 전체가 무너짐)
• 올미드라이브: 어떤 상황에서도 일관되게 취약했습니다. (중계소 방식이라 모든 정보가 한 번에 왜곡됨)
• 립바드: 횡단보도에서는 조금 더 잘 견디다가, 고속도로처럼 복잡한 상황에서는 가장 많이 속았습니다. (빠른 직관은 잘 작동하지만, 복잡한 추론을 할 때 속임수에 걸림)

💡 6. 결론 및 교훈

이 연구는 **"지금 개발 중인 자율주행 AI 는 아직 사기꾼의 속임수에 너무 취약하다"**는 것을 증명했습니다.

• 핵심 메시지: 자율주행차가 사람처럼 '말'을 할 수 있게 되었다고 해서 안전해진 것이 아닙니다. 오히려 시각과 언어가 연결된 새로운 방식이, 새로운 종류의 사기 (공격) 에 더 취약할 수 있음을 보여줍니다.
• 미래 과제: 앞으로 자율주행차를 실제 도로에 내보내기 전에, 이런 '거짓말 간판' 공격을 견딜 수 있도록 시스템을 튼튼하게 만들어야 합니다.

📝 한 줄 요약

"자율주행차가 사람처럼 말하게 되었지만, 길가에 붙은 '거짓말 간판' 하나에 모든 게 무너질 수 있음을 확인한 위험한 실험입니다."

기술 요약

논문 요약: VLM 기반 자율주행 아키텍처에 대한 패치 공격의 비교 분석

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLM, Vision-Language Models) 은 시각적 지각과 언어 기반 추론을 통합하여 자율주행 (AD) 시스템의 해석 가능한 종단간 의사결정을 가능하게 하는 차세대 기술로 부상하고 있습니다.
• 문제: 기존 컴퓨터 비전 모델에 대한 물리적 적대적 공격 (Physical Adversarial Attacks) 은 잘 연구되었으나, VLM 기반 자율주행 시스템의 물리적 적대적 패치 공격에 대한 견고성 (Robustness) 은 아직 탐구되지 않았습니다.
• 도전 과제:
  • 다양한 VLM 아키텍처 (센서 모달리티, 비전 인코더, 언어 모델, 퓨전 메커니즘 등) 가 존재하여 체계적인 비교 평가가 어렵습니다.
  • 많은 시스템이 공개되지 않았거나 추가 센서 (LiDAR 등) 를 사용하여 공정한 비교가 불가능합니다.
  • 시각과 언어의 연결로 인해 공격이 비전 데이터뿐만 아니라 장면 이해와 최종 주행 결정까지 왜곡할 수 있어 위협이 복잡합니다.

2. 방법론 (Methodology)

이 논문은 CARLA 시뮬레이터 환경을 활용하여 세 가지 대표적인 VLM 아키텍처 (Dolphins, OmniDrive (Omni-L), LeapVAD) 를 대상으로 한 체계적인 비교 평가 프레임워크를 제안합니다.

• 공격 모델 (Threat Model):

  • 블랙박스 (Black-box): 공격자는 모델의 내부 파라미터나 그래디언트 접근 없이, 이미지 입력과 모델 출력만 관찰할 수 있습니다.
  • 물리적 제약: 공격은 실제 도로 인프라 (버스 정류장 광고판, 간판 등) 에 부착 가능한 패치 형태로 구현됩니다.
  • 목표: 보행자 감지 억제 (Crosswalk) 및 위험한 조향 조작 (Highway) 을 유도하는 것.

• 공격 생성 (Adversarial Patch Generation):

  • 네이티브 진화 전략 (NES): 그래디언트 없는 블랙박스 최적화 알고리즘을 사용하여 패치를 생성합니다.
  • 의미론적 동질화 (Semantic Homogenization): 서로 다른 VLM 아키텍처가 생성하는 다양한 출력 형식 (자유형 텍스트, JSON, 추론 설명 등) 을 고정된 CLIP 텍스트 인코더를 통해 공통 임베딩 공간으로 매핑합니다. 이를 통해 아키텍처에 구애받지 않는 공정한 비교와 손실 함수 (Semantic Similarity Loss) 적용이 가능해집니다.
  • 물리적 현실성: EoT (Expectation over Transformation) 기법을 적용하여 조명, 각도, 왜곡 등 다양한 시야 조건에서도 공격이 유효하도록 최적화합니다.

• 평가 지표:

  • 공격 성공률 (ASR): 위험한 행동을 추천하는 프레임의 비율.
  • 시간적 일관성 (Temporal Persistence): 연속된 프레임에서 공격이 유지되는 지속성.
  • 객체 감지 저하: 보행자나 장애물 등 안전 필수 객체 감지 능력의 감소 정도.
  • 장면 이해 품질: BLEU-4 점수와 의미적 유사도 (Semantic Similarity) 를 통해 생성된 설명의 왜곡 정도를 측정.

3. 주요 기여 (Key Contributions)

1. 아키텍처 무관한 평가 프레임워크: 이질적인 VLM 출력을 통일된 임베딩 공간으로 투영하는 '의미론적 동질화 계층'을 도입하여, 서로 다른 아키텍처 간의 공정한 블랙박스 비교를 가능하게 함.
2. 다차원 평가 방법론: 행동 추천, 객체 감지, 장면 이해, 공간적/시간적 견고성을 종합적으로 측정하는 포괄적인 평가 체계 제시.
3. 실증적 발견: 물리적 적대적 패치가 VLM 기반 주행 시스템을 어떻게 위협하는지에 대한 최초의 체계적인 비교 연구 수행.

4. 실험 결과 (Results)

세 가지 아키텍처 (Dolphins, OmniDrive, LeapVAD) 모두 심각한 취약점을 보였습니다.

• 공격 성공률 (ASR):

  • 모든 모델에서 **73.5% ~ 76.0%**의 높은 공격 성공률을 기록했습니다. 이는 베이스라인 (정상 상황) 의 부적절한 행동 비율 (3.86.3%) 대비 **1220 배 증가**한 수치입니다.
  • OmniDrive (Omni-L): 모든 거리와 시나리오에서 가장 취약했습니다 (특히 교차로 시나리오에서 82-91% ASR). MLP 프로젝션 아키텍처가 정보 흐름을 제한하지만, 동시에 균일한 취약성을 보임.
  • LeapVAD: 교차로 시나리오에서는 상대적으로 강건했으나 (68.4%), 고속도로 시나리오에서는 가장 취약했습니다 (81.7%). 명시적 '중요 객체' 감지 모듈이 보행자 억제에는 일부 효과적이지만, 공간적 인프라 추론에는 취약함을 보임.
  • Dolphins: 교차로 시나리오에서 높은 취약성 (73.1%) 을 보였으며, 크로스 어텐션 메커니즘이 지각적 왜곡에 취약함.

• 시간적 지속성 (Temporal Persistence):

  • 공격은 일시적인 오류가 아닌 연속 6.2~7.8 프레임에 걸쳐 지속되었습니다. 이는 시간적 필터링 (Temporal Filtering) 기반 방어 기법이 무력함을 의미합니다.

• 객체 감지 및 장면 이해 저하:

  • 객체 감지: 공격 시 보행자 감지율이 46.4%~71.1% 포인트 급감했습니다. 특히 Dolphins 는 -71.1pp 로 가장 큰 저하를 보였습니다.
  • 장면 이해: 생성된 텍스트 설명의 BLEU-4 점수는 0.180.31, 의미적 유사도는 0.490.67 로 크게 떨어졌습니다. 모델은 유창하지만 **허위 사실 (Hallucination)**을 포함하는 설명을 생성하여 안전을 위협했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 경고: 현재 VLM 기반 자율주행 아키텍처는 안전 필수 (Safety-critical) 환경에서 물리적 적대적 공격에 대해 매우 취약하며, 설계 선택 (Cross-attention, MLP, Dual-process 등) 에 따라 취약 패턴이 다르게 나타납니다.
• 아키텍처별 취약 패턴:
  • Dolphins: 지각적 왜곡이 언어 모델로 직접 전파되어 전체적 지각 붕괴 발생.
  • OmniDrive: 공간적 일관성은 유지되지만 회복 능력이 제한됨.
  • LeapVAD: 지각보다는 추론 단계에서 취약점이 집중됨.
• 향후 과제: CARLA 시뮬레이션 결과를 실제 폐쇄된 코스에서의 물리적 실험으로 검증하고, 이러한 취약성을 해결할 수 있는 새로운 방어 메커니즘 개발이 시급합니다.

이 연구는 VLM 기반 자율주행 시스템이 상용화되기 전에 반드시 해결해야 할 보안 및 견고성 문제를 명확히 제시했다는 점에서 중요한 의의를 가집니다.