Natural Adversaries: Fuzzing Autonomous Vehicles with Realistic Roadside Object Placements

이 논문은 자율주행차의 인식 시스템이 도로 설계 가이드라인을 준수하는 현실적인 노변 물체 배치 (예: 쓰레기통) 만으로도 심각한 오인식 및 교통법규 위반을 유발할 수 있음을 보여주기 위해 제안한 'TrashFuzz'라는 블랙박스 페이징 공격 기법과 그 실험 결과를 요약합니다.

핵심

이 논문은 **'자율주행차가 길가 사물들의 위치를 잘못 이해하면 얼마나 위험해질 수 있는지'**를 보여주는 흥미로운 연구입니다.

간단히 말해, 연구팀은 **"쓰레기통, 벤치, 나무 같은 평범한 길가 사물들을 법규에 맞게 아주 자연스럽게 배치했을 때, 자율주행차가 길을 잘못 알고 큰 실수를 할 수 있다"**는 사실을 발견했습니다.

이 내용을 일상적인 비유와 함께 쉽게 설명해 드릴게요.

---

🚗 1. 연구의 핵심: "평범한 쓰레기통이 교통사고를 부를 수 있다?"

기존의 자율주행차 해킹 연구들은 대부분 눈에 띄는 이상한 그림을 붙이거나, 기이한 모양의 물체를 만들어내서 차의 눈을 속이는 방식이었습니다. 마치 사람이 보기에 "저건 뭐지?"라고 생각할 만큼 낯선 장난감 같은 것이죠. 하지만 이런 건 실제 도로에서는 쉽게 볼 수 없기 때문에 현실성이 떨어집니다.

하지만 이 연구 (TRASHFUZZ) 는 접근법을 완전히 바꿨습니다.

비유: "사람들이 길에서 매일 보는 쓰레기통, 화분, 벤치를 이용해 해킹을 시도했다"는 거예요.

연구팀은 "이 물건들은 사람이 보기에 전혀 이상하지 않고, 도로 법규를 완벽하게 지키고 있다"는 전제하에, 이 물건들의 '위치'만 살짝 바꿔보았습니다. 그랬더니 자율주행차가 그 위치를 보고 "아, 저건 사람이야!"라고 착각하거나, "저건 차야!"라고 오해해서 신호등 색깔을 잘못 보거나, 갑자기 멈추는 등 법을 위반하는 행동을 하였습니다.

🕵️‍♂️ 2. 어떻게 해킹했을까? (TRASHFUZZ 의 원리)

연구팀은 **'TRASHFUZZ'**라는 새로운 도구를 만들었습니다. 이 도구의 작동 원리는 다음과 같습니다.

• 자연스러운 미끼: 자율주행차가 달리는 길가에 '쓰레기통 5 개', '나무 2 그루', '벤치 1 개'를 둡니다. 이때 중요한 건, 도로 공사 규정 (법규) 을 어기지 않고 아주 자연스럽게 배치한다는 점입니다. (예: 보도 위에 쓰레기통을 두지 않음, 나무와 전봇대 사이 거리를 법규대로 함)
• 블랙박스 테스트: 연구팀은 자율주행차의 내부 알고리즘을 알지 못합니다. (블랙박스) 그냥 차를 달리고, 차가 어떻게 반응하는지 눈으로만 확인합니다.
• 지능적인 탐색 (그리디 알고리즘): "어디에 쓰레기통을 두면 차가 가장 혼란스러워할까?"를 컴퓨터가 수천 번 시뮬레이션하며 찾아냅니다. 마치 미로를 풀 때, 가장 헷갈리는 길을 찾아내는 것처럼요.

🎭 3. 어떤 일이 일어났을까? (실제 발견된 사례)

시뮬레이션 결과, 놀라운 일들이 벌어졌습니다.

1. 신호등 착각: 길가에 평범한 쓰레기통들이 특정한 각도로 놓여지자, 자율주행차는 빨간불을 초록불로 잘못 보았습니다. 마치 안경을 잘못 쓴 것처럼요.
2. 정체와 멈춤: 쓰레기통 두 개가 가까이 놓이면, 차는 이를 '한 개의 큰 차'로 오인하거나, '보행자'로 착각해서 일단 멈추거나 길을 막았습니다.
3. 법 위반: 결과적으로 자율주행차는 24 가지 교통 법규 중 15 가지를 위반하는 상황을 만들어냈습니다.

🛡️ 4. 왜 이것이 중요한가?

이 연구는 우리에게 두 가지 중요한 메시지를 줍니다.

• 현실적인 위협: 우리가 매일 보는 평범한 길가 사물들도, 자율주행차에게는 치명적인 함정이 될 수 있습니다. "저건 그냥 쓰레기통인데"라고 생각할 수 있지만, 차의 눈에는 완전히 다른 것으로 보일 수 있습니다.
• 규제의 필요성: 현재 도로에 사물을 배치하는 규칙은 '사람이 보기에 안전하도록' 만들어졌습니다. 하지만 '자율주행차의 눈 (카메라와 센서) 에도 안전하도록' 규칙을 다시 한번 점검해야 할 시기가 왔습니다. 예를 들어, 쓰레기통의 모양이나 색상을 통일하거나 배치 거리를 더 엄격하게 정해야 할지도 모릅니다.

💡 요약

이 논문은 **"자율주행차를 속이려면 기이한 장난감을 쓸 필요 없다. 그냥 길가 쓰레기통을 법규에 맞게 아주 자연스럽게 놓아도, 차는 길을 잃고 법을 위반할 수 있다"**는 것을 증명했습니다.

이는 마치 평범한 옷을 입은 사기꾼이 우리를 속일 수 있는 것처럼, 자율주행차도 평범한 길가 풍경에 속아 넘어갈 수 있음을 경고하는 연구입니다. 앞으로 자율주행차가 안전하게 달리기 위해서는, 단순히 차만 똑똑하게 만드는 게 아니라 우리가 사는 환경 (도로와 사물) 도 차가 이해하기 쉽게 만들어야 한다는 교훈을 줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율주행차 (AV) 의 보급이 확대되면서, 차량의 인지 시스템 (Perception System) 이 다른 차량뿐만 아니라 도로변의 사물 (쓰레기통, 간판, 녹지 등) 을 어떻게 처리하는지 테스트하는 것이 중요해졌습니다.
• 기존 연구의 한계:
  • 대부분의 기존 적대적 공격 (Adversarial Attack) 연구는 눈에 띄는 패치 (Adversarial Patches) 나 비정상적인 모양의 물체를 사용합니다.
  • 이러한 공격들은 실제 도로 환경에서 비현실적이며, 대부분 모델의 내부 구조를 아는 화이트박스 (White-box) 접근 방식을 필요로 합니다.
  • 또한, 이러한 공격들은 인간 운전자에게도 의심스러운 것으로 보일 수 있어 실제 도로에서의 적용 가능성이 낮습니다.
• 핵심 질문:
  1. 인간에게는 완전히 정상적으로 보이지만, 도로 설계 가이드라인을 준수하는 자연스러운 사물 배치만으로도 AV 의 인지 시스템을 속일 수 있는가?
  2. 이러한 오인식이 심각한 안전 문제 (교통법 위반, 충돌 등) 로 이어질 수 있는가?

2. 제안된 방법론: TRASHFUZZ (Methodology)

저자들은 TRASHFUZZ라는 새로운 블랙박스 (Black-box) 페이징 (Fuzzing) 알고리즘을 제안했습니다. 이는 도로변 사물의 배치를 조작하여 AV 가 교통법을 위반하도록 유도하는 현실적인 시나리오를 생성합니다.

A. 자연스러운 시나리오 생성 (Natural Scenario Generation)

• 규제 준수: 공격 시나리오는 실제 도로 설계 가이드라인 (싱가포르의 'Public Streets Works Code of Practice', 'Greenery Provision Guidelines', 폐기물 관리 회사 가이드라인 등) 을 준수해야 합니다.
• 규칙 형식화: 12 가지의 구체적인 배치 규칙 (예: 쓰레기통은 도로나 보도를 막지 않아야 함, 나무와 전봇대 사이의 거리 제한 등) 을 수학적 공식으로 변환하여 시나리오 생성 시 강제 적용합니다.
• 객체 다양성: Unity Asset Store 에서 가져온 일상적인 사물 (쓰레기통, 벤치, 나무, 소화전 등) 을 사용하여 패치나 비정상적인 모양을 사용하지 않습니다.

B. 탐욕적 경사도 기반 블랙박스 검색 (Greedy Gradient-Guided Black-Box Search)

• 목표: AV 가 교통법 위반을 일으키도록 유도하는 시나리오를 찾는 것.
• 신호 시간 논리 (STL) 활용: 교통법 규정을 STL (Signal Temporal Logic) 공식으로 정의하고, 이를 위반하는 정도를 나타내는 강건성 (Robustness) 값을 계산합니다.
  • 강건성 값이 낮을수록 (0 이하) 규정을 위반한 것입니다.
• 검색 알고리즘:
  1. 인코딩: 시나리오를 벡터로 표현 (사물의 위치, 회전 각도, 종류 등).
  2. 목함수 설계: 복잡한 규정을 여러 개의 하위 위반 목표 (Violation Goals) 로 분해하여, 다양한 위반 패턴을 포괄적으로 탐색합니다.
  3. 탐욕적 검색 (Greedy Search): 초기 무작위 시나리오에서 시작하여, 각 사물의 위치를 미세하게 변경 (Mutation) 합니다. 이때 변경이 강건성 값에 미치는 영향을 경사도 (Gradient) 로 계산하여, 가장 큰 영향을 주는 방향으로 다음 시나리오를 생성합니다.
  4. 블랙박스 특성: AV 의 내부 모델이나 알고리즘에 대한 지식 없이, 오직 출력 (인지 결과 및 차량 제어 정보) 만을 관찰하여 공격을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 현실적인 적대적 공격 프레임워크: 패치나 비정상적인 물체 없이, 일상적인 사물의 '배치'만으로 AV 를 속일 수 있음을 증명했습니다.
2. 규제 기반 제약 조건: 공격 시나리오가 실제 도로 환경의 규제 (Naturalness) 를 준수하도록 강제하여, 실제 도로에서의 실현 가능성을 높였습니다.
3. 새로운 페이징 알고리즘: 블랙박스 환경에서 STL 기반의 강건성 값을 최적화하는 탐욕적 경사도 기반 검색 알고리즘을 개발했습니다.
4. 광범위한 테스트: Baidu Apollo 자율주행 시스템을 대상으로 실험을 수행했습니다.

4. 실험 결과 (Results)

• 실험 환경: Baidu Apollo (v7.0) + LGSVL 시뮬레이터 (Unity 기반).
• 유효한 시나리오 생성: TRASHFUZZ 는 생성된 시나리오의 100% 가 도로 설계 가이드라인을 준수하는 반면, 무작위 생성 시나리오는 사물 개수가 늘어날수록 가이드라인 위반 비율이 급격히 증가했습니다.
• 교통법 위반 유도:
  • 총 24 가지 테스트 가능한 교통법 중 15 가지를 위반하도록 유도했습니다.
  • 기존 도구인 LawBreaker(다른 차량/보행자 행동 변형) 가 위반한 모든 법규를 커버하면서, LawBreaker 가 발견하지 못한 추가적인 위반 (예: 교차로 우회전 차량이 직진 차량에게 양보해야 하는 규칙 위반 등) 을 1 건 더 발견했습니다.
• 발견된 주요 취약점 유형:
  1. 분류 및 분할 오류 (Classification & Segmentation Errors): 쓰레기통이 보행자나 자전거로 잘못 분류되거나, 여러 개의 쓰레기통이 하나의 차량으로 인식되어 AV 가 멈추거나 혼란을 겪는 경우.
  2. 인지 시스템 과부하 (Overloaded Perception System): 특정 위치에 사물을 배치하여 신호등 인지 시스템을 마비시킴.
     • 적색 신호 오인: 신호등이 녹색일 때 빨간색으로 인식하여 불필요하게 정지.
     • 녹색 신호 오인: 신호등이 빨간색일 때 녹색으로 인식하여 신호 위반 (적신호 통과) 을 유발. 이는 매우 위험한 상황입니다.
• 타 시스템 적용 가능성: Autoware 시스템에서도 유사한 오분류 현상이 관찰되어, 공격 기법의 일반화 가능성을 시사했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 경고: 인간 운전자를 위해 설계된 기존 도로변 사물 배치 가이드라인이 자율주행차의 인지 시스템에는 부적합할 수 있음을 시사합니다.
• 실제 위협: 패치나 특수 장비 없이도, 일상적인 사물 (쓰레기통 등) 의 배치만으로도 AV 를 조작하여 심각한 교통법 위반을 일으킬 수 있음을 증명했습니다.
• 향후 방향:
  • 도로 설계 가이드라인의 개정 필요성 (예: 쓰레기통의 표준화된 외관이나 치수).
  • AV 인지 시스템의 강건성 테스트 파이프라인에 '자연스러운 사물 배치' 테스트를 필수적으로 포함해야 함.
  • 멀티모달 기반 모델 (Vision + Language) 에 대한 확장 및 방어 메커니즘 연구 필요.

이 논문은 자율주행차의 안전성을 평가할 때, 단순히 충돌을 유발하는 것뿐만 아니라 규정을 준수하는 자연스러운 환경 요소가 어떻게 치명적인 오작동을 일으킬 수 있는지를 체계적으로 분석한 중요한 연구입니다.