Evaluating randomized smoothing as a defense against adversarial attacks in trajectory prediction

이 논문은 무작위 평활화 (randomized smoothing) 기법을 자율 주행 궤적 예측 모델에 적용하여, 공격에 대한 견고성을 향상시키면서도 정상 환경에서의 예측 정확도를 유지하는 효과적이고 계산 비용이 낮은 방어 메커니즘을 제안하고 검증했습니다.

Julian F. Schumann, Eduardo Figueiredo, Frederik Baymler Mathiesen, Luca Laurenti, Jens Kober, Arkady Zgonnikov

게시일 2026-03-12
📖 3 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

🚗 1. 문제: "눈가림"을 당한 자율주행차

자율주행차는 주변 차들이 앞으로 어떻게 움직일지 (궤적) 정확히 예측해야 안전합니다. 하지만 최근 연구에 따르면, 아주 미세하게 조작된 데이터만으로도 이 예측 모델이 완전히 엉뚱한 결론을 내릴 수 있다고 합니다.

  • 비유: imagine imagine 자율주행차가 운전하는 상황을 상상해 보세요.
    • 정상 상황: 앞차가 정상적으로 차선을 지키며 갑니다. 자율주행차는 "앞차가 계속 직진할 거야"라고 정확히 예측합니다.
    • 악의적 공격 (Adversarial Attack): 해커가 앞차의 움직임을 아주 미세하게 (사람 눈에는 안 보일 정도로) 비틀었습니다. 마치 마술사의 속임수처럼요.
    • 결과: 자율주행차는 이 미세한 비틀림에 속아 "앞차가 갑자기 내 차를 들이받으려고 급정거할 거야!"라고 과민하게 반응하거나, 반대로 "앞차가 날 피할 거야"라고 안일하게 예측하다가 사고가 날 수 있습니다.

지금까지 이런 공격을 막는 방법은 거의 없었습니다.

🛡️ 2. 해결책: "랜덤한 소음"을 섞는 마법 (Randomized Smoothing)

저자들은 **'랜덤화된 스무딩 (Randomized Smoothing)'**이라는 기술을 이 문제에 적용했습니다. 이 기술은 다른 분야 (이미지 인식 등) 에서 이미 성공했지만, 자율주행 예측에는 처음 시도된 것입니다.

  • 핵심 아이디어: "한 번의 예측만 믿지 말고, 소음을 섞어서 여러 번 예측한 뒤 평균을 내자."
  • 일상 비유: "소금 간 맞추기"
    • 요리사가 국물 맛을 볼 때, 한 번만 맛보면 소금기가 너무 짜거나 싱거울 수 있습니다 (특히 해커가 맛을 살짝 변형시켰다면 더 그렇죠).
    • 하지만 요리사가 국물 한 컵에 아주 작은 소금 알갱이 (랜덤 소음) 를 여러 번 뿌려보고, 그 맛들을 평균내서 결정한다면 어떨까요?
    • 해커가 국물 맛을 살짝 변조했더라도, 요리사가 여러 번 맛보고 평균을 내면 그 변조된 맛은 평균화되어 사라집니다. 결국 원래의 정확한 맛 (정답) 에 가까운 결론을 내리게 됩니다.

이 논문에서는 자율주행차가 앞차의 움직임을 예측할 때, 입력 데이터에 무작위적인 '흔들림 (소음)'을 섞어서 여러 번 예측하고, 그 결과를 평균내는 방식을 사용했습니다.

🧪 3. 실험 결과: "소음"이 오히려 도움이 되었다

저자들은 두 가지 다른 방식 (차의 위치에 소음을 섞는 방법 vs 차의 조작 입력에 소음을 섞는 방법) 을 테스트했습니다.

  • 결과 1: 공격을 막아냈다.
    • 해커가 앞차의 움직임을 얼마나 크게 비틀어도 (공격 강도), 스무딩을 적용한 모델은 예측 오차를 크게 줄였습니다. 마치 방탄조끼를 입은 것처럼 공격에 덜 흔들렸습니다.
  • 결과 2: 평소에도 잘했다.
    • 보통 "소음을 섞으면 원래 성능이 떨어지지 않을까?" 걱정했는데, 놀랍게도 해커가 없는 평범한 상황에서도 성능이 거의 떨어지지 않았습니다. 오히려 어떤 경우에는 더 좋아지기도 했습니다.
    • 비유: 방탄조끼를 입은 경찰관이 총알 (공격) 을 막아내는 건 물론이고, 평소에도 더 안정적으로 걷는 것과 같습니다.

💡 4. 결론: 간단하고 저렴한 '안전장치'

이 연구의 핵심 메시지는 다음과 같습니다.

  1. 간단함: 복잡한 새로운 모델을 만들 필요 없이, 기존 모델에 "소음을 섞고 평균내는" 간단한 과정만 추가하면 됩니다.
  2. 저렴함: 계산 비용이 많이 들지 않아 실시간 자율주행에 적용하기 좋습니다.
  3. 효과적: 자율주행차가 해커의 속임수에 속지 않고, 안전하고 정확한 예측을 할 수 있게 도와줍니다.

한 줄 요약:

"자율주행차가 해커의 작은 속임수에 속아 넘어가지 않도록, 예측할 때 '랜덤한 흔들림'을 섞어 여러 번 보고 평균을 내는 것이 가장 쉽고 효과적인 방어책입니다."

이 기술이 실제 자율주행차에 적용된다면, 우리 모두 더 안전하고 신뢰할 수 있는 자율주행 시대를 맞이할 수 있을 것입니다.