당신이 로봇에게 자동차 운전하는 법을 가르치고 있다고 상상해 보세요. 이를 안전하게 수행하기 위해, 로봇은 단순히 인간처럼 도로를 "보는" 것이 아니라, 자신의 뇌 속에 세상에 대한 완벽한 디지털 청사진을 구축합니다. "HD 맵"이라고 불리는 이 청사진은 자동차가 움직임에 따라 모든 차선, 연석, 횡단보도를 실시간으로 그려냅니다. 만약 이 청사진이 잘못된다면, 로봇은 급커브를 직선 고속도로로 오해하거나, 막다른 길을 탁 트인 도로로 오해하여 매우 심각한 사고를 낼 수 있습니다. 오랫동안 과학자들은 로봇이 존재하지 않는 것을 보게끔 속이는 방법, 예를 들어 정지 표지판에 스티커를 붙여 로봇이 이를 속도 제한 표지판으로 착각하게 만드는 방법에 대해 우려해 왔습니다. 하지만 까다로운 문제가 하나 있습니다. 때로는 도로의 한 부분을 망가뜨리더라도, 로봇이 너무 똑똑해서 도로의 다른 쪽을 보고는 "아, 이게 무엇인지 알겠어"라고 말하며 스스로 실수를 바로잡아 버린다는 점입니다.

"TwinIR"이라는 제목의 이 논문은 바로 그 구체적인 문제를 다룹니다. 연구진은 만약 당신이 단 하나의 "속임수"(예: 하나의 숨겨진 빛)로 자율주행차를 속이려 한다면, 자동차가 나머지 도로를 명확하게 볼 수 있기 때문에 그 속임수를 무시할 가능성이 높다는 것을 발견했습니다. 이 문제를 해결하기 위해, 그들은 TwinIR이라는 새로운 방법을 고안했습니다. 단일한 속임수를 사용하는 대신, 두 곳을 동시에 혼란스럽게 만들기 위해 서로 조율된 한 쌍의 보이지 않는 빛을 사용합니다. 그들은 특수한 근적외선(Near-Infrared) 빛을 사용하면 효과적이라는 것을 발견했습니다. 이 빛은 인간의 눈에는 아무것도 보이지 않지만, 자동차의 카메라에는 밝고 혼란스러운 눈부심으로 보입니다. 이를 통해 로봇을 완전히 길을 잃게 만들어, 급커브를 직선으로 만들거나 회전이 실제보다 훨씬 빨리 오는 것처럼 착각하게 만들 수 있습니다. 가장 놀라운 점은, 옆을 지나가는 사람에게는 도로가 지극히 정상적으로 보인다는 것입니다.

"경계 교차(Cross-Boundary)" 결함

이야기는 자율주행차가 생각하는 방식에 대한 깨달음에서 시작됩니다. 이 자동차들은 카메라를 사용하여 도로의 지도를 만듭니다. 도로가 휘어져 있다면, 자동차는 회전하기 위해 그 곡선을 보아야 합니다. 하지만 여기에는 함정이 있습니다. 만약 당신이 도로의 한쪽(예: 왼쪽 차선)을 가려서 자동차를 속이려 한다면, 자동차는 오른쪽 차선과 중앙선을 보고 "아, 도로가 여전히 여기서 휘어지는구나"라고 판단하여 곡선을 올바르게 그려낼 수 있습니다. 연구진은 이를 **"경계 교차 보정 효과(cross-boundary compensation effect)"**라고 부릅니다. 이는 마치 정원에 있는 뱀을 숨기기 위해 뱀의 머리에 모자를 씌웠지만, 뱀의 꼬리가 여전히 밖에서 꿈틀거리고 있는 것과 같습니다. 정원 주인(자동차)은 꼬리를 보고 뱀이 있다는 것을 알기에, 당신의 모자는 효과가 없었던 것입니다.

이러한 지도를 해킹하려는 이전의 시도들은 단일 "사각지대"나 스티커를 사용하여 자동차를 혼란스럽게 만들었습니다. 논문의 저자들은 이러한 단일 지점 접근 방식이 자주 실패한다는 것을 발견했는데, 그 이유는 자동차가 "보정 경계"(도로의 반대편)를 사용하여 실수를 바로잡기 때문입니다. 그들은 지도를 정말로 망가뜨리려면 단순히 한 지점을 공격하는 것이 아니라, 목표물과 그 실수를 바로잡으려는 부분 모두를 공격해야 한다고 주장합니다.

TwinIR의 등장: 보이지 않는 더블팀

이를 해결하기 위해 팀은 TwinIR을 발명했습니다. 이것을 농구의 협력 수비(double-team)라고 생각해보세요. 한 명의 선수가 공을 뺏으려고 노력하는 대신, 두 명의 선수가 협력하여 상대를 가두는 방식입니다. TwinIR은 최대 두 개의 "공격 지점"을 사용합니다.

1. 타겟(The Target): 첫 번째 지점은 해커가 바꾸고자 하는 특정 도로 부분(예: 커브를 직선처럼 보이게 하려는 부분)을 공격합니다.
2. 보정(The Compensation): 두 번째 지점은 실수를 바로잡는 역할을 하는 도로의 "도움" 부분을 공격합니다.

마법의 재료는 근적외선(NIR) 빛입니다. 인간은 이 빛을 볼 수 없습니다. 즉, 인간의 눈에는 보이지 않습니다. 하지만 자율주행차의 카메라는 이 빛을 매우 명확하게 볼 수 있습니다. 연구진은 이 보이지 않는 빛을 쏘는 작은 레이저들을 사용합니다. 길을 걷는 사람에게는 도로가 정상적으로 보이지만, 자동차의 카메라에는 지도를 망가뜨리는 밝고 혼란스러운 눈부심으로 나타납니다.

시스템은 두 단계로 작동합니다. 먼저, 컴퓨터를 사용하여 가장 큰 혼란을 일으킬 수 있는 위치에 이 보이지 않는 빛을 배치하는 방법을 계산합니다. 컴퓨터는 다음과 같이 확인합니다: "내가 여기에 빛을 놓으면, 자동차가 여전히 곡선을 볼 수 있는가?" 만약 답이 '예'라면, 도로의 반대편에 두 번째 빛을 추가하여 그 시야까지 차단합니다. 두 번째 빛이 실제로 도움이 되는 경우에만 두 개의 빛을 사용하며, 그렇지 않으면 하나의 빛만 사용합니다. 이는 공격을 "희소하게(sparse)" 유지하여(최소한의 빛만 사용하여) 눈에 덜 띄게 하기 위함입니다.

연구 결과: 지도가 무너지다

연구진은 수천 개의 실제 주행 장면이 포함된 유명한 데이터셋인 nuScenes를 통해 이를 테스트했습니다. 그들은 세 가지 다른 유형의 자율주행 지도 시스템(MapTR, MGMap, DAMap)에 이 공격을 시도했습니다.

결과는 상당했습니다. 기존의 "단일 지점" 방식을 사용했을 때는 자동차의 지도 정확도가 약간 떨어졌습니다. 하지만 조율된 두 지점을 사용하는 TwinIR을 사용했을 때:

• "도로 직선화(Road Straightening)" 공격(회전을 직선으로 보이게 함)에서 지도 정확도(mAP)가 8.18에서 8.96 퍼센트 포인트 하락했습니다.
• "조기 회전(Early Turn)" 공격(회전이 더 빨리 온다고 믿게 함)의 경우, 정확도가 2.84에서 5.62 퍼센트 포인트 하락했습니다.

하지만 진짜 위험은 단순히 나쁜 지도가 아니라, 자동차가 그 지도를 가지고 무엇을 하는가에 있습니다. 연구진은 자동차가 계획한 경로가 도달 불가능하거나 안전하지 않게 된 빈도를 측정했습니다.

• TwinIR을 사용했을 때, "도달 불가능한 목표(unreachable goals)"(자동차가 실제로 주행할 수 없는 경로를 계획하는 경우)의 비율이 단일 지점 공격에 비해 11~12 퍼센트 포인트 급증했습니다.
• "안전하지 않은 궤적(unsafe planned trajectories)"(충돌할 위험이 있는 경로)의 비율은 단일 지점 공격보다 3~8 퍼센트 포인트 증가했습니다.

쉽게 말해, 자동차는 단순히 조금 혼란스러워진 것이 아니라, 매우 위험한 경로를 계획하기 시작했습니다.

실제 환경 테스트

이것이 단순한 컴퓨터 시뮬레이션이 아님을 증명하기 위해, 팀은 자신들의 설정을 실제 폐쇄된 테스트 현장으로 가져갔습니다. 6개의 카메라를 장착한 실제 자동차를 테스트 트랙 주변으로 주행시켰습니다. 그들은 보이지 않는 레이저를 덤불이나 표지판 뒤에 숨겨 도로 옆에 배치했습니다.

자동차가 지나갈 때:

• 사람에게는: 영상이 정상적으로 보였습니다. 도로는 원래 모습 그대로였습니다.
• 자동차의 카메라에는: 보이지 않는 레이저가 거대하고 밝은 간섭 패턴을 만들어냈습니다.
• 결과는: 자동차의 지도가 연구진이 예측한 대로 변했습니다. 한 테스트에서는 급커브가 직선으로 그려졌습니다. 또 다른 테스트에서는 회전이 실제보다 훨씬 일찍 오는 것으로 인식되었습니다.

연구진은 또한 두 개 이상의 빛을 사용하는 것이 도움이 되는지도 테스트했습니다. 그들은 세 개, 네 개, 혹은 다섯 개의 빛을 사용하는 실험을 했습니다. 그 결과, 두 번째 빛을 사용하는 것은 큰 차이를 만들었지만, 세 번째, 네 번째, 다섯 번째 빛을 추가하는 것은 공격 성능을 거의 향상시키지 못했습니다. 이는 두 개의 빛이 "스윗 스팟(최적의 지점)"임을 확인시켜 주었습니다. 즉, 자동차가 스스로의 실수를 바로잡는 능력을 무너뜨리기에는 충분하면서도, 설치가 어렵거나 눈에 띄지 않도록 적절한 숫자라는 것입니다.

이것이 왜 중요한가

이 논문은 자율주행차가 고장 났다거나 내일 당장 사고가 날 것이라고 말하는 것이 아닙니다. 대신, 이러한 차량들이 세상을 "생각하는" 방식에 있는 특정한 약점을 강조합니다. 이는 자율주행 시스템이 전체적인 그림을 보는 것에 크게 의존하고 있으며, 만약 몇 개의 보이지 않는 속임수를 조율하여 그들이 작업을 "재확인"하기 위해 사용하는 부분들을 숨길 수 있다면, 시스템을 속일 수 있다는 것을 보여줍니다.

저자들은 미래의 자율주행차가 더 똑똑해져야 한다고 제안합니다. 자동차는 자신의 지도가 도로의 다른 부분에 의해 "보정"되고 있다는 것을 알아차릴 수 있어야 하며, 혹은 이러한 보이지 않는 적외선 속임수를 무시할 수 있어야 합니다. 그때까지 "Twin-IR" 방식은 매우 작고, 보이지 않으며, 조율된 노력이 자율주행의 안전에 놀라울 정도로 큰 영향을 미칠 수 있음을 보여줍니다.