Multi-Task Consistency-based Detection of Adversarial Attacks

당신이 눈뿐만 아니라 카메라를 통해 세상을 보는 자동차를 운전하고 있다고 상상해 보세요. 이 자동차는 딥 뉴럴 네트워크(DNN)라고 불리는 특별한 종류의 컴퓨터 두뇌를 사용하여 자신이 보는 것을 이해합니다. 이 두뇌는 교통 신호를 포착하고, 표지판을 읽고, 안전하게 주행하기 위해 다른 차들을 찾아내야 합니다. 하지만 까다로운 점은, 이 컴퓨터 두뇌들이 속을 수 있다는 것입니다. 만약 누군가 사진에 아주 미세하고 거의 보이지 않는 수준의 '노이즈'를 추가한다면—예를 들어 몇 개의 픽셀을 매우 특정한 방식으로 이동시킨다면—컴퓨터는 정지 표지판을 속도 제한 표지판으로 오인하거나, 보행자를 아예 보지 못할 수도 있습니다. 이것을 '적대적 공격(adversarial attack)'이라고 부르며, 이는 컴퓨터를 위한 마술사의 손기술과 같습니다. 이러한 속임수가 너무 쉽게 일어날 수 있기 때문에, 엔지니어들은 자동차가 위험한 실수를 저지르기 전에 누군가 자동차의 두뇌를 속이려 하는지를 감지할 수 있는 보안 시스템을 구축하기 위해 필사적입니다.

이 논문은 자율주행 자동차를 위한 영리한 새로운 보안 요원을 소개합니다. 컴퓨터 두뇌를 깨뜨릴 수 없을 만큼 강력하게 만드는 대신(그것은 어렵고 비용이 많이 듭니다), 저자들은 '팀워크' 접근 방식을 제안합니다. 그들은 서로 다른 두 가지 컴퓨터 모델에게 같은 사진을 보여주었을 때—하나는 물체 주변에 상자를 그리는 데 특화된 모델(객체 탐지, Object Detection)이고, 다른 하나는 물체의 정확한 형태를 색칠하는 데 특화된 모델(인스턴스 분할, Instance Segmentation)일 때—두 모델이 보통 완벽하게 일치한다는 점에 주목했습니다. 하지만 교활한 공격자가 속임수를 써서 이들을 속이려 하면, 두 모델은 서로 다투기 시작합니다. 한 모델은 자동차를 보고 있지만, 다른 모델은 아무것도 보지 못하거나, 혹은 자동차의 위치에 대해 의견이 갈릴 수 있습니다. 저자들은 이 '다툼'을 듣는 시스템을 만들었습니다. 만약 두 모델이 너무 많이 의견이 다르다면, 시스템은 "이봐, 이 사진은 조작되었어!"라고 외치며 자동차가 그 잘못된 데이터를 사용하는 것을 막습니다.

연구진은 BDD100k라는 거대한 주행 장면 데이터셋을 사용하여 이 아이디어를 테스트했습니다. 그들은 PGD(Projected Gradient Descent)라고 불리는 강력한 공격 기법을 사용하여 수천 개의 까다롭고 '독이 든' 이미지들을 만들어냈고, 새로운 시스템이 어떻게 반응하는지 관찰했습니다. 그들은 이 '불일치 탐지기'가 업무를 믿기 힘들 정도로 잘 수행한다는 것을 발견했습니다. 공격자들과 맞붙었을 때, 이 시스템은 공격당한 이미지를 99.9%의 확률로 성공적으로 식별해 냈습니다. 이는 엄청난 점수로, 시스템이 거의 속지 않는다는 것을 의미합니다.

이 부분이 더욱 흥계로운 점은 어떤 모델들이 함께 작동할 때 가장 좋은지를 알아낸 방식입니다. 그들은 "ResNet50" 두뇌를 가진 모델과 "ResNet101" 두뇌를 가진 모델을 짝지어 보는 등 다양한 조합을 테스트했습니다. 그들은 가장 좋은 쌍이 사실 내부적으로 매우 유사한 모델들이라는 것을 발견했습니다. 들으면 이상하게 느껴질 수 있습니다. 두 모델이 서로 달라야 더 좋다고 생각할 수 있기 때문입니다. 하지만 논문에 따르면, 두 유사한 모델이 공격을 받으면 그들은 서로 다른 방식으로 혼란을 겪게 되며, 이로 인해 포착하기 쉬운 크고 명백한 다툼이 발생합니다. 모델들이 너무 다르면, 공격을 아예 무시하거나 똑같은 방식으로 실패하여 무엇이 잘못되었는지 알아내기가 더 어려워질 수 있습니다.

팀은 또한 자신들의 탐지기를 속이기 위해 스스로를 시험했습니다. 그들은 두 모델을 동시에 속이는 동시에 두 모델이 틀린 답에 대해 합의하도록 강요하는 초지능적인 '적응형 공격자(adaptive attacker)'를 만들었습니다. 이러한 고도의 속임수에도 불구하고, 탐지기는 여전히 작동하여 공격을 95%의 확률로 잡아냈습니다. 이는 공격자들이 속임수를 조정하려고 노력하더라도, 모델들이 정보를 처리하는 방식의 자연스러운 차이 때문에 팀 전체를 속리기는 매우 어렵다는 것을 시사합니다.

다른 보안 방법들과 비교했을 때, 이 접근 방식은 무겁고 느린 탱크라기보다는 가볍고 빠르게 달리는 경비원과 같습니다. 다른 방법들은 종로 전체의 컴퓨터 두뇌를 다시 훈련시키거나 방대한 양의 추가 코드를 더해야 하는 경우가 많아 자동차의 속도를 늦춥니다. 저자들은 이 시스템을 유명한 방어 기법인 "RobustDet"와 비교했습니다. RobustDet은 모델을 약간 더 속이기 어렵게 만들었지만, 크기가 매우 컸고(643 MB) 느렸습니다(초당 11 프레임). 반면, 이 새로운 탐지기는 훨씬 작았으며(350 MB), 두 배 더 빨랐고(초당 20 프레임), 거의 모든 공격을 잡아냈습니다.

요약하자면, 이 논문은 깨뜨릴 수 없는 방패를 만들었다고 주장하는 것이 아닙니다. 대신, 갑옷의 틈새를 듣는 스마트하고 효율적인 방법을 제시합니다. 세상의 두 가지 서로 다른 관점 사이의 불일치를 관찰함으로써, 시스템은 현실이 디지털적으로 변조되었는지를 감지할 수 있습니다. 저자들은 이 방법이 자율주행 자동차를 더 안전하게 만드는 퍼즐의 핵심 조각이 될 수 있음을 시사하며, 때로는 누군가를 잡는 가장 좋은 방법이 그가 다른 사람과 대화하게 만드는 것임을 증명했습니다.