Geometric origin of adversarial vulnerability in deep learning

로봇에게 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 수천 장의 고양이와 개 사진을 보여주고, 로봇은 놀라운 속도로 둘을 구분하는 법을 배웁니다. 이것이 자율주행 자동차부터 언어 번역에 이르기까지 모든 것을 혁신한 인공지능의 한 분야인 '딥러닝'의 마법입니다. 하지만 여기에는 섬뜩한 함정이 있습니다. 이 초지능 로봇들은 놀라울 정도로 취약하다는 점입니다. 만약 당신이 고양이 사진에 인간의 눈에는 보이지도 않을 아주 미세하고 투명한 정적 노이즈(static noise)를 추가한다면, 로봇은 갑자기 100%의 확신을 가지고 "이것은 토스터기입니다!"라고 비명을 지를 수도 있습니다. 이를 '적대적 공격(adversarial attack)'이라고 부르며, 이는 로봇이 진정으로 고양이가 어떻게 생겼는지를 이해하는 대신, 기묘하고 비개념적인 패턴에 집중하여 지름길을 택했기 때문에 발생합니다. 과학자들은 왜 이 디지털 두뇌들이 이토록 쉽게 속는지, 그리고 어떻게 하면 인간처럼 견고하게 만들 수 있을지 고민하며 수년 동안 이를 해결하기 위해 노력해 왔습니다.

이 논문이 다루는 핵심 질문은 이것입니다: 왜 이러한 네트워크는 그토록 취약하며, 우리는 이들을 다르게 구축할 수 있는가? 저자들은 그 문제가 네트워크가 정보를 조직하는 '기하학적 방식'에 있다고 제안합니다. 전체 두뇌를 한꺼번에 훈련시키는 대신(이는 앞서 말한 취약한 지름길로 이어집니다), 데이터가 시스템을 통과하며 이동하는 내부의 '형태'를 조각하듯, 층(layer) 단위로 네트워크를 구축하는 새로운 방식을 제안합니다. 그들은 이를 '기하학 인식 학습(Geometry-Aware Learning, GAL)'이라고 부릅니다. 모든 단계에서 유사한 것들(예: 모든 고양이)은 서로 가깝게 유지하고, 서로 다른 것들(고양이 대 개)은 멀리 떨어뜨려 놓도록 강제함으로써, 훨씬 더 견고하고 논리적인 세계관을 만들어냅니다. 그 결과는 어떨까요? 단순히 패턴을 암기하는 것이 아니라, 작은 눈에 보이지 않는 결함에도 쉽게 속지 않는, 매끄럽고 견고한 현실의 지도를 실제로 학습하는 네트워크가 탄생합니다.

문제점: 로봇의 취약한 두뇌

심층 신경망은 거대한 다층 공장과 같습니다. 이미지를 상단으로 입력하면, 최종 결정이 내려지는 하단에 도달하기 전까지 층층이 쌓인 '작업자'(뉴런)들에 의해 처리됩니다. 보통 우리는 '역전파(backpropagation)'라는 방법을 사용하여 이 공장을 훈련시킵니다. 이는 마치 하단에서 상단까지 올라가며 무엇이 잘못되었는지 알려주는 하나의 거대한 에러 메시지를 보내는 것과 같습니다. 문제는 이 방법이 종로는 종종 네트워크가 '속임수'를 찾도록 유도한다는 점입니다. 네트워크는 동물의 전체적인 형태가 아니라, 이미지의 특정 구석에 있는 털의 질감을 통해 고양이를 정의하는 법을 배울 수 있습니다. 이로 인해 네트워크는 일반적인 테스트에서는 매우 정확하지만, 공격에는 무력할 정도로 취약해집니다. 만약 공격자가 그 특정 질감을 변화시키는 미세한 노이즈를 추가한다면, 전체 시스템은 붕괴합니다.

해결책: 데이터를 한 층씩 조각하기

이 논문의 저자들은 전체 공장을 한꺼번에 고치려고 노력하는 것을 멈추기로 했습니다. 대신, 그들은 **기하학 인식 학습(Geometry-Aware Learning, GAL)**이라는 새로운 훈련 전략을 도입했습니다. 당신이 찰흙으로 조각상을 만든다고 상상해 보세요. 마지막 조각상을 단 한 번의 크고 위험한 휘두름으로 완성하려 하는 대신, 층을 쌓아 올리며 만드는 것입니다.

이 새로운 방법에서 네트워크는 아래에서 위로 올라가며 한 층씩 훈련합니다. 첫 번째 층이 학습할 때, 그것은 오직 원시 데이터(예: 픽셀)를 깔끔한 더미로 조직하는 데 집중합니다. 이때 특별한 규칙을 사용합니다: "모든 고양이는 좁고 단단한 공 모양으로 모으고, 모든 개는 저 멀리 별도의 공으로 밀어내라." 이 규칙은 '기하학적 비용(geometry cost)'이라 불립니다. 이는 네트워크가 유사한 것은 응축되고 서로 다른 것은 분리되는, 명확하고 조직된 지도를 만들도록 강제합니다.

첫 번째 층이 깔끔하고 정돈된 데이터 더미를 조각해 내면, 그 층은 '동결(freeze)'되어 위치가 고정됩니다. 그다음 두 번째 층이 들어와 그 정돈된 더미를 가져와 다시 한번 더 정교하게 조직하며, 마찬가지로 고양이는 가깝게, 개는 멀리 둡니다. 이 과정은 체인 전체를 따라 계속됩니다. 마지막으로 모든 층이 구축되고 조직되면, 단순한 '판독(readout)' 헤드가 완성된 완벽하게 분류된 더미를 보고 "고양이" 또는 "개"라고 말하도록 훈련됩니다.

이것이 로봇을 더 강하게 만드는 이유

이 접근 방식의 마법은 '매끄러운' 지형을 만들어낸다는 점에 있습니다. 기존의 훈련 방식에서 데이터의 지형은 삐죽삐죽하고 절벽이 많았습니다. 아주 작은 움직임(공격)만으로도 로봇을 낭떠러지로 떨어뜨려 잘못된 답을 내놓게 할 수 있었습니다. 새로운 기하학 인식 학습에서는 데이터의 지형이 완만하고 굴곡진 언덕과 같습니다. 설령 공격자가 데이터를 조금 밀어내더라도, 데이터는 언덕 위를 살짝 굴러다닐 뿐 여전히 올바른 '고양이' 골짜기에 머물게 됩니다.

논문은 이 방법이 매우 효과적임을 보여줍니다. MNIST(손글씨 숫자)나 CIFAR-10(컬러 이미지)과 같은 표준 이미지 데이터셋에 대해 테스트했을 때, 새로운 네트워크는 기존 방식과 마찬가지로 높은 정확도를 달성했습니다. 하지만 핵심은 이것입니다. 동일한 '보이지 않는 노이즈' 기술로 이 네트워크들을 공격했을 때, 새로운 네트워크는 거의 꿈쩍도 하지 않았습니다. 기존의 네트워크들이 처참하게 실패하는 동안, 새로운 네트워크는 정확도를 유지했습니다.

마법 뒤에 숨겨진 과학

저자들은 단순히 이것이 작동할 것이라고 추측한 것이 아니라, 왜 그런지를 설명하기 위해 수학적 모델을 구축했습니다. 그들은 네트워크의 행동을 관찰하기 위해 물리학의 개념인 '통계 역학(statistical mechanics)'을 사용했습니다. 그들은 '동일 클래스' 아이템들이 얼마나 가까운지와 '다른 클래스' 아이템들이 얼마나 먼지의 비율을 조절함으로써, 수학적으로 더 매끄럽고 견고한 시스템을 보장할 수 있다는 것을 발견했습니다.

또한 그들은 네트워크 내부 데이터의 '형태'에 관한 흥미로운 사실을 발견했습니다. 그들은 '고윳값(eigenvalues)'(다양한 패턴의 중요성을 측정하는 세련된 방법)을 조사했고, 새로운 네트워크가 특정한 '깨진 멱법칙(broken power-law)' 패턴을 따른다는 것을 발견했습니다. 이는 실제 쥐의 뇌에서 보이는 패턴과 동일합니다! 이는 이 새로운 방식의 인공 네트워크 훈련이 실제로 생물학적 뇌가 학습하는 방식, 즉 노이즈에 자연스럽게 저항하는 매끄러운 저차원 지도를 만드는 방식을 모방하고 있음을 시사합니다.

요약

이 논문은 속임수에 빠지지 않는 AI를 만드는 비결이 단순히 표준 모델에 더 많은 데이터를 쏟아붓는 것이 아니라고 제안합니다. 그것은 모델이 학습하는 방식을 바꾸는 것에 관한 것입니다. 네트워크를 층별로 훈련시키고 내부의 세계 지도를 깔끔하고 응축되며 분리된 상태로 유지하도록 강제함으로써, 우리는 똑똑할 뿐만 아니라 강인한 딥러닝 시스템을 구축할 수 있습니다. 이들은 단순히 암기하는 것이 아니라 현실의 기하학을 이해하며, 이를 통해 속이기가 훨씬 어렵고 자연계에서 볼 수 있는 견고한 학습에 훨씬 더 가까워집니다.