Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation

당신이 박물관의 보안 요원이라고 상상해 보십시오. 당신의 직업은 가짜 그림을 찾아내는 것입니다. 인공지능의 세계에서 이러한 "가짜"는 적대적 예제(adversarial examples)라고 불립니다. 이는 컴퓨터가 고양이를 개로 착각하게 만드는, 이미지에 가해진 아주 미세하고 거의 보이지 않는 변화를 의미합니다. 수년 동안 과학자들은 컴퓨터가 이러한 가짜를 얼마나 잘 잡아내는지 측정하기 위해 노력해 왔습니다. 그들은 보통 하나의 특정한 "난이도"(예를 들어 특정 양의 노이즈)를 정하고, 컴퓨터가 그 테스트를 통과하는지 확인합니다. 하지만 이것은 보안 요원의 시력을 오직 정오에만 테스트하는 것과 같습니다. 그것은 그들이 새벽이나 황혼에는 어떻게 보는지에 대해 아무것도 알려주지 않습니다. 큰 질문은 이것입니다. 우리가 단순히 우리가 선택한 방식뿐만 아니라, 모든 종류의 속임수에 대해 컴퓨터가 정말로 견고한지 어떻게 진정으로 알 수 있을까요?

여기서 한 명의 단서에 의존하기를 거부하는 마스터 탐정과 같은 새로운 연구가 등장합니다. 연구진은 컴퓨터의 방어력을 단 하나의 고정된 난이도 수준에서만 점검하는 것은 결함이 있는 게임이라고 주장합니다. 대신, 그들은 새로운 방식으로 게임을 할 것을 제안합니다. 즉, 쉬운 속임수부터 어려운 속임수까지 컴퓨터 방어의 전체 "강도 곡선(strength curve)"을 그려내는 방식입니다. 그들은 단순히 추측하는 것이 아니라, 다양한 공격 전략 팀을 사용하여 컴퓨터 갑옷의 가장 취약한 지점을 체계적으로 사냥하는 시스템을 도입하며, 이 과정에서 "컴퓨팅 에너지"(또는 쿼리)를 사용하는 양을 엄격하게 계산합니다. 그 결과, 임의의 난이도 설정을 선택할 필요 없이 방어력을 순위 매길 수 있는 새로운 방법을 제시하며, 누가 진정으로 가장 강한지를 훨씬 더 명확하게 보여줍니다.

"일률적인" 테스트의 문제점

오랫동안 AI 안전성을 테스트하는 표준 방식은 단 하나의 질문에만 답하는 객관식 시험을 치르는 것과 같았습니다. 연구자들은 이미지에 추가할 특정 양의 "노이즈"(이를 $\epsilon$이라 부릅시다)를 정하고, AI가 여전히 정답을 맞히는지 확인합니다. 만약 맞힌다면, AI는 높은 점수를 받습니다. 그렇지 못하다면 낮은 점수를 받습니다.

이 논문의 저자들은 이것이 다소 어리석은 일이라고 지적합니다. 두 명의 러너, 앨리스와 밥을 상상해 보십시오. 만약 당신이 오직 100미터 지점에서만 시간을 잰다면, 앨리스가 더 빨라 보일 수 있습니다. 하지만 만약 당신이 200미터 지점에서 시간을 잰다면, 밥이 승자가 될 수도 있습니다. 그들의 속도는 서로 다른 속도로 변합니다. 마찬가지로, 어떤 AI 모델은 작고 미세한 변화에는 강하지만, 크고 덩어리진 변화에는 매우 취약할 수 있습니다. 단 하나의 고정된 지점에서만 테스트함으로써, 우리는 러너들의 순위를 잘못 매길 수 있습니다.

나아가, 현재의 "골드 스탠다드(gold standard)" 테스트(AutoAttack라고 불림)는 마치 미리 포장된 도시락과 같습니다. 그것은 고정되어 있습니다. 재료를 바꿀 수 없고, 배가 더 고프다고 해서 음식을 더 추가할 수도 없습니다. 그것은 AI를 무너뜨리기 위해 정해진 횟수의 시도를 사용합니다. 만약 AI가 정말 강력하다면, 그 도시락은 AI가 약하다는 것을 증证明하기에 부족할 수 있고, 만약 AI가 약하다면, 그 도시락은 과할 수도 있습니다. 테스트가 진정한 파괴 지점을 찾아내기에 충분했는지, 아니면 너무 일찍 포기한 것인지 알 방법이 없습니다.

새로운 전략: "프런티어(Frontier)" 사냥

이를 해결하기 위해, 저자들은 두 가지 주요 개념인 **공격 프런티어(Attack Frontier)**와 **방어 프런티어(Defense Frontier)**를 기반으로 한 새로운 프레임워크를 도입합니다.

공격 프런티어를 특정 AI에 대항하여 해커 팀이 달성할 수 있는 궁극적인 "최고 점수"라고 생각하십시오. 우리는 AI를 깨뜨리는 절대적인 완벽한 방법(최악의 시나리오)을 알 수 없기 때문에, 연구진은 다양한 공격 도구의 풀(pool)을 만듭니다. 그런 다음, 이 도구들의 조합을 통해 그 완벽한 파괴 지점에 가장 가깝게 도달하는 방법을 찾습니다. 그들은 이것을 "프런티어"라고 부르는데, 이는 현재 가능한 파괴의 경계선을 나타내기 때문입니다.

방어 프런티어는 그 반대편입니다. 그것은 서로 다른 AI 모델 그룹 전체에 걸친 "최선의 방어" 점수입니다. 이것은 그룹 내의 어떤 모델이 도달한 가장 높은 안전 수준을 보여주는 천장 역할을 합니다.

이 논문의 주요 혁신은 예산에 민-감한 관리자처럼 행동하는 똑똑한 그리디 알고리즘(greedy algorithm)입니다. 당신에게 AI를 테스트하기 위해 해커 팀을 고용할 제한된 금액( "쿼리 예산")이 있다고 상상해 보십시오. 당신은 일을 못 하는 해커를 고용하는 데 돈을 낭비하고 싶지 않을 것이며, 또한 이미 최선을 다한 훌륭한 해커를 계속해서 다시 고용하고 싶지도 않을 것입니다. 이 알고리즘은 다양한 유형의 공격(어떤 것은 작은 구멍을 찾는 데 능숙하고, 어떤 것은 큰 구로를 찾는 데 능숙한) 사이에 예산을 정확히 어떻게 나눌지 결정하여, AI의 약점에 대한 가장 정확한 그림을 얻어냅니다.

결과: 순위를 매기는 새로운 방법

연구진은 그들의 방법을 두 가지 유명한 이미지 데이터셋인 CIFAR-10(작고 단순한 사진)과 ImageNet(실제 세계의 복잡한 사진)에 대해 테스트했습니다. 그들은 30가지의 서로 다른 AI 방어 모델을 살펴보았습니다.

그들이 발견한 결과는 다음과 같습니다:

1. "곡선"이 중요하다: 단 하나의 지점이 아닌 AI 모델의 전체 강도 곡선을 살펴보았을 때, 순위가 급격히 변한다는 것을 발견했습니다. 특정 난이도 수준에서 챔피 Champion처럼 보였던 모델이, 약간 다른 수준에서 테스트되었을 때 최하위로 떨어지는 경우가 많았습니다. 이는 기존의 순위 매기기 방식(하나의 고정된 난이도를 선택하는 것)이 불안정하고 오해의 소지가 있음을 입증합니다.
2. 기존 표준보다 우수함: 그들의 새로운 "최소 노름 공격 앙상블(minimum-norm attack ensembles)"(스마트하게 예산이 배정된 해커 팀)은 대부분의 모델에서 현재의 표준인 AutoAttack의 성능과 일치하거나 심지어 능가했습니다. 실제로, $\ell_2$ 노름(이미지가 얼마나 변했는지를 측정하는 특정 유형의 척도)에 대해, 그들의 방법은 4,000회의 쿼리만으로 13개 모델 중 12개에서 표준 방식과 일치하거나 이를 능가했습니다. 반면 표준 방식은 때때로 최대 7,566회의 쿼리를 사용했습니다.
3. 방어 최적성 지수 (DOI): 그들은 DOI라는 새로운 점수를 만들었습니다. "이 AI는 85% 안전하다"라고 말하는 대신, DOI는 "이 AI는 우리가 본 가장 안전한 AI의 길에 95% 도달했다"라고 말합니다. 이 점수는 특정 난이도를 선택하는 것에 의존하지 않고, 전체 곡선을 살펴봅니다. 이는 훨씬 더 안정적이고 공정한 순위를 제공합니다.

이것이 왜 중요한가

이 논문은 AI 안전성 테스트를 단일 스냅샷처럼 취급하는 것을 멈추고, 영화처럼 취급해야 한다고 제안합니다. 가능한 모든 공격의 범위에 걸쳐 가장 약한 지점을 찾기 위해 유연한 예산을 사용함으로써, 우리는 AI가 실제로 얼마나 안전한지에 대한 훨씬 더 명확하고 정직한 그림을 얻을 수 있습니다.

저자들은 그들의 방법이 단지 이론적인 아이디어에 그치지 않고 실전에서도 작동함을 보여주었습니다. 그들은 모델의 강도에 대한 대략적인 아이디어를 얻기 위해 작은 예산(4,000 쿼리)으로 시작할 수 있음을 입증했습니다. 만약 모델이 약해 보인다면, 거기서 멈추고 비용을 아낄 수 있습니다. 만약 모델이 강해 보인다면, 더 조밀하고 정밀한 추정치를 얻기 위해 더 많은 쿼리(최대 12,000회)를 사용할 수 있습니다. 이는 연구자와 엔지니어들에게 과거의 경직된 일률적 테스트보다 더 저렴하면서도 더 정확한 도구를 제공합니다.

요컨대, 이 논문은 AI의 안전성을 진정으로 알기 위해서는 적절한 난이도를 추측하는 것을 멈추고, 위험의 전체 지형을 그려내기 시작해야 한다고 주장합니다. 그들의 새로운 "프런티어" 접근 방식은 정확히 그 일을 수행하며, 공정하고 유연하며 속임수에 빠질 가능성이 훨씬 낮은 방어 순위 매기기 방식을 제공합니다.