🤖 machine learning

Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks

본 논문은 기존의 소규모 및 노후화된 분석 함수 세트의 한계를 해결하기 위해 블랙박스 적대적 공격을 대규모의 현대적인 전역 최적화 벤치마크로 제안하며, 이러한 고차원적 과제를 해결하는 데 있어 다양한 진화 알고리즘과 메타휴리스틱의 효과를 입증한다.

원저자: Wojciech Zarzecki, Jarosław Arabas

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wojciech Zarzecki, Jarosław Arabas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 동물을 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 말, 고양이, 개가 담긴 수천 장의 사진을 보여주며 로봇이 정답을 맞히는 데 아주 능숙해질 때까지 훈련시킵니다. 하지만 만약 누군가 로봇을 속일 수 있다면 어떻게 될까요? 만약 누군가 말 사진에 아주 작고 눈에 보이지 않는 '노이즈' 한 점을 추가해서, 로봇이 고양이를 보고 있다고 착각하게 만든다면 어떨까요? 이것을 **적대적 공격(adversarial attack)**이라고 부릅니다. 이것은 컴퓨터를 위한 마술과 같습니다. 사람의 눈에는 말이 보이지만, 컴퓨터의 뇌는 비밀스러운 수학적 자극 때문에 고양이를 보고 있는 것입니다.

이러한 속임수가 어떻게 작동하는지(혹은 어떻게 막을 수 있는지) 알아내기 위해, 과학자들은 다양한 "탐색 전략(search strategies)"을 테스트해야 합니다. 당신이 거대한 안개 낀 산맥에서 가장 깊은 골짜기를 찾고 있다고 상상해 보세요. 어떤 탐색 전략은 벽에 부딪힐 때까지 직선으로 걷는 것과 같고, 다른 전략은 구석구석을 탐험하기 위해 벌 떼를 보내는 것과 같습니다. 수십 년 동안 과학자들은 이 전략들을 그리기 쉬운 가상의 산(수학적 함수)을 사용하여 테스트해 왔지만, 이는 실제 세상과는 다를 수도 있습니다. 큰 의문은 이것입니다: 이 오래되고 단순한 테스트들이 현대 AI의 복잡하고 무질서한 세상을 판단하기에 충분히 좋은가 하는 점입니다.

바르샤바 공과대학교의 보이치에흐 자르제츠키(Wojciech Zarzecki)와 야로스와프 아라바스(Jarosław Arabas)가 작성한 이 논문은 "그렇지 않다"라고 말합니다. 저자들은 AI를 속이는 문제(적대적 공격)가 이러한 탐색 전략을 테스트하기 위한 완벽하고 실제적인 테스트라고 주장합니다. 그들은 이 공격을 하나의 거대한 퍼즐로 취급했습니다. 즉, 컴퓨터를 속일 수 있는 가장 작고 눈에 보이지 않는 변화를 찾는 것입니다. 그들은 여러 가지 "군집(swarm)" 탐색 방법(진화 알고리즘이나 회색 늑대 최적화 기법 등)을 사용하여 어떤 것이 이 퍼즐을 가장 잘 해결하는지 테스트했습니다.

연구 결과는 다음과 같습니다.

퍼즐은 까다롭습니다
먼저, 저자들은 이것이 단순히 하나의 답만 존재하는 간단한 퍼즐이 아니라는 것을 증명하고 싶었습니다. 그들은 수천 장의 이미지에 대해 국소 탐색(local search, 즉 주변부만 살펴보는 전략) 방법을 사용했습니다. 그들은 서로 다른 무작위 지점에서 시작했을 때, 각기 다른 "해결책"에 도as달한다는 것을 발견했습니다. 어떤 해결책은 몇 개의 픽셀을 바꾸었고, 다른 해결책은 또 다른 곳의 픽셀을 바꿨습니다. 이는 이 지형이 "다봉성(multimodal)"을 띠고 있음, 즉 하나의 골짜기나 봉우리가 아니라 매우 많은 골짜기와 봉우리가 존재함을 증명했습니다. 이는 매끄럽게 미끄러져 내려가는 것이 아니라, 가장 깊은 곳이 아닌 작은 웅덩이에 빠질 수도 있는 울퉁불퉁하고 혼란스러운 산맥임을 의미합니다. 이는 최고의 속임수를 찾기 위해 강력한 "전역(global)" 탐색 방법이 필요하다는 것을 확인시켜 줍니다.

탐색자들
연구팀은 두 가지 유명한 이미지 데이터셋인 CIFAR-10(32x32 픽셀의 작은 이미지)과 ImageNet(거대한 고해상도 이미지)을 대상으로 여러 가지 탐색 알고리즘을 테스트했습니다. 그들은 각 알고리즘이 이미지를 속였는지 확인하기 위해 "엿볼" 수 있는 횟수(예산)를 부여했습니다.

"탐욕스러운(Greedy)" 탐색자들: INFO 옵티마이저와 같은 일부 방법은 약간 탐욕적인 국소 탐색처럼 행동했습니다. 이들은 빠르게 해결책을 찾아냈지만, 종종 더 약한 속임수(낮은 성공률)를 가진 채로 멈춰 섰습니다.
"군집" 탐색자들: DE(차분 진화 알고리즘), GEN(유전 알고리즘), SHADE와 같은 방법들은 훨씬 뛰어났습니다. 이들은 공간을 더 철저하게 탐색했습니다. 예를 들어, CIFAR-10 데이터셋에서 허용된 "노이즈(변조)"가 0.2로 설정되었을 때, GEN 방식은 컴퓨터를 **97.40%**의 확률로 속였고, SHADE는 **89.61%**의 확률로 속였습니다.
"늑대"의 고전: GWO(회색 늑대 최적화)는 규칙이 엄격할 때 어려움을 겪었습니다. 특정 "정규화(regularization)" 설정(노이즈를 작게 유지하는 규칙)이 없었을 때, 성공률은 약 **10~15%**에 불과했습니다. 그러나 저자들이 노이즈의 균형을 맞추는 특정 규칙을 추가하자, GWO는 따라잡았고 훨씬 더 나은 성능을 보였습니다.

크기가 중요합니다
이미지의 크기는 엄청난 차이를 만들었습니다. 작은 CIFAR-10 이미지에서는 허용된 노이즈가 아주 적은 0.01일 때, 알고리즘들이 거의 완전히 실패했습니다. 하지만 거대한 ImageNet 이미지에서는 똑같이 작은 노이즈가 사용하기 훨씬 더 어려웠습니다(모두 0% 성공). 그러나 노이즈를 조금 더 허용하여 0.1 또는 0.2가 되었을 때, 알고리즘들은 매우 효과적이었습니다. ImageNet에서 노이즈가 0.2일 때, DE 알고리즘은 **100%**의 성공률을 달밀했는데, 이는 이 알고리즘이 시도한 모든 이미지에 대해 컴퓨터를 속일 수 있었음을 의미합니다.

핵심 요점
이 논문은 이러한 "블랙박스(black-box)" 적대적 공격을 사용하는 것이 실제 전역 최적화 방법들이 얼마나 뛰어난지를 테스트하는 환상적인 방법임을 시사합니다. 이것은 기존의 단순한 수학 문제보다 더 어렵고 현실적인 도전입니다. 연구 결과는 어떤 방법이 다른 방법보다 더 나은 것은 분명하지만, 이 분야가 여전히 배우는 단계에 있다는 것을 보여줍니다. 저자들은 자신들이 "완벽한" 알고리즘을 찾아냈다고 주장하는 것이 아니라, 연구자들이 자신들의 도구를 테스트할 수 있는 새로운 놀이터를 제공했다고 말합니다. 또한, 그들은 향에 단순히 컴퓨터를 혼란스럽게 만드는 것뿐만 아니라, 특정한 오답을 선택하도록 만드는 것에 대해서도 테스트하고 싶으며, 인간의 눈에 더 잘 띄는 방식으로 "노이즈"를 측정하는 방법도 사용할 수 있다고 언급했습니다.

요약하자면, 저자들은 AI를 속이는 것이 복잡하고 다봉적인 산행임을 성공적으로 보여주었으며, 비록 현재는 일부 탐색 팀(GEN이나 SHADE 같은)이 가장 뛰어난 등반가이지만, 여전히 탐험해야 할 영역이 많이 남아 있다는 것을 입증했습니다.

기술 요약: 블랙박스 적대적 공격을 이용한 대규모 테스트 글로벌 최적화 기법

문제 정의
저자들은 1970년대와 1980년대에 제작된 제한된 수의 해석적 함수(예: Ackley, Griewank, Rosenbrock)로 구성된 벤치마크 스위트에 대한 의존성으로 인해 글로벌 최적화 방법론의 발전이 정체되어 있음을 지적한다. 이러한 "합성(synthetic)" 문제들은 방법론 개발에 편향을 일으킬 위험이 있다. 본 논문은 이미지 분류 모델에 대한 블랙박스 적대적 공격(Black-Box Adversarial Attacks, BBAA)이 견고하고 고차원적인 글로벌 최적화 벤치마크 역할을 할 수 있다고 제안한다.

BBAA 시나리오에서 공격자는 입력 이미지 $x$ 에 더해지는 섭동 벡터(perturbation vector) $\delta$ 를 찾아내어, 모델의 분류를 변경(오분류)하는 동시에 해당 섭동이 인간에게는 인지되지 않도록 하는 것을 목표로 한다. 이 문제는 정답 클래스의 음의 로그 확률과 섭동 크기를 최소화하기 위한 $L_2$ 정규화 항을 결합한 목적 함수 $L(\delta)$ 를 갖는 경계 제약 최소화 문제로 정식화된다:
$L(\delta) = -\log p_{c(x)}(x + \delta) - \alpha\|\delta\|_2^2$
가용 집합은 하이퍼큐브 $[-\epsilon, \epsilon]^n$ 이며, 여기서 $n$ 은 픽셀의 수(예: CIFAR-10의 경우 3,072, ImageNet의 경우 150,528)에 해당한다.

방법론
BBAA를 글로벌 최적화 문제로서 검증하기 위해, 저자들은 먼저 이 문제의 다봉성(multimodality)을 입증하였다. 이를 위해 이진 탐색 정교화가 포함된 확률적 성장 공격(Stochastic Growth Attack with Binary Search Refinement, SGA-BSR)이라는 국소 탐색(local search) 방법을 사용하였으며, 이미지당 서로 다른 랜덤 시드를 사용하여 100회의 독립적인 실행을 수행하였다. 결과는 독립적인 실행들이 서로 다른 목적 함수 값을 가진 다양한 섭동 벡터로 수렴함을 보여주었으며, 이는 수많은 지역 최적점(local optima)의 존재와 글로벌 탐색 전략의 필요성을 확인시켜 준다.

핵심 실험 단계에서는 두 가지 데이터셋인 CIFAR-110과 ImageNet을 사용하여 BBAA 작업에 대해 여러 메타휴리스틱 글로벌 최적화 알고리즘을 테스트하였다. 사용된 모델은 ImageNet에는 표준 사전 학습된 ResNet-18을, CIFAR-10에는 커스-텀 VGG 유사 구조를 사용하였다. 테스트된 최적화 알고리즘은 다음과 같다:

고전적 진화 알고리즘 (GEN)
차분 진화 변형들: DE, JADE, SADE, SHADE
그레이 울프 옵티마이저 (GWO)
INFO (벡터의 가중 평균 기반 효율적 옵티마이저)

실험은 다음과 같은 다양한 하이퍼파라미터 조건하에 수행되었다:

$\epsilon$ (최대 섭동): 0.01, 0.1, 0.2
$\alpha$ (정규화 가중치): 0.0, 0.1, 1.0, 10.0, 100.0
예산(Budget): 개체군 크기 500 및 실행당 500회 반복

주요 결과
실험을 통해 다음과 같은 관찰 결과가 도출되었다:

다봉성: SGA-BSR 국소 탐색은 실행 전반에 걸쳐 다양한 솔루션을 생성하였으며, 이를 통해 BBAA 지형이 매우 다봉적임을 확인하였다.
하이퍼파라미터의 영향:
- 섭동 한계 $\epsilon$ 이 가장 결정적인 요소였다. $\epsilon=0.01$ 일 때 대부분의 옵티마이저는 두 데이터셋 모두에서 성공하지 못했다. 성공률은 $\epsilon=0.1$ 및 $\epsilon=0.2$ 에서 유의미하게 증가했다.
- 정규화 가중치 $\alpha$ 는 비단조적(non-monotonic)인 효과를 보였다. 중간 정도의 값( $\alpha=0.1$ )이 결정 경계 통과와 섭동 최소화 사이의 균형을 맞춤으로써 일반적으로 성능을 향상시켰다.
알고리즘 성능:
- GEN (유전 알고리즘) 및 SHADE는 낮은 섭동 강도( $L_2$ 노름)를 유지하면서도 일관되게 높은 성공률을 달est하였다.
- GWO는 정규화가 없을 때 성능이 저조했으나(낮은 $\epsilon$ 에서 성공률 거의 0), $\alpha=0.1$ 과 함께 사용 시 크게 개선되어 다른 개체군 기반 방법들과 대등한 수준에 도달했다.
- INFO는 탐욕적 국소 탐색(greedy local search)처럼 동작하여 낮은 성공률에서 정체되었으나, 쿼리 효율성(query efficiency)을 보여주었다.
- DE와 GWO는 허용 영역의 모서리(corners)로 치우치는 경향을 보였는데, 이는 SADE, JADE 또는 SHADE에서 발견되는 자기 적응(self-adaptation) 메커비즘의 부재 때문으로 보인다.
데이터셋 비교: 공격은 동일한 $(\epsilon, \alpha)$ 설정에서 CIFAR-10보다 ImageNet에서 일관되게 더 쉬웠다. 저자들은 이를 ImageNet의 더 높은 입력 차원과 더 큰 라벨 집합 때문으로 보며, 이는 통계적으로 가장 가까운 경쟁 클래스로의 마진(margin)을 줄인다.

의의 및 기여
본 논문은 글로벌 최적화 연구를 현대 머신러닝의 과제와 일치시키기 위한 발걸음을 뗐다고 주장한다. 주요 기여는 다음과 같다:

벤치마크 제안: 전통적인 합성 함수를 넘어 고차원 글로벌 최적화 벤치마크로서 BBAA를 확립하였다.
경험적 검증: BAA가 국소 탐색 실험을 통해 검증된 바와 같이, 글로벌 탐색 능력을 요구하는 다봉적 문제임을 입증하였다.
성능 베이스라인: 광범위한 파라미터 튜닝 없이 BAA 작업에 대한 여러 메타휴리스틱(고전적 EA, DE 변형, GWO, INFO 포함)의 비교 효율성 분석을 제공하였다.
개방형 프레임워크: 커뮤니티가 새로운 최적화 방법론을 이러한 적대적 과제에 대해 테스트할 수 있도록 프레임워크를 공개하였다.

저자들은 현재의 방법들이 유망한 모습을 보이고 있으나, 향-후 연구는 이러한 방법들을 더 높은 효율성을 위해 튜닝하고, 옵티마이저의 포트폴리오를 확장하며, 인간이 인지하는 왜곡을 더 잘 반영하는 지각 손실(perceptual loss) 항을 포함하도록 목적 함수를 재구성하는 방향으로 나아가야 한다고 결론지었다.

유사한 논문