🤖 machine learning

Stabilizing Multi-Attack Adversarial Training via Bandit Optimization

본 논문은 탐색과 활용의 균형을 맞추기 위해 반복마다 단일 공격을 동적으로 선택함으로써 계산 비용을 줄이는 동시에 과도한 파라미터 드리프트를 방지하고 전반적인 강건성을 향상시키는 다중 공격 적대적 학습을 효율적으로 안정화하는 다중 팔 버킷 기반 프레임워크인 교정된 적대적 샘플링(Calibrated Adversarial Sampling, CAS)을 제안한다.

원저자: Rui Wang, Zeming Wei, Xiyue Zhang, Meng Sun

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rui Wang, Zeming Wei, Xiyue Zhang, Meng Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 고양이와 개를 구별하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 매우 똑똑해지기를 원하지만, 한 가지 함정이 있습니다. 바로 교활한 속임수꾼들이 로봇을 속이려 한다는 것입니다. 이들은 고양이 사진에 아주 미세하고 보이지 않는 흠집을 더해 로봇이 그것을 개라고 생각하게 만들 수도 있고, 조명을 바꾸거나, 이미지를 흐리게 만들거나, 심지어 사진을 이상한 만화경 패턴으로 바꿀 수도 있습니다. 인공지능의 세계에서 이러한 속임수를 '적대적 공격(adversarial attacks)'이라고 부릅니다. 이 속임수를 막기 위해 과학자들은 '적대적 훈련(Adversarial Training)'이라는 방법을 사용합니다. 즉, 로봇이 그 속임수들을 무시할 수 있도록 배우도록 일부러 이런 까다로운 사진들을 보여주는 것입니다.

문제는 세상에는 너무나 다양한 종류의 속임수가 존재한다는 점입니다. 어떤 것은 미세한 픽셀 흠집이고, 어떤 것은 안개나 비 같은 큰 날씨 효과입니다. 만약 당신이 로봇에게 이 모든 것을 한꺼번에 다룰 수 있도록 가르치려 한다면, 로봇은 혼란에 빠질 것입니다. 반대로 하나씩 가르치려고 하면, 이전에 배웠던 것들을 잊어버릴 수도 있습니다. 이는 마치 불, 물, 모래를 동시에 저글링하는 법을 배우는 것과 같습니다. 불을 다루는 데 너무 집중하다 보면 물을 떨어뜨리게 될 수도 있기 때문입니다. 이 논문은 우리가 AI가 모든 종류의 속임수에 강해져야 하면서도, 컴퓨터를 과부하 시키거나 로봇이 배운 것을 잊게 만들지 않아야 하는 그 복잡하고 혼란스러운 중간 지점을 다룹니다.

이 연구의 저자인 Rui Wang, Zeming Wei, Xiyue Zhang, 그리고 Meng Sun은 기존의 방식들이 너무 느리거나 불안정하다는 것을 깨달았습니다. 어떤 방법들은 모든 공격 유형을 정확히 동시에 상대하려고 했는데, 이는 마치 요리사에게 하나의 화구로 스무 가지의 복잡한 요리를 동시에 하라고 요구하는 것과 같아서 시간이 너무 오래 걸리고 음식도 타버리게 만들었습니다. 다른 방법들은 무작위로 공격 하나를 골라 연습하게 했는데, 이는 더 빠르긴 했지만 로봇이 한 종류의 속임수에 '취하게' 만들어 다른 것들을 잊게 하고, 나쁜 습관 사이를 격렬하게 오가게 만들었습니다.

이를 해결하기 위해 팀은 **교정된 적대적 샘플링(Calibrated Adversarial Sampling, CAS)**이라는 영리한 새로운 전략을 발명했습니다. 그들은 훈련 과정을 슬롯머신(수학자들은 '멀티 암드 밴딧(multi-armed bandits)'이라고 부릅니다) 게임처럼 다루기로 했습니다. 슬롯머신이 여러 대 놓여 있다고 상상해 보세요. 각 머신은 서로 다른 유형의 공격(하나는 안개, 하나는 픽셀 흠집, 하나는 흐림 효과 등)을 나타냅니다. 당신은 어떤 머신이 지금 가장 좋은 '보상'(즉, 로봇을 더 똑똑하게 만드는 것)을 줄지 알지 못합니다.

모든 레버를 한꺼번에 당기는 대신(너무 느림), 혹은 그냥 무작위로 하나만 당기는 대신(너무 혼란스러움), CAS는 영리한 도박꾼처럼 행동합니다. 이 도박꾼은 각 머신에 대한 점수판을 기록합니다. 만약 어떤 머신(공격 유형)이 최근에 로봇을 발전시키는 데 도움이 되었다면, 도박꾼은 그 레버를 더 자주 당깁니다. 하지만 여기서 마법 같은 일이 일어납니다. 도박꾼은 한동안 방문하지 않은 머신들도 계속 지켜봅니다. 만약 로봇이 안개를 다루는 데 너무 능숙해져서 눈(snow)을 다루는 법을 잊어버리기 시작하면, 시스템은 이를 감지하고 "이봐, 균형을 맞추기 위해 눈 레버를 몇 번 더 당겨보자"라고 말합니다.

이 논문은 이 '영리한 도박꾼' 접근 방식이 놀라울 정도로 잘 작동한다는 것을 보여줍니다. 다양한 공격 유형에 쏟는 시간을 세심하게 조절함으로써, 로봇은 모든 것을 한꺼번에 계산할 필요 없이 매우 다양한 공격에 대해 강력해지는 법을 배웁니다. 실험에서 연구진은 CIFAR-10 및 CIFAR-100과 같은 표준 데이터셋을 사용하여, 표준 픽셀 공격과 "Wood(나무)", "Elastic(탄성)", "Prison(감옥)"(네, 이것들은 실제 이미지 왜곡의 이름입니다)과 같은 기묘한 의미론적 공격을 포함한 21가지의 서로 다른 공격을 테스트했습니다.

결과는 유망했습니다. 새로운 방식인 CAS는 느리고 무거운 방식만큼이나 공격에 강한 로봇을 만들어냈지만, 훨씬 더 빠르게 해냈습니다. 또한, AI를 너무 강하게 만들 때 흔히 발생하는 문제인 '깨끗한 정확도(clean accuracy, 일반적인 사진을 얼마나 잘 인식하는지)'를 높게 유지했습니다. 연구진은 다음에 어떤 공격을 연습할지 결정하기 위해 특정 수학적 공식을 사용함으로써, 로봇이 '학습자'로서의 본질에서 너무 멀어지는 것을 방지할 수 있음을 발견했습니다. 그들은 또한 이 방법이 안정적이며, 너무 과하게 몰아붙이지 않는 한 로봇이 이상해지지 않을 것이라는 점을 수학적으로 증명했습니다.

요약하자면, 이 논문은 우리가 초강력 보안 AI를 만들기 위해 무식하게 힘(brute-force)으로 밀어붙일 필요는 없다는 것을 시사합니다. 대신, 탐색(새로운 것을 시도함)과 활용(효과적인 것에 집중함) 사이의 균형을 맞추는 스마트하고 적응적인 전략을 사용함으로써, 우리는 엄청난 성능의 슈퍼컴퓨터 없이도 거의 모든 것에 대응할 수 있는 강력한 모델을 훈련할 수 있습니다. 이는 마치 무술가를 훈련시키는 것과 같습니다. 매일 똑같은 샌드백만 치는 것이 아니라, 몸의 균형을 유지하면서 어떤 갑작스러운 상황에도 대비할 수 있도록 스파링, 스텝, 방어 훈련을 적절히 섞어서 하는 것과 같습니다.

기술 요약: 밴딧 최적화를 통한 다중 공격 적대적 훈련의 안정화

1. 문제 정의

심층 신경망(DNN)은 미세한 $\ell_p$ -노름 공격부터 의미론적 왜곡(예: JPEG 압축, 날씨 효과)에 이르기까지 다양한 적대적 섭동에 여전히 취약합니다. 적대적 훈련(AT)이 주요 방어 기제이지만, 기존 방식들은 여러 유형의 공격을 동시에 다룰 때 근본적인 **효율성-안정성 딜레마(efficiency-stability dilemma)**에 직면합니다:

높은 계산 오버헤드: 모든 반복 단계마다 모든 공격 유형에 대한 그래디언트를 계산하는 방식(예: AVG 또는 PCGrad와 같은 멀티태스크 최적화)은 공격 유형의 수에 따라 비용이 선형적으로 증가하여 과도한 비용을 초래합니다.
과도한 파라미터 드리프트(Parameter Drift): 확률적 샘플링 방식(예: 매 반복마다 하나의 무작위 공격 선택)은 계산 효율성은 높지만 종종 불안정한 훈련을 유발합니다. 이는 모델이 특정 샘플링된 공격에 최적화되어 다른 공격에 대한 강건성을 "망각"하거나, 상충하는 최적화 목표 간의 균형을 맞추지 못하는 과도한 파라미터 드리프트를 일으킬 수 있습니다.

본 논문은 서로 다른 공격 유형들이 흔히 **상호 배타적 섭동(Mutually Exclusive Perturbations, MEPs)**을 나타내며, 한 공격 유형에 대한 강건성을 개선하는 것이 다른 공격 유형에 대한 성능을 저하시킬 수 있음을 식별했습니다. 또한, 순차적 미세 조정(sequential fine-tuning)은 누적된 파라미터 드리프트가 모델을 이전에 훈련된 공격에 강건했던 영역 밖으로 밀어내기 때문에 실패합니다.

2. 방법론: 교정된 적대적 샘플링 (Calibrated Adversarial Sampling, CAS)

저자들은 **교정된 적대적 샘플링(CAS)**을 제안하며, 이는 다중 공격 AT를 멀티 암드 밴딧(Multi-Armed Bandit, MAB) 최적화 문제로 재정의합니다. 이 공식에서 각 공격 유형은 하나의 "암(arm)"이며, 목표는 탐색(exploration)과 이용(exploitation)의 균형을 맞추면서 전체적인 강건성을 극대화하기 위해 반복당 최적의 공격을 선택하는 것입니다.

핵심 구성 요소:

동적 보상 설계: 정적인 보상을 사용하는 표준 밴딧과 달리, CAS는 각 반복에서 공격 $v$ 를 선택하는 것에 대한 복합 보상 $R_v$ 를 정의하며, 이는 다음 두 가지로 구성됩니다:
1. 한계 강건성 이득 ( $R^{self}_v$ ): 슬라이딩 윈도우 상의 로그 변환 손실 궤적의 기울기를 분석하여 공격 $v$ 에 대한 즉각적인 강건성 개선 정도를 추정합니다. 이를 통해 서로 다른 공격 규모 간의 손실 크기를 정규화합니다.
2. 교차 유형 트레이드오프 ( $R^{tradeoff}_v$ ): 공격 $v$ 에 대한 훈련이 다른 공격 유형들에 미치는 영향을 정량화합니다. 이는 다른 공격들의 손실 변화를 현재의 선택에 귀속시켜, 긍정적인 전이는 보상하고 성능 저하는 페널티를 부여함으로써 공격 간의 간섭을 명시적으로 모델링합니다.
탐색과 이용의 균형: CAS는 다음 공격을 선택하기 위해 상한 신뢰 구간(Upper Confidence Bound, UCB) 전략을 채택합니다. 선택 점수는 보상의 지수(이용)와 샘플링된 횟수에 반비로 하는 항(탐색)을 결합합니다. 이는 샘-플링된 공격이 보상 추정을 업데이트하기 위해 주기적으로 선택되도록 보장하여, 파멸적 망각을 방지하고 균형 잡힌 강건성을 유지합니다.
하이브리드 손실 함수: 훈련 목적 함수는 깨끗한 데이터의 정확도를 보존하기 위해 선택된 공격의 적대적 손실과 깨끗한 데이터 손실을 결합한 TRADES 스타일의 손실을 사용합니다.
이론적 토대: 본 논문은 **안전한 파라미터 드리프트 임계값(safe parameter-drift threshold)**을 도출하는 이론적 분석을 제공합니다. 저자들은 파라미터 변위가 그래디언트 정렬 및 헤시안 곡률(Hessian curvature)에 의해 결정되는 경계를 초과할 때 성능 저하가 발생함을 증명합니다. CAS는 동적으로 샘플링 분포를 조정함으로써 업데이트를 이 안전 영역 내에 머물도록 설계되었습니다. 또한, 저자들은 표준 가정(강볼록성 및 유계 분산) 하에서 CAS의 수렴성을 입증하며 $O(1/t)$ 수렴 속도를 보여줍니다.

3. 주요 기여

방법론적 혁신: CAS는 밴딧 최적화를 활용하고 교차 공격 상호작용을 명시적으로 정량화하여 훈련을 안정화하는 최초의 다중 공격 AT 프레임워크로 제시됩니다.
이론적 분석: 본 연구는 순차적 미세 조정 중 강건성 저하를 방지하기 위한 안전 임계값을 도출하고, 제안된 무작위 훈련 방법의 수렴성을 증명합니다.
실증적 검증: CIFAR-10, CIFAR-100, SVHN에 대한 광범위한 실험을 통해 CAS가 높은 깨끗한 정확도를 유지하면서 21가지의 뚜렷한 공격 유형( $\ell_p$ 및 의미론적 공격 포함)에 대해 우수한 전체 강건성을 달 achieves 함을 입증했습니다.

4. 실험 결과

저자들은 무작위 샘플링(SAT), 적응형 샘플링(E-AT), 고정 순서 순차 미세 조정, 그리고 멀티태스크 최적화(AVG, PCGrad)를 포함한 베이스라인들과 CAS를 비교 평가했습니다.

성능: CAS는 모든 데이터셋에서 가장 높거나 높은 수준의 깨끗한 정확도와 평균 강건 정확도를 일관되게 달성했습니다. 특히 자율 주행 시나리오를 시뮬레이션하는 SVHN 데이터셋에서 CAS는 모든 베이스라인을 능가하는 평균 강건성을 보였습니다.
효율성: 멀티태스크 방법(AVG, PCGrad)은 경쟁력 있는 정확도를 제공했지만, 반복당 모든 그래디언트를 계산해야 하기 때문에 CAS보다 현저히 느렸습니다(CAS보다 약 20배 느림). CAS는 단일 공격 샘플링 방식(SAT, E-AT)과 유사한 시간 비용을 유지하면서도 더 우수한 안정성을 제공했습니다.
절제 연구(Ablation Studies):
- 에포크(Epochs): 초기 훈련의 불안정성과 후기 단계의 수확 체감 사이의 균형을 맞추기 위해 10 에포크가 최적임이 밝혀졌습니다.
- 하이퍼파라미터 $\alpha$ : 탐색과 이용의 균형을 조절하는 $\alpha$ 값은 10에서 20 사이일 때 최적의 트레이드오프를 제공했습니다.
- 섭동 범위(Perturbation Scope): 미세 조정 중 공격 유형의 범위를 확장하는 것은 특정 공격 유형에 대한 미미한 부정적 영향만 주면서 일반적으로 평균 강건성을 향상시켰습니다.

5. 의의 및 주장

본 논문은 CAS가 다중 공격 환경에서 강건한 일반화를 위한 확장 가능하고 원칙적인 접근 방식을 제공한다고 주장합니다. 문제를 밴딧 최적화 작업으로 재구성함으로써, CAS는 기존 방법들을 괴롭히는 "효율성-안정성" 트레이드오프를 효과적으로 완화합니다.

저자들은 이 접근 방식이 단순히 그래디언트를 평균 내는 것이 아니라, 상충하는 강건성 목표 간의 동적 트레이드오프를 능동적으로 관리한다는 점을 강조합니다. 이를 통해 전체 멀티태스크 최적화의 과도한 계산 비용 없이, 자율 주행이나 멀티미디어 처리에서 발견되는 것과 같은 다양한 실제 적대적 조건에 대응할 수 있도록 사전 훈련된 모델을 효율적으로 미세 조정할 수 있습니다. 이 연구는 모델이 노름 제약 섭동과 의미론적 섭동 모두에 대해 동시에 회복력을 유지해야 하는 일반화된 강건성을 달성하기 위한 새로운 패러다임을 구축합니다.