🤖 machine learning

Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks

이 논문은 로짓을 무작위로 스케일링하여 모델의 정확도는 유지하면서 공격자를 혼란시켜 블랙박스 점수 기반 적대적 공격을 효과적으로 방어하는 플러그 앤 플레이 후처리 방어 기법인 Random Logit Scaling(RLS)을 소개하며, 동시에 최첨단 AAA 방어 기법이 적응형 공격에 취약함을 드러낸다.

원저자: Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계를 컴퓨터가 사물을 인식하는 법(예를 들어 사진 속 고양이를 찾아내거나 노래를 식별하는 법)을 배우는 거대하고 똑똑한 도서관이라고 상상해 보세요. 오랫동안 이 컴퓨터들은 마치 교과서(내부 코드)를 보여주어야만 질문에 답하는 수줍은 학생들과 같았습니다. 하지만 현실 세계에서 우리는 종 often 그들이 어떻게 생각하는지 보지 못한 채 질문을 던지고 답을 얻곤 합니다. 이것을 "블랙박스"라고 부릅니다.

문제는 심술궂은 해커가 컴퓨터를 속이려고 시도할 때 시작됩니다. 그들은 도서관에 침입할 필요가 없습니다. 그저 사진에 아주 미세하고 거의 보이지 않는 변화를 가미하기만 하면 됩니다. 예를 들어 판다 사진에 먼지 몇 알을 추가하는 식이죠. 우리 눈에는 여전히 판다로 보이지만, 컴퓨터는 갑자기 "이것은 토스터기입니다!"라고 비명을 지릅니다. 이것을 "적대적 공격(adversarial attack)"이라고 합니다. 이는 매우 큰 문제입니다. 만약 우리가 이 똑똑한 시스템들이 세상을 올바르게 보도록 신뢰할 수 없다면, 자율주행 자동차나 의료 진단 같은 중요한 업무에 이들을 사용할 수 없기 때문입니다. 해커들은 컴퓨터의 뇌를 직접 볼 수 없는 상황에서도, 질문을 반복해서 던지고 컴퓨터가 마음을 바꾸는 방식을 관찰함으로써 이 일을 해내는 영리한 방법들을 찾아냈습니다.

이제 이 이야기의 주인공이 등장합니다. 바로 자신들만의 기술로 맞서기로 결심한 연구팀입니다. 그들은 이 새로운 방어책을 "무작위 로짓 스케일링(Random Logit Scaling, RLS)"이라고 부릅니다. 컴퓨터의 뇌를 국물 맛을 보고 그것이 "매우 짠지" 혹은 "약간 짠지" 결정하는 요리사라고 생각해 보세요. 보통 요리사는 "10점 만점에 8점"처럼 정밀한 숫자를 제시합니다. 하지만 해커는 그 숫자를 이용해 국물의 맛을 다른 것으로 바꾸기 위해 레시피를 정확히 어떻게 수정해야 할지 알아냅니다.

연구진의 아이디어는 단순하지만 천재적입니다. 만약 요리사가 거짓말을 한다면 어떨까요? 해커가 "이 국물은 얼마나 짠가요?"라고 물을 때마다, 요리사는 답변에 비밀스러운 숫자를 곱하기로 무작위로 결정합니다. 어떤 때는 "10점 만점에 16점"(매우 짜 보이게 함)이라고 말하고, 또 어떤 때는 "10점 만점에 0.8점"(거의 짜지 않게 보임)이라고 말합니다. 요리사는 여전히 국물이 짜다는 것을 알고 있으므로 올바른 요리를 내놓지만(정답), 밖으로 외치는 숫자는 완전히 뒤섞여 버립니다.

여기서 마법이 일어납니다. 컴퓨터를 속이기 위해 수학 퍼즐을 풀고 있는 해커는, 자신이 얻는 단서들이 사방팔방으로 널려 있다는 사실을 깨닫게 됩니다. 한순가에는 숫자가 올라갔다가, 다음 순간에는 내려가며, 그 패턴이 너무 혼란스러워서 해커는 완전히 당황하게 됩니다. 마치 볼 때마다 X의 위치가 계속 바뀌는 지도를 가지고 숨겨진 보물을 찾으려는 것과 같습니다. 연구진은 이 기술을 세계에서 가장 똑똑하고 공격적인 해커들을 대상으로 테스트했습니다. 그 결과, 이 간단한 기술이 컴퓨터의 실제 작업 성능이나 정확도를 떨어뜨리지 않으면서도, 해커들의 성공률을 극적으로—때로는 최대 80%까지—낮춘다는 것을 발견했습니다.

하지만 이 논문은 모든 방어책이 완벽하지는 않다고 경고합니다. 연구진은 숫자를 특정하고 예측 가능한 방식으로 재구성하여 해커를 혼란스럽게 만드는 또 다른 인기 있는 방어책인 "AAA"를 살펴보았습니다. 연구진은 만약 해커가 이 기술에 대해 알게 된다면, 새로운 자물쇠의 특정 패턴을 학습하는 자물쇠 따개처럼 적응하여 뚫고 들어올 수 있음을 보여주었습니다. 그러나 무작위 로짓 스케일링 방어책은 다릅니다. 왜냐하면 순수한 무작위성을 사용하기 때문에 훨씬 더 예측하기 어렵고 깨뜨리기 힘들기 때문입니다.

요약하자면, 이 논문은 컴퓨터의 확신 점수에 무작위 노이즈를 추가함으로써 공격자들에게 "전장의 안개"를 만들어 줄 수 있다고 제안합니다. 컴퓨터는 예리하고 정확함을 유지하지만, 해커는 어둠 속에서 비틀거리며 컴퓨터를 속일 경로를 찾지 못하게 됩니다. 이것은 컴퓨터 전체를 다시 만들 필요 없이, 컴퓨터가 답을 말하는 방식에 간단한 수정을 가하는 가볍고 사용하기 쉬운 방패입니다. 비록 이것이 컴퓨터가 외치는 숫자를 변화시키긴 하지만(이는 매우 특정한 작업에서는 중요할 수 있습니다), 최종 결정은 올바르게 유지하면서 해커가 문제를 일으내는 것을 매우 어렵게 만듭니다.

기술 요약: 랜덤 로짓 스케일링 (Random Logit Scaling, RLS)

문제 정의

심층 신경망(DNN)은 이미지 분류, 얼굴 인식, 악성코드 탐지와 같은 중요한 영역에 점점 더 많이 배치되고 있습니다. 그러나 이러한 모델들은 입력값에 인지할 수 없는 수준의 노이즈를 가해 오분류를 유도하는 적대적 예제 공격(adversarial example attacks)에 여전히 취약합니다. 초기 연구는 화이트박스 시나리오에 집중했으나, 최근에는 강력한 **블랙박스 점수 기반 공격(black-box score-based attacks)**이 등장했습니다. 이러한 시나리오에서 공격자는 모델 파라미터에 접근할 수 없지만, 모델에 쿼리를 보내 신뢰도 점수(확률 벡터)를 얻을 수 있습니다. Square 공격과 같은 주목할 만한 공격은 불과 수십 번의 쿼리만으로도 성공적인 적대적 예제를 생성할 수 있어, 머신러닝 모델의 신뢰할 수 있는 배포에 큰 위협이 됩니다.

기존의 방어 기법들은 중대한 트레이드오프에 직면해 있습니다. **적대적 훈련(Adversarial Training, AT)**은 강건성을 향상시키지만, 종종 정상 샘플에 대한 정확도를 저하시키고 높은 계산 비용을 초래합니다. **앙상블 방법(Ensemble methods)**은 강건성을 높이지만 저장 및 배포 오버헤드를 증가시킵니다. 무작위화 기반 방어(예: 입력 또는 로짓에 노이즈 추가)는 더 가벼운 대안을 제공하지만, 모델 정확도를 감소시키고 신뢰도 점수의 상당한 왜곡을 초래할 수 있으며, 이는 신뢰할 수 있는 확률에 의존하는 애플리케이션에 해로울 수 있습니다. 또한, **공격자에 대한 적대적 공격(Adversarial Attack on Attacker, AAA)**과 같은 결정론적 방어는 적응형 공격(adaptive attacks)에 취약한 것으로 밝혀졌습니다.

방법론

1. 랜덤 로짓 스케일링 (RLS)

본 연구의 주요 기여는 블랙박스 점수 기반 공격을 위해 특별히 설계된 플러그 앤 플레이(plug-and-play) 방식의 후처리 방어 기법인 **랜덤 로짓 스케일링 (RLS)**입니다.

메커니즘: RLS는 연속 균등 분포 $U(a, b)$ (단, $a, b > 0$ )에서 샘플링된 무작위 계수 $m$ 에 의해 모델의 출력 로짓( $z$ )을 스케일링함으로써 작동합니다. 스케일링된 로짓은 $z' = m \times z$ 로 정의됩니다.
핵심 직관: 이 방어 기법은 클래스의 **순위(ranking)**를 보존하면서 허위 신뢰도 점수를 출력하여 공격자를 혼란시키는 것을 목표로 합니다. 스케일링 인자 $m$ 이 양수이므로 로짓의 상대적 순서는 변하지 않으며, 따라서 예측된 레이블(Top-1 클래스)은 동일하게 유지됩니다. 그러나 로짓의 절대값과 클래스 간의 간격은 쿼리마다 무작위로 변동합니다.
공격에 미치는 영향:
- 그래디언트 추정 (Gradient Estimation): NES, ZOO와 같은 제로 차수 최적화(zeroth-order optimization)에 의존하는 공격은 점수 차이를 기반으로 그래디언트를 추정하려고 시도합니다. RLS는 이러한 점수 차이에 노이즈를 도입하여 허위 그래디언트 추정을 유도합니다.
- 랜덤 탐색 (Random Search): Square 공격과 같은 탐색 기반 공격은 손실을 줄이는 방향을 찾기 위해 탐색을 수행합니다. RLS는 목적 함수 값을 예측 불가능하게 변동시켜(예: 작은 $m$ 을 가진 쿼리가 기만적으로 낮은 점수를 출력함), 공격자가 최적이 아닌 방향을 선택하거나 유효한 방향을 건너뛰도록 유도합니다.
배포: RLS는 기존 모델의 재학습을 요구하지 않습니다. 이는 어떤 기존 머신러닝 모델 위에도 구현할 수 있는 가볍고 노력이 거의 들지 않는 추가 기능입니다.

2. 펜듈럼 공격 (The Pendulum Attack)

기존 비무작위화 방어의 취약성을 입증하기 위해, 저자들은 AAA-sine(손실 함수를 사인 곡선 형태로 재구성하는 최첨단 방어 기법)을 겨냥한 새로운 적응형 공격인 펜듈럼 공격을 소개합니다.

메커ק즘: 표준 공격들은 사인 형태의 손실 함수가 만들어낸 국소 최솟값(local minima)에 갇히게 됩니다. 펜듈름 공격은 방향을 반복적으로 전환함으로써 이를 극복합니다. 만약 공격자가 $k$ 번의 연속된 반복 동안 손실을 줄이는 데 실패하면, 반대 방향으로 전환(손실을 증가시킴)합니다. 만약 다시 $k$ 번의 반복 동안 손실을 높이는 데 실패하면, 원래 방향으로 되돌아옵니다. 이러한 진동(oscillation)을 통해 공격자는 방어 기법이 생성한 국소 최솟값과 최댓값을 탈출할 수 있습니다.
결과: 이 적응형 전략은 AAA-sine을 성공적으로 우회하며, 표준 공격에 비해 공격 성공률을 35% 이상 높였습니다.

주요 기여

RLS 제안: 최첨단 블랙박스 점수 기반 공격의 성공률을 크게 낮추면서 모델 정확도를 보존하는 가볍고 노력이 거의 들지 않는 방어 기법을 제안했습니다.
로짓 스케일링 분석: 로짓 스케일링이 예측 클래스를 변경하지 않으면서 어떻게 그래디언트 기반 및 탐색 기반 공격자가 사용하는 목적 함수를 손상시키는지에 대한 이론적, 경험적 분석을 제공합니다.
적응형 공격 (Pendulum): 펜듈럼 공격의 도입은 AAA와 같은 결정론적 방어가 적응형 전략에 취약함을 보여주며, RLS와 같은 무작위화된 방어의 이점을 강조합니다.
포괄적 평가: $\ell_\infty, \ell_2, \ell_0$ 노름 공간 전반에서 6가지 SOTA 공격(NES, Bandit, Square, SignHunter, ZO-signSGD, BruSLe)을 사용하여 CIFAR-10 및 ImageNet 데이터셋에 대해 광범위한 실험을 수행했습니다.

실험 결과

저자들은 네 가지 베이스라인(iRND, RFD, oRND, AAA)에 대해 RLS를 평가했습니다.

강건성: RLS는 공격에 저항하는 데 있어 베이스라인보다 성능이 월등히 뛰어납니다. 예를 들어, ResNet-18을 사용한 CIFAR-10 데이터셋에서 RLS는 Square 공격의 성공률을 (방어 없음) 100%에서 (범위 0.5–10 적용 시) **59.85%**로 낮추었으며, (범위 0.5–1000 적용 시) **43.05%**까지 더 낮추었습니다. Bandit 공격에 대해서도 RLS는 성공률을 **1.56%**까지 낮추었습니다.
정확도 보존: 0.32%에서 3.95% 사이의 정확도 하락을 일으키는 iRND, RFD, oRND와 달리, RLS는 클래스 순위를 보존하기 때문에 테스트된 모든 모델과 구성에서 0%의 정확도 저하를 유지합니다.
신뢰도 점수 왜곡: RLS가 신뢰도 점수를 왜곡하기는 하지만, iRND 및 RFD보다 일반적으로 적은 왜곡(확률 벡터 차이의 L2 노름으로 측정)을 발생시킵니다. 그러나 논문에서는 RLS가 RFD 및 AAA보다 ECE(Expected Calibration Error)를 더 많이 높이지만, iRND보다는 적게 높인다고 언급했습니다.
쿼리 효율성: RLS는 공격자가 성공하기 위해 훨씬 더 많은 쿼리를 사용하도록 강제합니다. 예를 들어, ResNet-18에 대한 Square 공격의 경우, 성공적인 공격에 필요한 평균 쿼리 수는 약 115회(방어 없음)에서 약 735회(RLS 0.5–10)로 증가했습니다.

의의 및 주장

본 논문은 RLS가 **강건성-성능 트레이드오프(robustness-performance trade-off)**에 대한 독특한 해결책을 제공한다고 주장합니다. 방어를 훈련 과정으로부터 분리하고 클래스 순위를 보존하는 무작위성을 활용함으로써, RLS는 다음과 같은 비용 없이 테스트 타임 방어를 배포할 수 있게 합니다:

정상 샘플에 대한 모델 정확도 희생.
적대적 훈련이나 앙상블 방법의 계산 오버헤드 발생.
복잡한 아키텍처 변경 필요성.

저자들은 RLS가 Top-1 예측 정확도를 유지하는 것이 매우 중요한 애플리케이션에 특히 적합하다고 위치시킵니다. 또한 한계점도 인정합니다. RLS가 강건성을 향상시키지만, 신뢰도 점수의 왜곡은 정밀한 확률 추정에 크게 의존하는 애플리케이션(예: 의료 진단 또는 분포 외 탐지)을 위해 추가적인 교정(calibration) 기술이 필요할 수 있습니다. 본 연구는 RLS와 같은 무작위화된 방어가 AAA와 같은 결정론적 방법보다 적응형 공격자에게 더 회복력 있는 장벽을 제공한다는 결론을 내립니다.