🤖 machine learning

Fast Adversarial Attacks with Gradient Prediction

본 논문은 경량 선형 회귀를 사용하여 순전파 은닉 상태에서 입력 기울기를 예측함으로써 계산적으로 비용이 큰 역전파를 제거하는 일련의 빠른 적대적 공격을 소개하며, FGSM 과 비교 가능한 성능을 유지하면서 처리량을 532% 증가시킵니다.

원저자: Kamil Ciosek, Aleksandr V. Petrov, Nicolò Felicioni, Konstantina Palla

게시일 2026-05-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kamil Ciosek, Aleksandr V. Petrov, Nicolò Felicioni, Konstantina Palla

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 로봇을 속여 실수를 하게 만든다고 상상해 보세요. 인공지능 세계에서는 이러한 속임수를 '적대적 예제 (adversarial examples)'라고 부릅니다. 보통 완벽한 속임수를 찾기 위해서는 로봇에게 "이 답을 어떻게 도출했나요?"라고 물어본 뒤, 로봇의 전체 두뇌를 거꾸로 추적하여 정확히 어떤 미세한 변화가 결정 뒤집기를 일으키는지 확인해야 합니다.

문제는 무엇일까요? 바로 그 '거꾸로 추적'하는 단계가 엄청나게 느리고 비용이 많이 든다는 점입니다. 마치 거대한 퍼즐을 풀기 위해 전체 그림을 해체한 뒤, 모든 조각을 하나하나 살펴보고 다시 조립하여 단 한 조각이라도 다르게 맞는지 확인하려는 것과 같습니다. 수백만 개의 퍼즐을 테스트하고 싶다면, 이 거꾸로 추적하는 과정이 병목 현상이 되어 충분한 예제를 테스트하지 못하게 막습니다.

이 논문의 핵심 아이디어: '수정구 (Crystal Ball)' 기울기

스팟ify 의 이 논문 저자들은 "거꾸로 추적하는 단계를 아예 하지 않는다면 어떨까요?"라고 묻습니다.

거꾸로 추적하는 대신, 그들은 로봇이 앞으로 생각할 때 현재 상태를 보며 "이 답을 어떻게 도출했나요?"에 대한 답을 예측하는 **수정구 (간단한 수학적 예측기)**를 구축했습니다.

유추해 보면 다음과 같습니다:

구식 방법 (FGSM): 로봇에게 질문을 던집니다. 로봇이 생각한 뒤, 강제로 멈추게 하고 두뇌를 되감아 질문을 어떻게 바꿔야 다른 답을 얻을 수 있는지 정확히 계산합니다. 이는 시간이 매우 오래 걸립니다.
신규 방법 (기울기 예측): 로봇에게 질문을 던집니다. 로봇이 생각하는 동안, 내부 사고의 특정 '스냅샷 (잠재 상태)'을 엿봅니다. 그런 다음 미리 훈련된 간단한 계산기를 사용하여 즉시 "이 스냅샷을 바탕으로 볼 때, 질문을 이렇게 살짝 건드리면 로봇이 마음을 바꿀 것이다"라고 예측합니다. 로봇에게 되감거나 어려운 수학을 계산하게 하지 않습니다.

수정구를 어떻게 만들었나

저자들은 매우 큰 신경망에서 네트워크가 '보는 것 (내부 표현)'과 변화에 반응하는 방식 (기울기) 사이에 숨겨진 예측 가능한 관계가 있음을 깨달았습니다.

그들은 이 관계를 그래프 위의 단순한 선처럼 취급했습니다. 계산기에 '내부 사고' $\rightarrow$ '필요한 변화'의 몇 가지 예시를 보여준 것입니다. 계산기는 패턴을 학습했습니다: "아, 사고가 이렇게 보일 때는 변화가 저렇게 되어야구나."

한 번 훈련되면 이 계산기는 번개처럼 빠릅니다. 단순한 곱셈과 덧셈일 뿐인 반면, 구식 방법은 방대하고 복잡한 계산을 요구했습니다.

결과: 속도 대 정확도

이 논문은 Qwen 과 Llama 와 같은 대규모 언어 모델을 대상으로 두 가지 유형의 공격을 사용하여 이를 테스트했습니다:

원시 데이터 조정 (임베딩): 로봇에게 사진을 보여주기 전에 약간 흐리게 만드는 것과 같습니다.
단어 변경 (토큰): 로봇을 혼란스럽게 만들기 위해 문장의 특정 단어를 바꾸는 것과 같습니다.

주요 발견:

속도: 새로운 방법은 표준 방법보다 5 배에서 12 배 빠릅니다. 한 가지 특정 테스트에서는 초당 실행할 수 있는 공격 횟수가 532% 증가했습니다. 이는 걷기와 질주 사이의 차이입니다.
정확도: 새로운 방법은 느린 거꾸로 추적 방법만큼 완벽하지는 않습니다. 성공률 측면에서 약 80~90% 수준에 도달합니다. 그러나 매우 빠르기 때문에 동일한 시간 동안 훨씬 더 많이 실행할 수 있어, 고정된 시간 제한 내에서는 종종 더 나은 전체 결과를 가져옵니다.
'충분한' 임계값: 저자들은 단순한 1 단계 속임수의 경우 '수정구' 예측이 놀랍도록 정확하다는 것을 발견했습니다. 완벽할 필요는 없으며, 단지 올바른 대략적인 방향을 가리키기만 하면 됩니다.

왜 이것이 중요한가 (논문에 따르면)

이 논문은 새로운 AI 파괴 방법을 만드는 것이 아니라, 기존 안전 테스트를 훨씬 더 빠르게 만드는 것에 관한 것이라고 주장합니다.

공항에서 보안 요원이 가방을 검사하는 상황을 생각해 보세요.

구식 방법: 보안 요원은 모든 가방을 열어 모든 물건을 꺼내 각 항목을 검사한 뒤 다시 넣습니다. 철저하지만 느립니다.
신규 방법: 보안 요원은 가방의 모양과 무게를 바탕으로 안에 무엇이 들어 있을지 예측하는 스캐너를 사용합니다. 100% 완벽하지는 않지만 매우 빨라, 한 가방을 검사하는 동안 10 개의 가방을 검사할 수 있습니다.

저자들은 이러한 '순방향 통과 (forward-pass)' 예측을 사용하면 AI 모델의 취약점을 훨씬 더 효율적으로 스크리닝할 수 있으며, 결과물을 기다리기 위해 몇 시간이나 며칠을 기다릴 필요 없이 모델을 더 안전하게 만들 수 있다고 결론지었습니다. 그들은 이것이 '1 단계' 공격에 가장 잘 작동하며, 속도 향상이 엄격한 시간 제한 (실제 현장의 마감 기한 등) 이 있을 때 가장 가치 있다고 강조합니다.

기술 요약: 기울기 예측을 통한 빠른 적대적 공격

문제 제기
대규모 적대적 예제 생성은 견고성 평가, 적대적 학습, 레드팀링을 위한 근본적인 요구사항입니다. 그러나 Fast Gradient Sign Method(FGSM) 와 같은 "빠른" 단일 단계 공격조차 입력 기울기를 계산하기 위해 필요한 역전파의 계산 비용에 의해 처리량이 제한됩니다. 특히 대규모 언어 모델(LLM) 과 같은 대규모 모델의 경우, 이 역전파가 적대적 데이터 생성 비용의 대부분을 차지하여 벽시계 시간과 가속기 가용성에 제약받는 견고성 파이프라인에서 병목 현상을 초래합니다. 이 비용을 줄이기 위한 기존 방법들 (예: 기울기 재사용 또는 역전파를 초기 레이어로 제한) 은 여전히 근본적으로 역전파에 의존합니다.

방법론
저자들은 경량 선형 회귀 모델을 사용하여 순전파 은닉 상태에서 입력 기울기 방향을 예측함으로써 공격 시 역전파를 완전히 제거하는 공격 계열을 제안합니다.

핵심 메커니즘: 이 방법은 작은 훈련 세트에 편향항을 포함한 선형 회귀기를 적합시켜 은닉 상태 벡터 $h_\theta(x)$ 를 입력 기울기 $\nabla_x S_\theta(x, t)$ 로 매핑합니다. 여기서 $S$ 는 공격 점수 (예: 목표 로그it) 입니다. 그 후 공격은 예측된 기울기 $\hat{g}$ 를 FGSM 스타일 업데이트에 사용하여 진행됩니다: $x_{adv} = x + \epsilon \text{sgn}(\hat{g})$ .
이론적 기반: 이 접근법은 신경망에 대한 신경 탄성 커널 (NTK) 과 가우시안 프로세스 (GP) 관점에서 영감을 받았습니다. 무한 폭 극한에서 은닉 상태와 입력 기울기의 결합 분포는 가우시안입니다. 특정 조건—즉, 정상 커널과 상수 평균 함수의 사용 (이상적인 사인 - 코사인 임베딩을 통해 달성됨)—하에서 은닉 상태가 주어졌을 때 기울기의 조건부 기대값은 입력 $x$ 와 무관한 아핀 함수가 됩니다. 이는 기울기를 예측하기 위해 단일의 입력 독립적 선형 맵을 사용하는 것을 이론적으로 정당화합니다.
실제 구현:
- 임베딩 선택: 증명에서는 정상성을 보장하기 위해 이상적인 사인 - 코사인 임베딩을 사용하지만, 이 방법은 학습된 토큰 임베딩을 사용하는 실제 모델에 적용됩니다. 저자들은 실제 세계의 위치 인코딩 (예: RoPE) 이 유사한 삼각 회전 구조를 공유한다고 지적합니다.
- 훈련: 예측기는 (은닉 상태, 정규화된 기울기) 쌍의 작은 데이터셋에서 훈련됩니다. 안정성과 일반화를 개선하기 위해 저자들은 은닉 상태의 좌표별 표준화를 적용하고, 기울기 타겟을 단위 노름으로 정규화하여 (예측기가 크기보다는 방향에 집중하도록 함) 릿지 회귀를 사용합니다.
- 효율성: 추론 중 이 방법은 역전파를 피하고 순전파 (종종 조기 종료 은닉 상태 사용) 와 선형 행렬 - 벡터 곱셈만 요구합니다.

주요 기여

기울기 예측 프레임워크: 값비싼 역전파를 학습된 선형 예측기로 대체하여 순전파 계산만으로도 적대적 생성이 가능하게 하는 방법론 도입.
이론적 정당화: 정상 커널을 가진 NTK 체제에서 은닉 상태에서 입력 기울기로의 매핑이 정확히 아핀이며 입력과 무관함을 증명.
처리량 최적화: 이 접근법이 단위 시간당 생성되는 적대적 예제 수를 크게 증가시켜, 추론 전용 또는 자원 제약 환경에서도 견고성 스크리닝을 가능하게 함을 입증.

실험 결과
저자들은 HarmBench 와 JailbreakBench 데이터셋을 사용하여 세 가지 LLM(Llama-2-7B, Qwen2.5-3B, Qwen3-4B) 에서 정밀 기울기 기준 (FGSM, PGD, GCG) 에 대해 그들의 방법 (GPR-FGSM 또는 GCG-GPR 로 지칭) 을 평가했습니다.

임베딩 수준 공격: 연속 임베딩 교란 작업에서 GPR 변형은 정밀 기울기 공격에 비해 532% 의 처리량 증가를 달성했습니다 (예: Qwen3-4B 의 FGSM). 공격 성공률 (ASR) 은 일반적으로 정밀 기울기 방법보다 낮았으나, 한 자릿수 이상 빠른 속도로 성능의 상당 부분을 유지했습니다 (예: Qwen3-4B 의 FGSM 에서 ASR 6.8% 대 12.6%). 이 방법은 파레토 프런티어를 이동시켜 원샷 공격을 위한 고통량 옵션을 제공했습니다.
토큰 수준 공격: Greedy Coordinate Gradient(GCG) 방법을 사용한 이산 프롬프트 공격의 경우, 역전파로 계산된 기울기를 예측된 기울기로 대체하면 교란 처리량이 1.5~3 배 증가하고 성공적인 공격 처리량은 2~2.4 배 증가했습니다. 특히 ASR 은 대부분의 설정에서 정밀 기울기 기준과 통계적으로 구별되지 않아, 예측된 기울기가 후속 정밀 순전파 평가를 위한 유망한 토큰 후보를 식별하는 데 충분함을 나타냈습니다.
민감도 분석: 예측된 기울기와 정밀 기울기를 혼합한 실험은 좌표별 부호 일치가 특정 임계값을 넘어서는 한 원샷 FGSM 이 상당한 기울기 잡음에 강건함을 보여주었습니다. 순수 GPR 은 때때로 어려운 벤치마크 (예: Qwen3-4B 를 사용한 JailbreakBench) 에서 이 임계값 바로 아래로 떨어졌지만, 소량의 정밀 기울기를 혼합하면 성능이 회복되었습니다.

의의 및 주장
이 논문은 기울기 예측이 현실적인 제약 하에서 훨씬 더 빠른 적대적 생성을 위한 간단하고 일반적인 경로를 제공한다고 주장합니다. 주요 의의는 역전파 비용에 의해 이전에는 제한되었던 규모에서 견고성 평가와 레드팀링을 가능하게 하는 데 있습니다. 저자들은 이 작업이 새로운 공격 능력을 도입하거나 성공률 측면에서 공격을 더 강력하게 만드는 것이 아니라 기존 방법의 효율성을 개선한다고 강조합니다. 이는 역전파가 비현실적인 배포 시나리오 (예: 추론 전용 환경) 를 포함하여 모델 견고성에 대한 더 광범위한 스크리닝을 가능하게 합니다. 저자들은 현대 네트워크에서 표현 - 기울기 관계의 규칙성이 엄격한 무한 폭 이론 체제 밖에서도 빠른 적대적 생성을 위해 활용하기에 충분하다고 결론지었습니다.

기술 요약: 기울기 예측을 통한 빠른 적대적 공격

유사한 논문