기술 요약: SEP-Attack

문제 정의

심층 신경망 (DNN) 과 대규모 언어 모델 (LLM) 이 웹 애플리케이션에 점점 더 많이 배포되고 있지만, 적대적 공격에 여전히 취약합니다. 화이트박스 공격은 잘 연구되어 왔지만, 블랙박스 공격이 실제 시나리오에서 더 현실적입니다. 블랙박스 방법 중 전이 기반 공격은 피해 모델의 내부 매개변수에 접근하거나 직접 쿼리하지 않고 대리 모델 (surrogate models) 을 사용하여 적대적 예제를 생성하기 때문에 특히 우려스럽습니다.

그러나 텍스트 도메인에서의 전이 기반 공격은 컴퓨터 비전과 비교하여 상대적으로 덜 탐구되었으며 고유한 도전에 직면해 있습니다:

1. 이산적 성질: 텍스트는 연속적인 경사 하강법을 통해 교란할 수 없으며, 이산적인 토큰 대체가 필요합니다.
2. 토큰화 변이: 서로 다른 모델이 서로 다른 토큰화 알고리즘을 사용하므로, 적대적 예제의 전이가 복잡해집니다.
3. 비최적의 기존 방법: 현재 접근 방식은 종종 앙상블 내의 모든 서브모델을 동등하게 취급하거나 부정확한 단어 중요도 추정 (예: 단순히 단어를 제거하여 맥락을 변경하고 이로 인해 열악한 중요도 점수를 초래하는 방식) 에 의존합니다. 이러한 한계로 인해 공격 성공률 (ASR) 이 비최적으로 나타납니다.

방법론: SEP-Attack

저자들은 전이 기반 텍스트 적대적 공격을 위한 SEP-Attack(Simple yet Effective Paradigm for transfer-based textual adversarial Attack) 을 제안했습니다. 이는 고도로 전이 가능한 적대적 텍스트 예제를 생성하도록 설계된 프레임워크입니다. 이 방법은 논문의 Figure 1 에 나와 있듯이 세 가지 주요 단계로 구성됩니다:

1. 다양성 기반 대리 앙상블 가중치 생성

대리 앙상블 내의 모든 서브모델을 동등하게 취급하는 대신, SEP-Attack 은 **결정론적 포인트 프로세스 (DPP)**를 사용하여 다양한 가중치를 생성합니다.

• 메커니즘: 무작위 가중치 공간이 생성되고 가중치 커널 행렬이 계산됩니다. DPP 는 다양성과 대표성을 극대화하는 가중치 부분집합을 샘플링합니다.
• 목표: 이는 앙상블이 서브모델 간의 다양한 전이 수준을 포착하도록 보장하여, 이를 평균화하는 대신 더 견고한 적대적 후보를 생성하는 데 도움이 됩니다.

2. 대리 앙상블을 통한 적대적 예제 생성

프레임워크는 가중치 부여된 신뢰도 점수를 기반으로 단어를 반복적으로 업데이트하여 후보를 생성합니다.

• 신뢰도 점수 ($\delta$): 1 단계에서 도출된 다양한 앙상블 가중치로 가중치가 부여된 예측 신뢰도를 평가하기 위한 새로운 지표가 도입되었습니다. 목표는 모델의 신뢰도를 낮추기 위해 이 점수를 최소화하는 것입니다.
• 단어 중요도 및 교체 순서: 맥락을 방해하는 단어 제거 방식과 달리, SEP-Attack 은 단어를 제거했을 때 ($X \setminus x_i$) 신뢰도 점수의 하락을 측정하여 중요도를 계산합니다. 그런 다음 중요도 점수의 차이를 증폭시키는 샘플링 방법 (식 5) 을 사용하여 교체 순서를 결정합니다.
• 이단계 최적화:
  1. 업데이트: 중요한 단어는 신뢰도 점수를 최소화하는 동의어로 대체되며, 검색 공간을 탐색하기 위해 교란 거리가 엄격한 예산 ($\eta > \epsilon$) 을 일시적으로 초과할 수 있습니다.
  2. 제거: 공격에 중요하지 않은 덜 중요한 단어 (변경되었으나 공격에 필수적이지 않은 단어) 는 원래 형태로 되돌려져 최종 예제가 엄격한 교란 예산 ($\epsilon$) 을 충족하도록 보장합니다.

3. 전이 가능한 적대적 예제 선택

생성된 후보의 대규모 풀이 주어지면, 프레임워크는 피해 모델을 쿼리하지 않고 가장 전이 가능한 것들을 선택합니다.

• 전이성 점수 ($\tau$): 이상적인 적대적 예제는 손실 지형의 "평탄한" 영역 (주변에서 낮은 손실) 에 위치해야 한다는 관찰에서 영감을 받아, 이 방법은 단어의 이웃 (의미상 가장 가까운 동의어로 단어를 교체하여 생성됨) 의 평균 신뢰도 점수를 계산합니다.
• 선택: 평균 이웃 신뢰도 점수가 낮은 (국소적 변이에 대한 견고성을 나타냄) 후보가 순위가 매겨져 최종 전이 가능한 적대적 예제로 선택됩니다.

주요 기여

1. 간단하고 효과적인 패러다임: 저자들은 텍스트 기반 전이 공격의 특정 문제를 해결하는 직관적이면서도 강력한 워크플로우인 SEP-Attack 을 소개합니다.
2. DPP 기반 가중치 부여: 동등 가중치 앙상블을 넘어 서브모델 전이성을 더 잘 표현하기 위해 결정론적 포인트 프로세스를 다양한 대리 앙상블 가중치 생성에 적용한 새로운 시도가 있습니다.
3. 개선된 중요도 추정: 단순한 단어 제거 방식 (예: TextFooler) 이 초래하는 의미적 교란을 피하기 위해 중요한 단어를 업데이트하고 중요하지 않은 단어를 제거하는 전략을 사용합니다.
4. 전이성 정량화: 이웃 평탄도에 기반하여 최상의 후보를 선택하는 지표를 통해 피해 모델 쿼리 필요성을 줄여 공격 효율성을 높입니다.

실험 결과

저자들은 SEP-Attack 을 네 가지 벤치마크 데이터셋 (MR, AG, Yelp, IMDB) 과 다양한 피해 모델 (BERT, LSTM, TextCNN, Llama 및 Mistral 과 같은 LLM) 에 대해 평가했습니다.

• 기존 방법 대비 성능: SEP-Attack 은 쿼리 기반 방법 (TextFooler, DeepWordBug, BBA, LeapAttack, HQA-Attack) 과 기타 전이 기반 방법 (Ensemble, HAWR) 을 포함한 최첨단 베이스라인을 크게 능가했습니다.
  • IMDB 데이터셋에서 BERT 를 공격할 때, SEP-Attack 은 **99.1%**의 ASR 을 달성했으며, 다음으로 좋은 방법 (BBA) 인 45.4% 와 비교해 월등했습니다.
  • AG 데이터셋에서는 BERT 에 대해 **58.8%**의 ASR 을 달성하여 두 번째로 좋은 방법 (40.5%) 보다 크게 개선되었습니다.
• 쿼리 효율성: 이 방법은 매우 낮은 쿼리 예산 (앙상블 기반 선택은 10 회 쿼리, 쿼리 기반 방법은 100 회 쿼리) 으로 작동하면서도 우수한 성공률을 달성합니다.
• 방어 기법 대비 견고성: 이 공격은 HotFlip과 SHIELD로 훈련된 모델을 포함한 방어 메커니즘을 성공적으로 우회했습니다. 예를 들어, IMDB 데이터셋에서 SHIELD 에 대해 SEP-Attack 은 **97.9%**의 ASR 을 달성했습니다.
• 실제 세계 API: Alibaba Cloud 및 Google Cloud API 에 대해 테스트했을 때, SEP-Attack 은 다른 방법들보다 가장 높은 ASR (각각 64.1% 및 75.3%) 을 달성했습니다.
• 대규모 언어 모델: 이 방법은 LLM (Llama-3, Mistral, GPT-3.5) 에 대해 우월한 성능을 보였으며, Yelp 에서 Mistral 에 대해 **72.9%**까지의 ASR 을 달성하여 다른 전이 방법들을 크게 능가했습니다.

중요성 및 주장

이 논문은 SEP-Attack 이 전이 기반 텍스트 적대적 공격이라는 상대적으로 덜 탐구된 문제에 대한 간단하면서도 효과적인 해결책을 제공한다고 주장합니다. 서브모델 다양성과 부정확한 중요도 추정 문제를 해결함으로써, 이 방법은 최소한의 쿼리 비용으로 훨씬 높은 공격 성공률을 달성합니다.

저자들은 웹 기반 언어 모델의 보안을 평가할 때 서브모델 다양성과 신뢰할 수 있는 중요도 추정을 고려해야 함을 강조합니다. 결과는 현재 방어 기법이 이러한 전이 기반 패러다임에 대해 불충분할 수 있음을 시사하며, 더 안전하고 신뢰할 수 있는 웹 AI 시스템을 구축할 필요성을 강조합니다. 논문은 향후 연구가 이 방법의 이론적 기초를 탐구하고 다른 모달리티로 확장할 것이라고 결론지었습니다.