기술 요약: 스미싱 탐지의 적대적 강건성 (Adversarial Robustness)

문제 정의

스미싱(SMS 피싱) 탐지 시스템은 주로 깨끗한 단일 언어 텍스트를 기반으로 학습 및 평가됩니다. 그러나 언어적 다양성과 라벨링된 데이터가 부족한 저자원 환경에서, 공격자들은 문자 난독화(호모글리프, 오타), 구조적 섭동(공백 조작), 그리고 교차 언어 코드 스위칭(code-switching)과 같은 정교한 회피 전술을 사용하여 이러한 시스템을 빈번하게 우회합니다. 기존 문헌은 이러한 회피 전략을 지속적인 환경 변수가 아닌 이론적인 엣지 케이스(edge case)로 취급하는 경고가 있습니다. 결과적으로, 고전적 어휘 모델부터 현대적 트랜스포머에 이르기까지 다양한 모델 아키텍처가 적대적 조건 하에서 어떻게 성능이 저하되는지, 그리고 깨끗한 텍스트에 대한 높은 정확도가 적대적 강건성을 신뢰할 수 있게 예측하는지에 대한 실증적 증거가 부족합니다.

방법론

본 연구는 27,037개의 SMS 메시지(악성 메시지 356개, 유병률 1.3%)로 구성된 영어 및 스와힐리어 데이터셋을 사용하여 5가지 모델 아키텍처의 적대적 강건성을 평가합니다. 모델은 두 가지 티어로 나뉩니다:

1. 고전적 어휘 모델: Random Forest, XGBoost (둘 다 TF-IDF 기반), 그리고 하이브리드 CNN+BiLSTM.
2. 다국어 트랜스포머: mBERT 및 XLM-RoBERTa.

공격 생성 및 전략:

• 고전적 모델: 블랙박스 위협 모델 하에서 평가되었습니다. Gemini API를 사용하여 세 가지 공격 유형을 세 가지 강도 수준(저, 중, 고)에 걸쳐 적용하여 적대적 예시를 생성했습니다:
  • 문자 난독화 (Character Obfuscation): 호모글리프 및 비출력 문자로의 치환.
  • 구조적 섭동 (Structural Perturbation): 토큰화를 방해하기 위한 공백 삽입/제거.
  • 코드 스위칭 (Code-Switching): 트리거 문구를 다른 언어의 번역으로 교체.
• 트랜스포머 모델: **어텐션 가이드 타겟팅(attention-guided targeting)**을 사용하여 평가되었습니다. 예비 테스트 결과 일반적인 공격은 성능 저하가 미미한 것으로 나타났기에, 최악의 화이트박스 시나리오를 시뮬레이션하기 위해 최종 레이어의 어텐션 가중치 상위 K개 토큰($K=3, 6, 10$ - 저, 중, 고 강도)에만 섭동을 적용했습니다.

평가 지표:
주요 지표는 **강건성 저하 비율(Robustness Degradation Ratio, RDR)**로, $(F1_{clean} - F1_{adversarial}) / F1_{clean}$로 정의됩니다. 이는 각 모델의 베이스라인 대비 저하 정도를 정규화하여, 절대적인 성능과 무관하게 아키텍처 간의 직접적인 비교를 가능하게 합니다.

통계적 검증:
관찰된 차이가 샘플링 아티팩트가 아닌 아키텍처에 의한 것임을 확인하기 위해 비모수 검정(Mann-Whitney U, Friedman, Cliff's $\delta$)을 채택했습니다.

주요 결과

1. 아키텍처 간의 경계

고전적 아키텍처와 트랜스포머 아키텍처 사이에 명확한 경계가 존재합니다:

• 고전적 모델: 문자 난독화 및 구조적 섭동 하에서 거의 파멸적인 실패를 보입니다. Random Forest와 XGBoost는 고강도 문자 난독화 상황에서 RDR 값이 각각 0.9533과 0.9877에 도달하여, 신호의 완전한 붕괴를 나타냈습니다. CNN+BiLSTM은 문맥적 복구 능력 덕분에 더 나은 회복력(RDR ~0.48)을 보였으나 여전히 심각한 저하를 겪었습니다.
• 트랜스포머: 훨씬 더 높은 회복력을 입증했습니다. 최대 RDR 값은 0.3511(구조적 섭동 하의 XLM-RoBERTa)로 제한되었습니다. 이들은 문자 난독화(RDR < 0.24)와 코드 스위칭(RDR < 0.05)에 대해 강건함을 유지했습니다.

2. 공격 특이성

• 고전적 모델: 문자 난독화(TF-IDF 신호 붕괴)와 구조적 섭동(n-gram 경계 파괴)에 가장 취약합니다. 코드 스위칭은 이 티어 내에서 가장 큰 편차를 일으켰으며, Random Forest(RDR 0.70)는 단일 언어 어휘 편향으로 인해 CNN+BiLSTM(RDR 0.27)보다 훨씬 더 크게 실패했습니다.
• 트랜스포머: 서브워드(subword) 토큰화를 방해하는 구조적 섭동에 가장 취약합니다. 흥미롭게도, 코드 스위칭은 가장 효과가 낮은 공격이었는데(RDR < 0.05), 이는 다국어 사전 학습이 교차 언어적 등가물을 인접한 임베딩 영역으로 매핑하기 때문입니다.

3. 성능-강건성 디커플링 (Performance-Robustness Decoupling)

연구 결과, 깨끗한 텍스트 성능과 적대적 강건성 사이에는 상관관계가 없음이 밝혀졌습니다:

• XLM-RoBERTa는 가장 높은 깨끗한 텍스트 F1(0.9565)을 달성했으나, 고강도 문자 난독화 하에서 mBERT(F1 0.9429, RDR 0.1515)보다 더 큰 저하(RDR 0.2326)를 겪었습니다.
• 고전적 티어 내에서, CNN+BiLSTM은 가장 낮은 깨끗한 텍스트 F1(0.897)을 기록했으나, 문자 난독화 상황에서 트리 기반 모델들보다 낮은 RDR(0.4868)을 보였습니다.

4. 통계적 유의성

• Mann-Whitney U 검정: 고전적 모델이 트랜스포머보다 유의미하게 높은 RDR을 보임을 확인했습니다 ($U=50.0, p=0.0024$), 효과 크기는 컸습니다 (Cliff's $\delta = 0.85$).
• Friedman 검정: 저하가 강도에 따라 비선형적으로 규모가 커짐을 검증하여, 성능이 급격히 떨어지는 임계점이 존재함을 확인했습니다.

주요 기여

1. 체계적 실증 비교: 저자원, 다국어 환경에서 고전적 어휘 모델부터 트랜스포머에 이르는 스펙트럼 전반의 적대적 취약성에 대한 첫 번째 직접적인 비교를 제공합니다.
2. RDR 지표 적용: 베이스라인 능력으로부터 아키텍처의 실패 지점을 분리하기 위해 Robustness Degradation Ratio를 도입하고 적용하여, 깨끗한 텍스트 정확도가 보안의 불충분한 예측 지표임을 입증했습니다.
3. 공격 전략 정교화: 일반적인 블랙박스 공격이 트랜스포머의 취약성을 과소평가할 수 있음을 보여주며, 최악의 상황을 드러내기 위해 어텐션 가이드 타겟팅이 필요함을 입증했습니다.
4. 실패 모드 식별: 특정 실패 모드를 아키텍처의 특성과 명시적으로 연결했습니다:
   • TF-IDF: 정확한 표면 형태 의존성으로 인한 붕괴.
   • 트랜스포머: 표면 문자 변화보다는 서브워드 토큰화의 교란에 대한 취약성.

의의 및 주장

본 논문은 스미싱 탐지가 정적인 분류 작업이 아니라 적대적 사이버 보안 과제로 프레임화되어야 한다고 주장합니다. 연구 결과는 다음을 강조합니다:

• 깨끗한 텍스트 성능은 보안의 신뢰할 수 있는 대리 지표가 아닙니다. 정확도를 최적화하는 것이 오히려 더 취약한 모델을 만들 수도 있습니다.
• 아키텍처별 방어가 필요합니다. 보편적인 해결책은 없으며, TF-IDF 모델은 유니코드 정규화와 n-gram 증강이 필요하고, 트랜스포머는 어텐션 인지적 적대적 학습이 필요합니다.
• 문맥 임베딩은 부분적인 보호를 제공합니다. 트랜스포머를 사용하는 것이 계산적으로 부담스러운 자원 제한 환경에서는, CNN+BiLSTM 아키텍처가 단어 가방(bag-of-words) 모델보다 더 나은 회복력을 제공하는 가장 실행 가능한 고전적 대안이 됩니다.

저자들은 보안 전문가들이 베이스라인 정확도가 아닌 적대적 회복력 지표를 기준으로 모델을 평가해야 한다고 결론짓습니다. 왜냐하면 깨끗한 텍스트 성능이 유사한 모델이라 할지라도 실제 환경에서의 방어 능력은 극명하게 다를 수 있기 때문입니다.