기술 요약: 보정된 멀티모달 학습을 이용한 적대적 강건성 및 의미론적 인지 피싱 탐지

1. 문제 정의

현재의 자동화된 피싱 탐지 시스템은 종종 단일 정보원, 특히 어휘적(lexical) URL 특징에 의존합니다. 이러한 단일 모달리티(unimodal) 탐지기는 속도는 빠르지만 취약합니다. 즉, 웹페이지가 어휘적으로는 정상적으로 보이지만 의미론적 또는 시각적으로는 기만적인 상태로 남아 있는 경우 탐지에 실패합니다. 또한, 기존 문헌들은 배포 가능한 보안 통제 도구로서 중요한 두 가지 속성인 적대적 강건성(탐지를 회피하기 위해 설계된 표적 섭동에 대한 취약성)과 확률 보정(자동 격리 또는 분석가 호출과 같은 운영 조치를 결정하는 신뢰도 점수의 신뢰성)을 간과하는 경우가 많습니다. 본 연구는 멀티모달 퓨전, 적대적 방어, 그리고 보정된 신뢰도 추정을 결합한 프레임워크의 필요성을 다룹니다.

2. 방법론

2.1 데이터셋 구축

본 연구는 86개 브랜드를 사칭하는 10,395개의 레이블 지정 웹사이트(피싱 5,151개, 정상 5,244개)를 포함하는 멀티모달 컬렉션인 "Phishing Website Dataset"(Putra, 2023)을 활용합니다. 이 데이터셋은 동일한 사이트에 대해 전체 URL, 원시 HTML/가시적 텍스트, 렌더링된 스크린샷, 도메인 메타데이터(WHOIS, SSL, IP)와 같이 위치가 일치하는 데이터를 독특하게 제공합니다.

• 전처리: 데이터셋은 10,391개의 레코드로 정제되었습니다. 데이터 누출(data leakage)을 방지하기 위해 등록 도메인 수준(70/15/15 훈련/검증/테스트)에서 분할을 수행했습니다.
• 서브샘플링: CPU 전용 제약으로 인해, 시각적 모달리티 및 트리모달(tri-modal) 절제 연구는 검증된 스크린샷이 있는 395개의 제한된 서브샘플을 대상으로 수행되었습니다.

2.2 멀티모달 아키텍처

프레임워크는 입력을 공통 128차원 공간으로 매핑하는 세 가지 모달리티별 인코더를 사용합니다:

1. URL 인코더: 25개의 엔지니어링된 어휘/구조적 특징(예: 엔트로피, 서브도메인 깊이)과 구조적 패턴을 포착하기 위한 학습 가능한 문자 수준 1D CNN(3x5x7 커널 사용)을 결합합니다.
2. 텍스트 인코더: all-MiniLM-L6-v2 문장 트랜스포머를 동결(frozen) 상태로 사용하여 가시적인 페이지 텍스트의 의미론적 임베딩을 생성하며, 이를 통해 수동 특징 엔지니어링 없이 긴급성과 자격 증명 요청을 포착합니다.
3. 시각적 인코더: ImageNet으로 사전 학습된 ResNet-18을 동결하여 페이지 스크린샷으로부터 특징을 추출합니다.

2.3 퓨전 메커니즘

세 가지 퓨전 전략을 평가했습니다:

• 결합(Concatenation, 초기 퓨전): 임베딩을 직접 결합합니다.
• 게이트 퓨전(Gated Fusion): 학습된 스칼라 게이트가 각 모달리티의 기여도를 가중 조절합니다.
• 교차 모달 어텐션(Cross-Modal Attention): 임베딩을 토큰 시퀀스로 쌓아 멀티 헤드 셀프 어텐션 레이어로 처리한 후 평균 풀링을 수행합니다.

2.4 적대적 프레임워크

• 공격: 의미를 보존하는 오프라인 섭동(perturbations)을 생성했습니다.
  • URL: 호모글리프(homoglyph) 치환, 양호한 서브도메인 접두사 추가, 경로 추가, 퍼센트 인코딩, 하이픈 삽션.
  • 텍스트: WordNet 유의어 교체 및 문자 전치(오타 노이즈).
  • 시각적: 픽셀 텐서에 대한 화이트박스 $L_\infty$-노름 공격(FGSM 및 PGD).
• 방어: URL+텍스트 브랜치에 대해 모든 예시의 섭동된 복사본 하나를 훈련 세트에 추가하는 적대적 훈련(adversarial training) 프로토콜을 구현했습니다.

2.5 보정(Calibration)

검증 세트에서 세 가지 방법인 온도 스케일링(Temperature Scaling), 플랫 스케일링(Platt Scaling), **아이소토닉 회귀(Isotonic Regression)**를 사용하여 사후 보정을 적용했습니다. 이들은 기대 보정 오차(ECE), 브라이어 점수(Brier score), 신뢰도 도표(reliability diagrams)를 통해 보정되지 않은 베이스라인과 비교 평가되었습니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 주장합니다:

1. 데이터셋 파이프라인: 허용적 라이선스를 가진 데이터셋을 사용하여 도메인 인지적이고 누출이 제어된, URL, 텍스트, 스크린샷 및 메타데이터를 공동으로 제공하는 파이프라인을 구축했습니다.
2. 퓨전 아키텍처: 교차 모달 어텐션 퓨전 모델은 전체 URL+텍스트 데이터셋에서 단일 모달리티 베이스라인 및 더 단순한 퓨전 메커니즘(결합, 게이팅)보다 우수한 성능을 경험적으로 입증했습니다.
3. 적대적 평가: 단일 및 결합된 모달리티 공격을 모두 다루는 체계적인 오프라인 평가 프로토콜을 통해 클린/강건 정확도 및 공격 성공률(ASR)을 정량화했습니다.
4. 보정 연구: 모델 및 단일 모달리티 절제 모델 모두에 대해 보정기를 종합적으로 비교하여, 정확도 손실 없이 신뢰성을 개선함을 입증했습니다.
5. 포괄적 절제 및 설명 가능성: 엔지니어링된 특징에 대한 SHAP 및 어텐션 가중치 분석과 함께 지원되는 모든 모달리티 서브셋 및 퓨전 유형에 대한 완전한 절제 연구, 그리고 독립적인 벤치마크에 대한 외부 검증을 수행했습니다.

4. 주요 결과

4.1 탐지 성능

• 멀티모달 우위: URL+텍스트 교차 모달 어텐션 모델이 F1-score 0.9506 및 MCC 0.8847로 최고의 성능을 달성했습니다.
• 모달리티 비교: 의미론적 텍스트 임베딩은 엔지니어링된 URL 특징 단독보다 유의미하게 강력했습니다 (최고 Text MCC: 0.8928 vs 최고 URL MCC: 0.6418).
• 시각적 모달리티: 제한된 서브샘플에서 시각 전용 탐지는 약했습니다 (F1 0.7123). 그러나 이는 차별적인 신호를 제공했습니다. 트리모달 설정에서는 단순 결합이 게이팅/어텐션 퓨전보다 우수한 성능을 보여, 작은 샘플 크기에서는 복잡한 퓨전 메커니즘이 과적합될 수 있음을 시사했습니다.

4.2 적대적 강건성

• 취약성: 단일 모달리티 모델은 매우 취약했습니다. URL 전용 모델은 URL 공격 하에서 16.07%의 공격 성공률(ASR)을 기록했고, 텍스트 전용 모델은 텍스트 공격 하에서 10.34%의 ASR을 기록했습니다.
• 퓨전의 이점: 퓨전 모델은 **중복성(redundancy)**을 보여주었습니다. URL 전용 공격 상황에서 퓨전 모델의 ASR은 **0.79%**로 떨어졌으며(단일 모달리티보다 약 20배 낮은 수치), 이는 모델이 섭동되지 않은 텍스트 신호에 의존할 수 있었기 때문입니다.
• 시각적 취약성: 시각 전용 분류기는 FGSM/PGD 공격 하에서 붕괴되었습니다 (정확도가 0.0000으로 하락). 이는 완화되지 않은 심각한 취약성을 강조합니다.
• 적대적 훈련: 적대적 예시를 포함하여 재학습한 결과, 텍스트 및 결합 공격 하에서의 상대적 F1 저하가 약 한 자릿수 수준으로 감소했습니다 (예: 6.09% $\to$ 0.66%). 이때 클린 정확도 비용은 미미했습니다 (<1%).

4.3 보정

• 사후 보정은 신뢰성을 크게 향상시켰습니다. 멀티모달 모델의 경우, 온도 스케일링은 F1 저하 없이 ECE를 0.0472에서 0.0338로 줄였습니다 (28.4% 감소).
• 아이소토닉 회귀는 텍스트 전용 SVM 모델에 가장 효과적이었습니다 (ECE 0.0343 $\to$ 0.0233).

4.4 외부 검증

URL 전용 딥러닝 모델을 독립적인 벤치마크(Hannousse & Yahiouche, 2021)에서 테스트했을 때 성능이 저하되었습니다 (내부 분포 F1 0.8771 대비 0.7854). 이는 분포 변화(distribution shift) 하에서의 일반화 격리를 확인시켜 주지만, 모델은 여전히 무작위 선택보다는 나은 성능(MCC 0.5944)을 유지했습니다.

5. 의의 및 주장

본 논문은 단순히 깨끗한 데이터에 대한 최첨단 정확도를 달리는 것이 아니라, 동일한 멀티모달 피싱 탐지 시스템에 대해 보정 지표(ECE, Brier score)와 적대적 강건성 지표를 동시에 보고하는 첫 번째 연구라는 점에서 그 의의를 둡니다.

• 실질적 가치: 저자들은 단순히 깨끗한 데이터에서 정확한 모델보다, 강건하고 잘 보정된 모델이 실무적으로 더 가치 있다고 주장합니다. 보정된 신뢰도는 보안 운영(예: 자동 격리 vs 분석가 검토)을 위한 실행 가능한 정책을 가능하게 합니다.
• 방어 심층 방어(Defense-in-Depth): 결과는 멀티모달 퓨전이 자연스러운 방어 기제로 작용함을 보여줍니다. 즉, 모델이 단일 모달리티 공격을 받을 때 손상되지 않은 다른 신호에 의존할 수 있게 합니다.
• 정직한 범위 설정: 저자들은 시각적 실험의 작은 샘플 크기(n=395)와 CPU 제약으로 인한 동결된 인코더 사용 등 한계를 명시적으로 인정합니다. 또한 시각적 브랜치의 심각한 취약성을 경고하며, 배포 전 특정 적대적 훈련이 필요함을 강조합니다.

결론적으로, 본 연구는 URL 구조적 특징과 교차 모달 어텐션을 통한 의미론적 텍스트 임베딩을 결합하고, 적대적 훈련과 확률 보정을 적용함으로써, 단일 모달리티나 보정되지 않은 접근 방식보다 더 신뢰할 수 있고 강건한 피싱 탐지 파이프라인을 구축할 수 있음을 입증합니다.