User-Centric Phishing Detection: A RAG and LLM-Based Approach

기술 요약: RAG 및 LLM을 활용한 사용자 중심 피싱 탐지

문제 정의
본 논문은 기존의 규칙 기반 필터와 전통적인 머신러닝 탐지기를 우회하는 점점 더 정교해지는 피싱 이메일 문제를 다룹니다. 대규모 언어 모델(LLM)은 우수한 자연어 이해 및 의미론적 분석 능력을 제공하지만, 이를 이메일 보안을 위한 단독 분류기로 적용할 경우 치명적인 결함인 높은 오탐률(False-Positive Rate, FPR)이 발생합니다. 일반적인 LLM 기반 시스템은 이메일이 특정 사용자의 통신 이력과는 일치하더라도 일반적인 패턴에서 벗어날 경우, 해당 이메일을 피싱으로 잘못 분류하는 경-향이 있습니다. 이러한 사용자 특화 맥락의 부재는 과도한 오경보를 생성하여 운영 부담을 가중시키며, 보편적인 악성 콘텐츠와 개별 사용자의 특이하지만 정상적인 통신을 구분하지 못하는 문제를 야기합니다.

방법론
저자들은 RAG(Retrieval-Augmented Generation)와 오픈 소스 LLM을 통합한 개인화된 피싱 탐지 프레임워크를 제안합니다. 이 시스템은 모델의 의사결정을 사용자 특화 맥락 및 실시간 위협 인텔리전스에 근거하도록 설계된 6단계 파이프라인을 통해 작동합니다:

1. 데이터 전처리: 원시 이메일 코퍼스는 검증, 정규화(UTF-8, Latin-1 등 다양한 인코딩 처리), 특징 추출(제목, 발신자, 본문), 헤더 제거 과정을 거쳐 구조화된 지식 베이스로 변환됩니다.
2. 의미론적 임베딩 및 벡터 구축: 텍스트 콘텐츠는 all-MiniLM-L6-v2 트랜스포머를 사용하여 연속적인 벡터 공간으로 투영됩니다. 이 임베딩들은 L2 정규화되어 코사인 유사도를 이용한 효율적인 근사 최근접 이웃 탐색을 위해 FAISS 벡터 데이터베이스에 인덱싱됩니다.
3. 이중 맥락 검색 (Dual-Context Retrieval):
   • 사용자 특화 이력: 유입된 쿼리 이메일에 대해, 시스템은 사용자의 과거 코퍼스에서 의미론적으로 가장 유사한 정상 이메일 상위 $k$개(5개로 설정)를 검색합니다. 이를 통해 LLM에 사용자의 정상적인 통신 패턴에 대한 구체적인 사례를 제공합니다.
   • 위협 인텔리전스: 시스템은 쿼리 이메일에서 도메인과 URL을 추출하고, 다중 엔진 분석 플랫폼(VirusTotal API)에 쿼리하여 실시간 평판 데이터(유해성, 의심 정도, 악성코드 상태)를 수집합니다.
4. 구조화된 프롬프트 엔지니어링: LLM 프롬프트는 역할 할당(사이버 보안 전문가), 쿼리 이메일 내용, 검색된 역사적 맥락($C_{context}$), 그리고 위협 인텔리전스($T(e_{query})$)를 결합하여 구성됩니다. 출력은 분류 결정, 피싱 점수, 위험 수준, 식별된 사회 공학적 기법, 권장 조치 및 짧은 추론을 요구하는 특정 JSON 스키마를 따르도록 제한됩니다.
5. 모델 평가: 프레임워크는 네 가지 다양한 오픈 소스 LLM인 Llama4-Scout (17B), DeepSeek-R1 (70B), Mistral-Saba (24B), Gemma2-9B (9B)를 대상으로 테스트되었습니다. 모든 모델은 결정론적 응답을 보장하기 위해 온도를 0.2로 설정하여 Groq API를 통해 액세스되었습니다.

주요 기여

• 개인화된 RAG 프레임워크: 사용자 특화 이메일 이력과 실시간 위협 인텔리전스를 결합한 이중 맥락 검색 메커니즘을 도입했습니다. 이 아키텍처는 시스템이 일반적인 악성 패턴과 사용자 정상 통신을 구분할 수 있게 함으로써 오탐률을 줄이는 것을 목표로 합니다.
• 포괄적인 평가 방법론: 네 가지 서로 다른 오픈 소스 LLM을 단독 구성 및 RAG 강화 구성 모두에서 체계적으로 평가하여, AI 기반 보안 도구를 위한 표준화된 벤치마크를 구축했습니다.
• 개인화의 경험적 검증: 개인화가 모델 크기(17B에서 70B 파라미터까지)에 관계없이 효과적으로 확장됨을 입증하였으며, 특히 탐지 정확도를 저해하지 않으면서 오탐률을 실질적으로 감소시킨다는 구체적인 증거를 제시했습니다.

결과
시스템은 500개의 이메일(정상 250개, 피싱 250개)로 구성된 균형 잡힌 데이터셋을 통해 평가되었습니다. RAG 통합은 테스트된 모든 모델에서 일관된 성능 향상을 가져왔습니다:

• 오탐 감소: 가장 눈에 띄는 개선은 오탐률(FPR) 감소에서 관찰되었습니다. 예를 들어, Llama4-Scout는 RAG 활성화 시 FPR이 12%에서 4%로 감소했습니다. 마찬가지로 DeepSeek-R1은 22%에서 6%로, Mistral-Saba는 35.6%에서 10%로 감소했습니다.
• F1-Score 향상: 모든 모델에서 F1-score가 전반적으로 상승했습니다. Llama4-Scout는 RAG 적용 시 0.9703의 F1-score를 달성했습니다(RAG 미적용 시 0.9333).
• 모델 비교: 모든 모델이 혜택을 받았으나, Llama4-Scout(RAG 적용)가 가장 낮은 오경보 경향과 함께 정밀도(Precision) 및 재현율(Recall)의 최적의 균형을 보여주었습니다. DeepSeek-R1이 그 뒤를 바짝 쫓았으며, Gemma2-9b는 개선되었음에도 불구하고 대규모 모델들에 비해 오탐 발생 가능성이 더 높았습니다.

의의 및 주장
본 논문은 RAG 기반의 사용자 프로파일링 접근 방식이 고정밀, 저마찰 이메일 보안 시스템을 구축하는 데 있어 실현 가능하며 효과적이라고 주장합니다. 주요 의의는 개별 사용자 행동에 근거한 추론을 통해 단독 LLM의 "공격적 분류" 성향을 해결한다는 점에 있습니다. 저자들은 이 접근 방식이 높은 탐지 정확도를 유지하면서도 오탐으로 인한 운영 부담을 크게 낮출 수 있는 적응형, 사용자 중심 탐지의 잠재력을 입증한다고 주장합니다. 본 연구는 향후 시스템이 단순한 범용 분류기를 넘어, 사용자의 특정 통신 패턴 내에서 위협을 맥락화하기 위해 검색(Retrieval)을 활용하는 아키텍처로 나아가야 함을 시사합니다.