An Expanded Synthetic Conversation Dataset for Multi-Turn Smishing Detection

기술 요약: 다회차 스미싱 탐지를 위한 확장된 합성 대화 데이터셋

문제 정의
고령층을 겨냥한 대화형 사회 공학적 공격(스미싱)은 여러 차례의 대화 턴에 걸쳐 진행되는 증가하는 사이버 보안 위협입니다. 단일 메시지 피싱와 달리, 이러한 공격은 점진적인 신뢰 구축에 의존하므로 전통적인 단일 메시지 분류기로는 탐지하기 어렵습니다. 개인정보 보호 및 윤리적 제약으로 인해 이러한 상호작용에 대한 실제 데이터는 매우 희귀합니다. 저자들의 이전 연구인 COVA는 3,201개의 대화로 구성된 합성 데이터셋을 도입했으나, 트랜스포머 모델(DistilBERT 및 Longformer)이 TF-IDF 특징을 사용하는 XGBoost보다 성능이 뒤처지는 결정적인 한계를 드러냈습니다. 이러한 격차는 결과에 결정적인 마지막 턴을 버리는 입력 절단(truncation) 문제와 효과적인 트랜스포머 미세 조정을 위한 학습 데이터 부족 때문인 것으로 분석되었습니다.

방법론: COVA-X 확장 및 품질 라이프사이클
본 논문은 8가지 고령층 타겟 사기 카테기(로맨스, 정부 사칭, 메디케어, 조부모 사칭, 은행 사칭, 가상 납치, 투자, 복권)를 아우르는 10,985개의 다회차 대화(기존 대비 3.43배 증가)를 포함하는 확장된 합성 데이터셋인 COVA-X를 제시합니다.

생성 파이프라인은 로컬 GPU 하드웨어에서 Ollama를 통해 Qwen 2.5 14B를 활용하였으며, 두 개의 독립적인 LLM 에이전트(공격자 및 피해자)를 사용했습니다. 첫 번째 반복 작업과 비교하여 주요 방법론적 개선 사항은 다음과 같습니다:

• 프로필 확장: 행동 다양성과 신호 강도를 보장하기 위해 두 개의 "결과 고정(outcome-pinned)" 프로필(빠른 거절을 위한 Carol, 사기 탐지를 위한 George 포함)을 포함하여 사기 유형당 5개의 피해자 프로피를 도입했습니다.
• 프롬프트 엔지니어링 수정: 캐릭터 혼선을 방지하기 위한 "이름 정체성 잠금(Name Identity Lock)", 무대 지시문 유출을 억제하기 위한 "ABSOLUTE OUTPUT RULE" 주입, 그리고 비(非)조부모 사기 유형에서 "조부모 오프너(Grandparent-opener)" 오염을 제거하기 위한 재작성을 구현했습니다.
• 가상 납치(Virtual Kidnapping)를 위한 구조적 개입: 세 명의 당사자(공격자, 피해자, 인질)가 개입하는 "가상 납치" 카테고리에서의 높은 아티팩트 발생률을 해결하기 위해, 저자들은 2역할 구조(공격자가 자신의 턴 내에서 인질의 목소리를 생성)에서 **3역할 구조(Path B)**로 전환했습니다. Path B에서는 인질이 고유한 시스템 프롬프트와 턴을 가진 별도의 에이전트가 되며, JSON 작성 시점에 공격자의 턴으로 병합됩니다.
• 품질 라이프사이클: 오염 스캐닝, 무대 지시문 제거, 자동 레이블 재지정 및 사후 정리 감사를 포함하는 종합적인 파이프라인을 구축했습니다.

주요 기여

1. 데이터셋 확장: COVA-X(10,985개 대화)를 공개하며, 각 카테고리당 5개의 피해자/공격자 프로필을 제공하여 트랜스포머 성능을 저해했던 데이터 부족 문제를 해결했습니다.
2. 품질 라이프사이클 문서화: 데이터셋 구축 과정에 대한 정량적 분석을 통해, 레이블 불일치를 첫 번째 반복의 49.8%에서 3.9%로 줄임으로써 12.7배의 레이블 수정율 개선을 입증했습니다.
3. 구조적 검증: 가상 납치에 대한 3역할 개입이 아티팩트 플래그 발생률을 67.1%에서 46.5%로 낮추었으며, 이 감소분의 대부분(20.4 퍼센트 포인트)이 사후 처리가 아닌 구조적 변화에 기인함을 입증했습니다.
4. 모델 비교: 확장된 데이터셋에서 모든 분류기(XGBoost, DistilBERT, Longformer)를 재학습하여, 더 큰 코퍼스가 트랜스포머의 맥락적 이점을 활용할 수 있게 한다는 가설을 테스트했습니다.
5. 생성 모델 특성 규명: 지속적인 정서적 압박 하에서의 Qwen 2.5 14B의 구체적인 능력 한계(구조적 태그 채택 실패, 프롬프트 엔지니어링에서의 돌출성 편향(금지된 패턴을 나열할 때 오히려 발생 빈도가 높아짐), 프로필 준수 붕괴 등)를 문서화했습니다.

결과
정제된 COVA-X 데이터셋에서 모든 분류기를 재학습한 결과, 3-클래스 결과 예측 작업(순응, 부분 순응, 거절)에서 다음과 같은 결과를 얻었습니다:

• Longformer (전체 맥락): 79.71% 정확도 및 0.7786 매크로 F1 달성.
• XGBoost + TF-IDF: 78.43% 정확도 및 0.7563 매크로 F1 달성.
• DistilBERT v2 (꼬리 절단): 77.53% 정확도 및 0.7632 매크로 F1 달성.

주요 발견:

• 가설 확인: Longformer가 모든 지표에서 처음으로 XGBoost를 앞질렀으며, 이는 트랜스포머 모델이 맥락적 이점을 실현하기 위해 더 큰 대화 코퍼스(>5,000개)가 필요하다는 저자들의 이전 연구 가설을 확인시켜 줍니다. Longformer는 이전 논문 대비 매크로 F1에서 11.16 퍼센트 포인트 향상되었으며, 이는 XGBoost의 6.53 포인트 향상을 크게 상회하는 수치입니다.
• 교차 아키텍처 일관성: 전/후 정제 민감도 분석 결과, 세 가지 아키텍처 모두 정제된 데이터셋에서 성능이 향상되었습니다. 이는 정제 파이프라인이 서로 다른 표현 기질(Bag-of-words 대 트랜스포머 임베딩)에 걸쳐 접근 가능한 진정한 레이블 관련 신호를 회복했음을 시사합니다.
• 사기 유형별 역학: 결과 분포는 사기 메커니즘에 따라 달랐습니다. 가상 납치는 정서적 압박으로 인해 가장 높은 성공적_사기(successful_scam) 비율(33%)을 보였고, 조부모 사기는 가장 높은 확인_시도(verification_attempt) 비율(63%)을 보였습니다. 메디케어 및 은행 사기는 높은 빠른_거절(quick_rejection) 비율을 보여 대중적 인식을 반영했습니다.

의의 및 주장
본 논문은 Longformer가 확장된 데이터셋에서 XGBoost보다 우수하다는 핵심 발견이 저자들의 이전 연구에서 제기된 데이터 크기 가설을 직접적으로 검증한다고 주장합니다. 또한, 저자들은 합성 데이터셋 구축 과정에서의 반복적인 과제들(12.7배의 레이블 개선 및 생성 모델의 구체적인 실패 모드 포함)을 투명하게 문서화한 것 자체가 방법론적 기여라고 주장합니다. 이는 향-후 합성 데이터셋 노력에 대한 실질적인 로드맵을 제공하며, 파이프라인의 개선과 구조적 개입(가상 납치를 위한 3역할 생성 등)이 데이터셋의 무결성에 얼마나 중요한지를 강조합니다.

저자들은 본 데이터셋이 영어 전용이며 미국 중심적이라는 점, 실시간 증분 분류 기능의 부재, 그리고 특정 생성 모델의 한계(예: 정서적 압박 하에서 구조적 태그를 일관되게 따르지 못하는 Qwen 2.5 14B의 특성)가 지속되고 있다는 점을 한계로 겸허히 언급하며, 이것이 향후 모델 비교 연구의 동기가 된다고 밝혔습니다.