기술 요약: 사기 시나리오의 해부학: 대규모 특징 추출 및 대화 인지 탐지

1. 문제 정의

온라인 사기는 전 세계적인 유행병으로 진화하여 심각한 재정적, 심리적 피해를 입히고 있으며, 금융 기관에 상당한 운영적 부담을 지우고 있습니다. 기존 연구는 심리적 기법(PTs)(예: 권위, 긴급성, 공포)을 고립된 설득 신호로서 광범위하게 연구해 왔으나, 이러한 기법들이 체계적으로 배치되는 반복적인 운영 체계(사기 시나리오)를 간과하는 경우가 많습니다. 사기꾼들은 임의로 PT를 쌓는 것이 아니라, 캠페인을 최소한의 수정만으로 확장하기 위해 재사용 가능한 내러티브(예: 가짜 구직 제안, 공공 서비스 사칭)에 PT를 삽입합니다.

또한, 기존 탐지 시스템은 실제 방어 환경에서 어려움을 겪습니다. 사기 방어는 종종 불완전하고 진행 중인 고객 서비스 상호작용 중에 발생하며, 방어자는 불완전하고 노이즈가 많으며 진화하는 고객의 내러티브로부터 근본적인 사기 시나리오를 추론해야 합니다. 현재의 접근 방식은 대규모 사후 사건 보고서로부터 얻은 지식을 실시간 턴 단위 대화 분석으로 효과적으로 전이하는 데 실패하며, 특히 불완전한 문맥, 불확실한 증거 출현, 다양한 내러티브 스타일과 같은 문제에 직면했을 때 더욱 그러합니다.

2. 방법론

본 논문은 두 단계의 접근 방식을 제안합니다: 사기 시나리오를 특징화하기 위한 대규모 경험적 연구와 이 지식을 운용하기 위한 대화 인지 탐지 프레임워크(EARS)입니다.

2.1. 경험적 연구: 사기 시나리오 발견

저자들은 BBB Scam Tracker(2024년 2월 ~ 2025년 10월)의 102,054건의 실제 사기 사건 보고서에 대한 데이터 기반 분석을 수행했습니다.

• 분류 체계 구축: 초기 클러스터링을 위해 BERTopic을 사용하였으며, 저자들은 99개의 예비 토픽을 식별했습니다. 이는 LLM 보조 요약 및 인간 전문가 주석 파이프라인(능동 학습 포함)을 통해 정제되어 18개의 뚜렷하고 세밀한 사기 시나리오로 통합되었습니다.
• 계층적 그룹화: 18개의 시나리오는 지배적인 PT 프로필(예: "권위 및 준수", "관계 및 신뢰")에 따라 6개의 상위 수준 전술로 그룹화되었습니다.
• 인프라 분석: 공유 인프라(IP, 도메인, 이메일)를 분석하여 조율된 캠페인을 식별하였으며, 이를 통해 사기꾼들이 대규모의 교차 전술 운영을 위해 자원을 재사용한다는 것을 밝혀냈습니다.

2.2. EARS: 대화 인지형 사기 시나리오 탐지

저자들은 시나리오 수준의 지식을 조기 탐지로 전환하기 위해 **EARS (Early Anti-scam Recognition System)**를 개발했습니다. 이 시스템은 모델이 대화 턴이 축적됨에 따라 예측을 업데이트하는 순차적 텍스트 분류 작업으로 탐지를 취급합니다.

• 위협 모델: 방어자(예: 은행 상담원)는 사기 조사 중에 고객의 내러티브를 관찰합니다. 목표는 근본적인 사기 시나리오를 가능한 한 빨리 식별하여, 합법적인 문의와 진화하는 사기를 구분하는 것입니다.
• 2단계 학습 파이프라인:
  1. 사건 보고서 사전 학습: 시나리오 분류기가 대규모 사건 보고서 코퍼스에서 사전 학습됩니다. 이를 통해 모델은 대화 형식에 적응하기 전에 견고한 시나리오 수준의 의미론을 학습할 수 있습니다.
  2. 대화를 위한 전이 학습: 사전 학습된 모델은 세 가지 핵심 혁신을 통해 고객 서비스 대화에 대해 미세 조정됩니다:
     • 단계 인지 모델링 (Phase-Aware Modeling): 시스템은 각 턴을 무관함(인사), 내러티브(배경), 사기 증거 중 하나로 분류합니다. 모델이 양호한 단계에서는 판단을 유보하고 진단적 증거가 나타나면 예측을 확정할 수 있도록 단계 상태 특징과 증거 출 onset 오프셋을 모델에 주입합니다.
     • LLM 기반 데이터 증가: 라벨링된 대화 데이터의 희소성과 스타일적 가변성을 해결하기 위해, LLM은 근본적인 시나리오 라벨을 유지하면서 다양한 페르소나와 내러티브 구조로 대화를 재작성합니다.
     • 단계 인지 턴 손실 (Phase-Aware Turn Loss, PATL): 커스텀 손실 함수는 사기 증거를 포함하는 턴의 가중치를 높이고 무관한 턴의 가중치를 낮추어, 모델이 진단적 신호에 집중하도록 유도합니다.

3. 주요 기여

1. 대규모 분류 체계: 10만 건 이상의 사건 보고서에서 도출된, 18개의 세밀한 시나리오가 6개의 전술로 그룹화된 최초의 데이터 기반 계층적 분류 체계입니다.
2. 경험적 통찰:
   • PT 스태킹 (PT Stacking): 사기꾼들은 빈번하게 PT를 쌓습니다; 추가되는 각 PT는 기대 금전적 손실을 26.27% 증가시키는 것과 상관관계가 있습니다.
   • 전략적 적응: 사기꾼들은 특정 목표(예: 광범위한 노출 vs 고가치 추출)에 맞춰 시나리오를 조정하며, 그에 따라 인프라(일회용 vs 회복 탄력적 도메인)를 적응시킵니다.
   • 캠페인 조율: 사건의 30% 이상이 별도의 캠페인에 연결되어 있으며, 가장 큰 캠페인은 18개 시나리오 전체와 3,809건의 사건에 걸쳐 있습니다.
3. EARS 프레임워크: 정적 보고서에서 동적 대화로 시나리오 지식을 성공적으로 전이하고, 단계 인지 모델링과 데이터 증강을 통해 불완전한 문맥과 불확실한 증거 출현을 처리하는 새로운 탐지 시스템입니다.

4. 결과

시스템은 산업 파트너인 Charm Security의 실제 사기 조사 통화를 합성하여 만든 1,115개의 고객 서비스 대화를 대상으로 평가되었습니다.

• 전술 수준 탐지: EARS는 상위 수준의 사기 전술을 분류하는 데 있어 84.41%의 정확도와 84.14%의 F1 점수를 달성했습니다.
• 시나리오 수준 탐지: EARS는 세밀한 시나리오 분류에 대해 75.17%의 정확도와 71.39%의 매크로-F1을 달성했습니다.
• 조기 탐지 능력: 시스템은 정답 시나리오를 최대 91.04%의 사례에서 상위 3위 예측 안에 포함시킵니다. 특히, 첫 번째 사기 증거가 나타난 직후 한 턴 만에 정확도가 크게 향상됩니다 (약 56%에서 70% 이상으로 상승).
• 비교 성능:
  • EARS는 최고의 퓨샷(few-shot) LLM 베이스라인(GPT-5.4)보다 시나리오 매크로-F1에서 25.62 포인트 앞섰습니다.
  • EARS는 표준 트랜스포머 베이스라인(단계 모델링이나 증강이 없는 경우)보다 시나리오 매크로-F1에서 5.24 포인트 앞섰습니다.
  • 소거 실험(Ablation studies)을 통해 LLM 기반 데이터 증강과 단계 인지 모델링이 모두 결정적이며, 각각 최종 성능에 약 2~4 퍼센트 포인트씩 기여함을 확인했습니다.

5. 의의 및 주장

본 논문은 대규모 사건 보고서에서 추출된 시나리오 수준의 지식이 전이 가능하며 효과적임을 주장합니다. 고립된 PT 탐지를 넘어 홀리스틱한 시나리오 인지 접근 방식으로 이동함으로써, 저자들은 다음을 입증합니다:

• 사기꾼들은 체계적으로 특징화될 수 있는 구조화되고 재사용 가능한 운영 체계 내에서 작동합니다.
• 자동화된 시스템은 이러한 패턴을 활용하여 적시 개입을 지원하고, 조사 업무량과 재정적 손실을 줄일 수 있습니다.
• 제안된 방법론은 사후 포렌식 분석과 실시간 방어 행동 사이의 간극을 메우며, 사기 생태계를 분석하고 금융 기관에 조기 경보 시스템을 배포하기 위한 실질적인 토대를 제공합니다.

저자들은 분류 체계가 완벽하지 않다는 점(식별 불가능한 보고서를 위한 "기타" 카테 カテゴ리 포함)과 개인정보 보호 제약으로 인해 합성 데이터를 사용했다는 점을 인정하며 신중한 입장을 유지하지만, 합성 데이터가 실제 상호작용 패턴을 충실히 반영한다고 주장합니다.