기술 요약: COUNTER-SCAM

문제 정의

온라인 사기는 정교한 사회 공학적 기법과 신속한 자금 인출을 특징으로 하는 초국가적 위협으로 진화하였으며, 이는 기존의 탐지 및 대응 메커니즘의 속도를 앞지르고 있습니다. 현재의 시스템은 파편화된 기관 간 협력과 수동 분석으로 인해 발생하는 치명적인 지연 문제로 어려움을 겪고 있습니다. 대규모 언어 모델(LLM)은 사기 콘텐츠 탐지에 유망한 가능성을 보여주지만, 기존 연구는 주로 탐지 중심에 머물러 있습니다. 이는 긴급 개입(예: 계좌 동결)에 필요한 다운스트림 협업 및 사후 조사 문제를 해결하지 못하며, 이로 인해 피해자들은 단절된 시스템 속에서 헤매며 금융 회복을 위한 결정적인 골든타임을 놓치게 됩니다. 또한, LLM의 이 분야 배치는 안전하고 고품률인 데이터셋의 부재와 상용 모델이 법 집행 기관의 전형적인 제한된 폐쇄형 네트워크 환경 내에서 작동할 수 없다는 점에 의해 저해됩니다.

방법론

저자들은 탐지부터 범죄 조사에 이르는 엔드 투 엔드(end-to-end) 대응을 조율하기 위해 설계된 통합 LLM 기반 멀티 에이전트 프레임워크인 COUNTER-SCAM을 제안합니다. 이 시스템은 세 가지 핵심 축을 기반으로 구축되었습니다.

1. 핵심 가이드라인 및 안전성 (CSRD 기반)

데이터 프라이버시 및 오용 위험을 해결하기 위해, 프레임워크는 엄격한 가이드라인을 수립합니다:

• 데이터 오용 방지: 실제 사기 대화 데이터는 공개되지 않습니다. 대신, 시스템은 정제된 양질의 데이터와 공식적으로 생성된 텍스트(예: 긴급 보고서, 법률 요약)를 활용합니다.
• 전문가 참여: 37명의 이해관계자(경찰관, 조사관, 정책 분석가 포함)가 에이전트 설계, 작업 정의 및 데이터 주석 달성을 가이드했습니다.
• 안전한 데이터 구축: 분석적으로 의미 있는 신호(예: 악성 링크, 사칭된 신원)는 보존하면서 민감한 피해자 및 가해자 정보를 비식별화하는 CASE ANALYSIS NER 파이프라인이 개발되었습니다.

2. 멀티 에이전트 프레임워크 (CSRA)

시스템은 네 가지 특화된 에이전트를 통해 사기 대응 라이프사이클을 모델링하며, 각 에이전트는 정의된 역할, 목표 및 이해관계자(시민, 사이버 보안 팀, 경찰, 은행)를 가집니다:

• 상황 분석 에이전트 ($A_{SA}$): 사기 상황을 평가하고, 사용자의 현재 상태를 식별하며, 적절한 대응 경로(예방, 긴급 대응 또는 조사)를 결정합니다.
• 사기 예방 에이전트 ($A_{SP}$): 사기 대화 및 메시지를 실시간으로 탐지하여 시민들에게 경고를 발령하고, 사이버 보안 팀이 차단할 수 있도록 악성 지표를 추출합니다.
• 긴급 대응 에이전트 ($A_{ER}$): 계좌 동결과 같은 즉각적인 조치를 촉진하기 위해 피해 보고서를 신속하게 요약하고, 법 집행 기관 및 금융 기관과의 협력을 조율합니다.
• 조사 에이전트 ($A_{I}$): 범죄 혐의를 평가하고, 적용 가능한 법률을 매핑하며, 조직적 범죄 네트워크를 추적하기 위한 도구들을 추출함으로써 사후 분석을 지원합니다.

3. 태스크 스위트 및 데이터셋 (CSRT & CSRD)

프레임워크는 대규모 데이터셋(CSRD)으로 뒷받침되는 9가지 특정 NLP 작업(CSRT)을 통해 에이전트 역할을 구체화합니다. CSRD는 185,300건의 사기 사례와 38,587개의 지식 엔트리로 구성됩니다.

• 태스크: 범죄 탐지, 운영 QA, 사기 시나리오 탐지, 메시지 분류, 긴급 전화 요약, 범죄 가설 평가, 법령 매핑, 요소 분석 등을 포함합니다.
• 데이터 소스: 데이터셋은 실제 보이스 피싱 대화, 피해자 신고 SMS, 익명화된 긴급 전화 녹취록 및 법률 벤치마크를 통합하며, 합성 사례 및 경찰 절차 매뉴얼을 통해 증강되었습니다.

4. 평가 전략

실제 환경의 제약 조건(폐쇄형 네트워크, 제한된 컴퓨팅 자원)을 고려하여, 저자들은 미세 조정된 소규모 LLM(sLLM)을 상용 모델(GPT-4o, Gemini)과 비교 평가했습니다.

• 테스트된 모델: Llama-3.1-8B, SOLAR-10.7B, Llama-3.2-1B, 그리고 한국어 튜닝된 EEVE-Korean-Instruct-10.8B.
• 학습: sLLM은 CSRD를 사용하여 QLoRA 방식으로 미세 조정되었습니다.
• 지표: 정확도, F1 점수, 그리고 인간 전문가의 주석과 검증된 개방형 태스크를 위한 LLM-as-a-Judge 프레임워크를 사용했습니다.

주요 결과

• 미세 조정된 sLLM의 우수한 성능: 미세 조정된 sLLM은 9개 태스크 중 6개에서 상용 모델(GPT-4o, Gemini)을 능가하였으며, 평균 10% 이상의 성능 향상을 달성했습니다.
• 사기 특화 NER: 미세 조정된 모델은 범죄 도메인 NER에서 0.59의 F1 점수를 기록하여, 상용 모델(평균 F1 0.35)을 크게 앞질렀습니다. 특히 "가짜 직함", "피의자 성명", "범죄 도구"와 같은 개체 인식에서 뚜렷한 개선이 나타났습니다.
• 사기 탐지 안정성: 사기 시나리오 탐지에서 미세 조정된 sLLM은 상용 모델에 비해 훨씬 적은 오탐(False Negative)을 보이며 높은 안정성을 입증했습니다 (예: Gemini는 351개의 비사기 메시지를 사기로 오분류했으나, 최적의 sLLM은 단 4개만을 오분류함).
• 태스크별 이득: 사기 메시지 분류 태스크에서 가장 극적인 개선이 나타났으며, 미세 조정된 모델은 제로샷 베이스라인 대비 0.55의 성능 향상을 보였습니다.
• 한계점: 긴급 전화 요약 및 법률 분석과 같은 복잡한 추론 태스크는 여전히 도전 과제로 남아 있습니다. 작은 모델들은 긴 문맥 처리(Long-context processing)에 어려움을 겪었으며, 일부 태스크는 아직 성숙한 정확도 수준에 도달하지 못해 추가적인 학습 정교화가 필요함을 시사합니다.

의의 및 기여

본 논문은 단순한 사기 탐지를 넘어, 온라인 사기 대응 라이프사이클 전체를 아우르는 통합 에이전트-태스크-데이터 프레임워크를 제시한 최초의 연구라고 주장합니다. 주요 기여는 다음과 같습니다:

1. COUNTER-SCAM 프레임워크: 시민, 보안 팀, 법 집행 기관 및 은행 간의 신속하고 협력적인 완화를 가능하게 하는 통합 시스템입니다.
2. 실무적 배포 구성 요소: 37명의 도메인 전문가 참여를 통해 CSRA(에이전트), CSRT(태스크), CSRD(오용 방지 데이터)를 개발함으로써, 이론적 AI와 실제 법 집행 현장의 요구 사이의 간극을 메웠습니다.
3. 경험적 검증: 미세 조정된, 배포 가능한 sLLM이 사기 대응 특화 태스크에서 상용 대규모 모델을 크게 능가할 수 있음을 입증하여, 법 집행 기관을 위한 온프레미스(On-premise) AI 솔루션의 생존 가능성을 증명했습니다.
4. 협업을 위한 토대: 프레임워크와 대규모 데이터셋을 공개함으로써, 저자들은 사기 완화를 위한 확장 가능한 배포 및 국가 간 협력의 기반을 제공하고자 합니다.

저자들은 복잡한 추론의 과제가 남아 있음에도 불구하고, COUNTER-SCAM이 글로벌 온라인 사기를 완화하는 데 있어 AI 에이전트가 실질적인 파트너로서 가질 수 있는 잠재력을 검증하였으며, 현재 초국가적 범죄 네트워크가 이용하고 있는 대응의 공백을 메울 수 있는 경로를 제시한다고 결론짓습니다.