Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

기술 요약: 오디오 기반 터키어 전화 사기 탐지의 한계 탐색

문제 정의
전화 사기는 전 세계적으로 급증하는 위협이지만, 기술적 탐지 연구는 영어 및 기타 고자원 언어에 크게 치우쳐 있습니다. 이는 터키어 사용자와 같은 저자원 언어 공동체를 취약하게 만듭니다. 이러한 맥락에서의 탐지는 두 가지 요인으로 인해 복잡해집니다: 주석이 달린 데이터의 부족과 현재 방어 체계의 한계입니다. 또한, 기존의 사기 탐지 연구는 주로 텍스트 전사(transcript)를 사용하는 자연어 처리(NLP)에 의존합니다. 이러한 방식은 사기꾼들이 신뢰와 긴박감을 조작하기 위해 이용하는 억양, 강세, 모음 연장과 같은 중요한 정동적(affective) 및 운율적(prosodic) 단서들을 간과합니다. 이러한 단서들은 음성이 텍스트로 축소될 때 흔히 손실되며, 이는 특히 형태론적 복잡성과 구어적 변이가 존재하여 자동 음성 인식(ASR)에 독특한 과제를 제기하는 터키어와 같은 교착어에서 탐지 역량의 격차를 만듭니다.

연구 방법론
이러한 격차를 해결하기 위해, 저자들은 터키어 사기 탐지를 위해 특별히 설계된 최초의 공개 멀티모달 데이터셋을 도입했습니다. 이 데이터셋은 사기 통화 50개와 정상 통화 50개로 균형을 맞춘 100개의 정렬된 오디오-전사 쌍으로 구성됩니다. 오디오는 사기로 명시적으로 식별된 공개 유튜브 영상에서 추출되었으며, 이후 원어민 검증을 통해 사기 내용임을 확인했습니다. 통화 내용은 금융 사기, 신원 도용, 고용 사기 등 다양한 수법을 포괄합니다.

본 연구는 세 가지 계열의 7가지 대규모 언어 모델(LLM)을 평가했습니다: Gemini 2.5 (Flash, Flash-Lite, Pro), GPT-4o, 그리고 Qwen (Max, Plus, Turbo). 모델들은 샘플 간의 미세 조정이나 프롬프트 최적화 없이 세 가지 별도의 입력 조건 하에서 테스트되었습니다:

1. 방법 1 (Raw Audio): 멀티모달 LLM에 가공되지 않은 오디오 파일을 직접 입력.
2. 방법 2 (Unchecked Transcript): 오디오를 Scribe V1 ASR 시스템을 통해 텍스트로 변환한 후, 인간의 교정 없이 LLM에 전달.
3. 방법 3 (Checked Transcript): ASR 출력을 유창한 터키어 화자가 검토하고 교정한 후 LLM에 입력.

주요 결과
평가 결과, 모달리티에 따라 뚜렷한 성능 패턴이 나타났습니다:

• 전사 데이터의 우위: 전사 기반 입력이 원시 오디오 처리보다 일관되게 우수한 성능을 보였습니다. 교정된 전사와 교정되지 않은 전사의 평균 F1 점수는 각각 0.995와 0.992였으며, 원시 오디오는 0.969를 기록했습니다.
• ASR 품질의 영향: 인간이 교정한 전사와 교정되지 않은 전사 사이의 차이는 미미했습니다(평균 0.008 F1 포인트 차이). 이는 일단 전사가 존재하면, ASR 출력의 구체적인 품질이 탐지 성능에 미치는 영향이 최소 수준임을 시사합니다.
• 오디오 실패 모드: 오디오 처리에서의 성능 격차는 주로 콘텐츠 필터 거부(content-filter refusals)에 의해 발생했습니다. 모델들은 욕설, 공격적인 어조, 또는 경찰 사칭 및 갈취와 같은 주제를 포함하는 통화를 처리하기를 자주 거부했습니다. 이러한 주제는 실제 사기에서 흔히 쓰이는 수법이므로, 이러한 거부는 거짓 음성(false negatives)으로 간 Count되었습니다. 반면, 동일한 내용이 텍스트로 제시될 경우 안전 필터를 트리거할 가능성이 낮았습니다. 또한, 일부 모델은 중첩된 음성 및 배경 소음에 어려움을 겪었으며, Qwen 오디오 파이프라인에서는 자막이 포함된 비디오 데이터의 영향으로 추정되는 특정 환각(hallucination) 아티팩트가 관찰되었습니다.

주요 기여

• 데이터셋 구축: 저자원 언어 안전 연구의 데이터 부족 문제를 해결하기 위해, 100개의 터키어 사기 및 정상 통화 쌍을 포함한 최초의 공개 멀티모달 데이터셋을 공개했습니다.
• 경험적 평가: 원시 오디오 및 다양한 전사 품질에 걸쳐 7가지 최첨단 LLM을 체계적으로 비교하여, 터키어 사기 탐지를 위한 베이스라인 성능 지표를 제공했습니다.
• 안전 메커니즘에 대한 통찰: 모델의 안전 메커니즘(콘텐츠 필터)과 적대적 탐지에서의 실질적 유용성 사이의 근본적인 긴장 관계를 식발했습니다. 즉, 안전을 위한 거부가 고위험 사기 통화에 대한 탐지 성능을 의도치 않게 저하시킨다는 점을 확인했습니다.

의의 및 주장
본 논문은 터키어 사기 탐지에 있어 현재 전사 기반 입력이 평가된 LLM들 사이에서 직접 오디오 처리보다 더 견고하고 효과적이라고 주장합니다. 또한, 교정되지 않은 ASR 출력의 성능이 유사하다는 점을 고려할 때, 전사를 위한 원어민 검토 비용은 정당화되지 않을 수 있음을 강조합니다.

저자들은 문화적, 언어적으로 포용적인 AI 안전 연구의 시급성을 강조합니다. 고자원 언어에만 의존하는 것은 방대한 인구 집단을 보호받지 못하게 만든다고 주장합니다. 그러나 본 논문은 높은 F1 점수가 100개의 통화라는 제한된 범위와 일관되지 않은 오디오 품질과 같은 데이터셋의 잠재적 아티팩트를 반영할 수 있음을 인정하며 신중한 입장을 유지합니다. 이 연구는 최종적인 해결책이라기보다 기초적인 단계로서, 데이터셋 확장과 더 넓은 실세계 조건에서의 강건성 평가의 필요성을 시사합니다.