Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

Technische Samenvatting: Het verkennen van de grenzen van audio-gebaseerde detectie van Turkse telefo scams

Probleemstelling
Telefoonscam representeren een snel groeiende wereldwijde dreiging, maar technisch detectieonderzoek is zwaar naar Engels en andere hoogwaardige talen blijven neigen. Dit laat gemeenschappen met een lage bronwaarde, zoals Turkstaligen, kwetsbaar achter. Detectie in deze contexten wordt bemoeilijkt door twee factoren: de schaarste aan geannoteerde data en de beperkingen van huidige verdedigingsmechanismen. Bovendien leunt bestaand onderzoek naar scamdetectie voornamelijk op Natural Language Processing (NLP) met teksttranscripten. Deze aanpak negeert cruciale affectieve en prosodische kenmerken—zoals intonatie, nadruk en klinkerverlenging—die scammers gebruiken om vertrouwen en urgentie te manipuleren. Deze kenmerken gaan vaak verloren wanneer spraak wordt gereduceerd tot tekst, wat een gat creëert in de detectiecapaciteiten, met name voor agglutinerende talen zoals het Turks, die unieke uitdagingen presenteren voor Automatic Speech Recognition (ASR) vanwege morfologische complexiteit en colloquiale variaties.

Methodologie
Om deze hiaten aan te pakken, introduceerden de auteurs de eerste publieke multimodale dataset specifiek voor Turkse scamdetectie. De dataset bestaat uit 100 uitgelijnde audio-transcriptparen, gebalanceerd tussen 50 scam-gesprekken en 50 legitieme gesprekken. De audio werd afkomstig uit publiekelijk beschikbare YouTube-video's die expliciet als scams werden geïdentificeerd, en vervolgens geverifieerd door een moedertaalspreker van het Turks om de frauduleuze inhoud te bevestigen. De gesprekken dekken diverse tactieken, waaronder financiële fraude, identiteitsdiefstal en werkgerelateerde scams.

De studie evalueerde zeven Large Language Models (LLMs) binnen drie families: Gemini 2.5 (Flash, Flash-Lite, Pro), GPT-4o, en Qwen (Max, Plus, Turbo). De modellen werden getest onder drie verschillende inputcondities zonder fine-tuning of prompt-optimalisatie tussen de samples:

1. Methode 1 (Ruwe Audio): Directe input van ruwe audiobestanden naar de multimodale LLM.
2. Methode 2 (Ongecontroleerd Transcript): Audio omgezet naar tekst via het Scribe V1 ASR-systeem, en daarna doorgegeven aan de LLM zonder menselijke correctie.
3. Methode 3 (Gecontroleerd Transcript): ASR-output beoordeeld en gecorrigeerd door een vloeiend Turkse spreker voordat de input naar de LLM ging.

Belangrijkste Resultaten
De evaluatie onthulde duidelijke prestatiepatronen over de modaliteiten heen:

• Superioriteit van Transcripten: Transcript-gebaseerde inputs presteerden consistent beter dan ruwe audioverwerking. De gemiddelde F1-scores voor gecontroleerde en ongecontroleerde transcripten waren respectievelijk 0,995 en 0,992, vergeleken met 0,969 voor ruwe audio.
• Impact van ASR-kwaliteit: Het verschil tussen menselijk gecorrigeerde en ongecontroleerde transcripten was verwaarloosbaar (een gemiddeld verschil van 0,008 F1-punten), wat suggereert dat zodra een transcript aanwezig is, de specifieke kwaliteit van de ASR-output minimale impact heeft op de detectieprestaties.
• Falen van Audio: Het prestatiegat in audioverwerking werd primair gedreven door weigeringen van contentfilters. Modellen weigerden vaak om gesprekken te verwerken die vloeken, agressieve tonen of thema's zoals politie-impersonatie en afpersing bevatten. Aangezien dit veelvoorkomende tactieken zijn in echte scams, werden deze weigeringen geteld als fout-negatieven (false negatives). In contrast hiermee was dezelfde inhoud minder geneigd om veiligheidsfilters te triggeren wanneer deze als tekst werd gepresenteerd. Daarnaast hadden sommige modellen moeite met overlappende spraak en achtergrondruis, en werden er specifieke hallucinatie-artefacten waargenomen in Qwen Audio-pipelines, waarschijnlijk voortkomend uit trainingsdata die ondertitelde video's bevatten.

Belangrijkste Bijdragen

• Dataset Creatie: De release van de eerste publieke, multimodale dataset van 100 Turkse scam en legitieme gespreksparen, waarmee een kritiek tekort aan data in veiligheidsonderzoek voor talen met een lage bronwaarde wordt aangepakt.
• Empirische Evaluatie: Een systematische vergelijking van zeven state-of-the-art LLM's over ruwe audio en variërende transcriptkwaliteiten, wat basisprestatie-metrieken biedt voor Turkse scamdetectie.
• Inzicht in Veiligheidsmechanismen: De identificatie van een fundamentele spanning tussen modelveiligheidsmechanismen (contentfilters) en praktische bruikbaarheid in adversariële detectie, waarbij veiligheidsweigeringen onbedoeld de detectieprestaties op hoog-risico scam-gesprekken verslechteren.

Betekenis en Claims
Het artikel beweert dat voor Turkse scamdetectie transcript-gebaseerde inputs momenteel robuuster en effectiever zijn dan directe audioverwerking over de geëvalueerde LLM's heen. Het benadrukt dat de kosten van een review door een moedertaalspreker voor transcripten mogelijk niet gerechtvaardigd zijn, gezien de vergelijkbare prestaties van ongecorrigeerde ASR-outputs.

De auteurs benadrukken de dringende noodzaak voor cultureel en taalkundig inclusief AI-veiligheidsonderzoek. Zij stellen dat het uitsluitend vertrouwen op talen met een hoge bronwaarde enorme populaties onbeschermd laat. Het artikel behoudt echter een bescheiden houding ten aanzien van de bevindingen, waarbij wordt erkend dat de hoge F1-scores deels kunnen reflecteren op de beperkte omvang (100 gesprekken) en potentiële artefacten in de dataset, zoals inconsistente audiokwaliteit. Het werk dient als een fundamentele stap in plaats van een definitieve oplossing, en wijst op de noodzaak om datasets uit te breiden en de robuustheid onder bredere real-world condities te evalueren.