Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

Resumen Técnico: Explorando los Límites de la Detección Basada en Audio de Estafas Telefónicas en Turco

Planteamiento del Problema
Las estafas telefónicas representan una amenaza global en rápido crecimiento; sin embargo, la investigación en detección técnica se ha mantenido fuertemente sesgada hacia el inglés y otros idiomas de altos recursos. Esto deja vulnerables a las comunidades de lenguas de bajos recursos, como los hablantes de turco. La detección en estos contextos se complica por dos factores: la escasez de datos anotados y las limitaciones de las defensas actuales. Además, la investigación existente sobre la detección de estafas se basa predominantemente en el Procesamiento de Lenguaje Natural (PLN) utilizando transcripciones de texto. Este enfoque pasa por alto las señales afectivas y prosódicas críticas —como la entonación, el énfasis y el alargamiento de las vocales— que los estafadores explotan para manipular la confianza y la urgencia. Estas señales suelen perderse cuando el habla se reduce a texto, lo que crea una brecha en las capacidades de detección, particularmente para lenguas aglutinantes como el turco, que presentan desafíos únicos para el Reconocimiento Automático del Habla (ASR) debido a su complejidad morfológica y variaciones coloquiales.

Metodología
Para abordar estas brechas, los autores introdujeron el primer conjunto de datos multimodal público diseñado específicamente para la detección de estafas en turco. El conjunto de datos comprende 100 pares alineados de audio-transcripción, equilibrados entre 50 llamadas de estafa y 50 llamadas benignas. El audio se obtuvo de videos de YouTube disponibles públicamente identificados explícitamente como estafas, posteriormente verificados por un hablante nativo de turco para confirmar el contenido fraudulento. Las llamadas cubren diversas tácticas, incluyendo fraude financiero, robo de identidad y estafas de empleo.

El estudio evaluó siete Modelos de Lenguaje de Gran Escala (LLM) a través de tres familias: Gemini 2.5 (Flash, Flash-Lite, Pro), GPT-4o y Qwen (Max, Plus, Turbo). Los modelos fueron probados bajo tres condiciones de entrada distintas sin ajuste fino (fine-tuning) ni optimización de prompts entre muestras:

1. Método 1 (Audio Crudo): Entrada directa de archivos de audio crudos al LLM multimodal.
2. Método 2 (Transcripción No Verificada): Audio convertido a texto mediante el sistema ASR Scribe V1, y luego pasado al LLM sin corrección humana.
3. Método 3 (Transcripción Verificada): Salida del ASR revisada y corregida por un hablante fluido de turco antes de la entrada al LLM.

Resultados Clave
La evaluación reveló patrones de rendimiento distintos según las modalidades:

• Superioridad de la Transcripción: Las entradas basadas en transcripciones superaron consistentemente al procesamiento de audio crudo. Las puntuaciones F1 medias para transcripciones verificadas y no corregidas fueron de 0.995 y 0.992, respectivamente, en comparación con 0.969 para el audio crudo.
• Impacto de la Calidad del ASR: La diferencia entre las transcripciones corregidas por humanos y las no corregidas fue insignificante (una diferencia promedio de 0.008 puntos F1), lo que sugiere que, una vez que existe una transcripción, la calidad específica de la salida del ASR tiene un impacto mínimo en el rendimiento de la detección.
• Modos de Fallo del Audio: La brecha de rendimiento en el procesamiento de audio fue impulsada principalmente por las negativas de los filtros de contenido. Los modelos se negaron frecuentemente a procesar llamadas que contenían lenguaje soez, tonos agresivos o temas como la suplantación de la autoridad policial y la extorsión. Dado que estas son tácticas comunes en las estafas del mundo real, estas negativas fueron contabilizadas como falsos negativos. En contraste, el mismo contenido presentado como texto tenía menos probabilidades de activar los filtros de seguridad. Además, algunos modelos tuvieron dificultades con el habla superpuesta y el ruido de fondo, y se observaron ciertos artefactos de alucinación en los procesos de Qwen Audio, probablemente derivados de datos de entrenamiento que contienen videos subtitulados.

Contribuciones Clave

• Creación de Dataset: El lanzamiento del primer conjunto de datos multimodal público de 100 pares de llamadas de estafa y benignas en turco, abordando la escasez crítica de datos en la investigación de seguridad para lenguas de bajos recursos.
• Evaluación Empírica: Una comparación sistemática de siete LLM de última generación a través de audio crudo y diversas calidades de transcripción, proporcionando métricas de rendimiento base para la detección de estafas en turco.
• Perspectiva sobre Mecanismos de Seguridad: La identificación de una tensión fundamental entre los mecanismos de seguridad de los modelos (filtros de contenido) y la utilidad práctica en la detección adversaria, donde las negativas de seguridad degradan inadvertidamente el rendimiento de la detección en llamadas de estafa de alto riesgo.

Significancia y Reivindicaciones
El artículo sostiene que, para la detección de estafas en turco, las entradas basadas en transcripciones son actualmente más robustas y efectivas que el procesamiento directo de audio en los LLM evaluados. Destaca que el costo de la revisión por parte de un hablante nativo para las transcripciones puede no estar justificado dada la capacidad comparable de las salidas de ASR no corregidas.

Los autores enfatizan la necesidad urgente de una investigación de seguridad de IA cultural y lingüísticamente inclusiva. Argumentan que depender únicamente de lenguas de altos recursos deja desprotegidas a vastas poblaciones. Sin embargo, el documento mantiene una postura modesta respecto a sus hallazgos, reconociendo que las altas puntuaciones F1 pueden reflejar en parte el alcance limitado (100 llamadas) y posibles artefactos en el conjunto de datos, como la calidad inconsistente del audio. El trabajo sirve como un paso fundacional más que como una solución final, señalando la necesidad de expandir los conjuntos de datos y evaluar la robustez bajo condiciones más amplias del mundo real.