Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

Resumo Técnico: Explorando os Limites da Detecção de Golpes Telefônicos em Turco Baseada em Áudio

Definição do Problema
Os golpes telefônicos representam uma ameaça global em rápido crescimento, mas a pesquisa de detecção técnica tem permanecido fortemente enviesada para o inglês e outras línguas de alto recurso. Isso deixa as comunidades de línguas de baixo recurso, como os falantes de turco, vulneráveis. A detecção nesses contextos é complicada por dois fatores: a escassez de dados anotados e as limitações das defesas atuais. Além disso, a pesquisa existente de detecção de golpes baseia-se predominantemente em Processamento de Linguagem Natural (NLP) usando transcrições de texto. Essa abordagem negligencia pistas afetivas e prosódicas críticas — como entonação, estresse e prolongamento de vogais — que os golpistas exploram para manipular a confiança e a urgência. Essas pistas são frequentemente perdidas quando a fala é reduzida ao texto, criando uma lacuna nas capacidades de detecção, particularmente para línguas aglutinantes como o turco, que apresentam desafios únicos para o Reconhecimento Automático de Fala (ASR) devido à complexidade morfológica e variações coloquiais.

Metodologia
Para abordar essas lacunas, os autores introduziram o primeiro conjunto de dados multimodal público especificamente para a detecção de golpes em turco. O conjunto de dados compreende 100 pares de áudio-transcrição alinhados, equilibrados entre 50 chamadas de golpe e 50 chamadas benignas. O áudio foi obtido de vídeos do YouTube publicamente disponíveis, explicitamente identificados como golpes, posteriormente verificados por um falante nativo de turco para confirmar o conteúdo fraudulento. As chamadas abrangem diversas táticas, incluindo fraude financeira, roubo de identidade e golpes de emprego.

O estudo avaliou sete Grandes Modelos de Linguagem (LLMs) de três famílias: Gemini 2.5 (Flash, Flash-Lite, Pro), GPT-4o e Qwen (Max, Plus, Turbo). Os modelos foram testados sob três condições distintas de entrada, sem ajuste fino ou otimização de prompt entre as amostras:

1. Método 1 (Áudio Bruto): Entrada direta de arquivos de áudio bruto para o LLM multimodal.
2. Método 2 (Transcrição Não Verificada): Áudio convertido em texto via sistema ASR Scribe V1, enviado ao LLM sem correção humana.
3. Método 3 (Transcrição Verificada): Saída do ASR revisada e corrigida por um falante fluente de turco antes da entrada no LLM.

Principais Resultados
A avaliação revelou padrões de desempenho distintos entre as modalidades:

• Superioridade da Transcrição: Entradas baseadas em transcrição superaram consistentemente o processamento de áudio bruto. Os escores F1 médios para transcrições verificadas e não corrigidas foram de 0,995 e 0,992, respectivamente, comparados a 0,969 para áudio bruto.
• Impacto da Qualidade do ASR: A diferença entre transcrições corrigidas por humanos e não corrigidas foi insignificante (uma diferença média de 0,008 pontos F1), sugerindo que, uma vez que uma transcrição existe, a qualidade específica da saída do ASR tem impacto mínimo no desempenho da detecção.
• Modos de Falha de Áudio: A lacuna de desempenho no processamento de áudio foi impulsionada principalmente por recusas de filtros de conteúdo. Os modelos frequentemente recusaram-se a processar chamadas contendo palavrões, tons agressivos ou temas como falsidade de identidade policial e extorsão. Como estas são táticas comuns em golpes do mundo real, essas recusas foram contadas como falsos negativos. Em contraste, o mesmo conteúdo apresentado como texto era menos propenso a acionar filtros de segurança. Além disso, alguns modelos tiveram dificuldades com falas sobrepostas e ruído de fundo, e artefatos específicos de alucinação foram observados nos pipelines de Qwen Audio, provavelmente decorrentes de dados de treinamento que continham vídeos legendados.

Principais Contribuições

• Criação de Conjunto de Dados: O lançamento do primeiro conjunto de dados multimodal público de 100 pares de chamadas de golpe e benignas em turco, abordando uma escassez crítica de dados na pesquisa de segurança de línguas de baixo recurso.
• Avaliação Empírica: Uma comparação sistemática de sete LLMs de última geração entre áudio bruto e diferentes qualidades de transcrição, fornecendo métricas de desempenho de base para a detecção de golpes em turco.
• Percepção sobre Mecanismos de Segurança: A identificação de uma tensão fundamental entre os mecanismos de segurança dos modelos (filtros de conteúdo) e a utilidade prática na detecção adversária, onde recusas de segurança degradam inadvertidamente o desempenho da detecção em chamadas de alto risco.

Significância e Alegações
O artigo afirma que, para a detecção de golpes em turco, as entradas baseadas em transcrição são atualmente mais robustas e eficazes do que o processamento direto de áudio entre os LLMs avaliados. Destaca que o custo da revisão por um falante nativo para as transcrições pode não ser justificado, dado o desempenho comparável das saídas de ASR não corrigidas.

Os autores enfatizam a necessidade urgente de uma pesquisa de segurança de IA cultural e linguisticamente inclusiva. Eles argumentam que confiar apenas em línguas de alto recurso deixa vastas populações desprotegidas. No entanto, o artigo mantém uma postura modesta em relação aos seus achados, reconhecendo que os altos escores F1 podem refletir parcialmente o escopo limitado (100 chamadas) e potenciais artefatos no conjunto de dados, como a qualidade inconsistente do áudio. O trabalho serve como um passo fundamental, em vez de uma solução final, apontando para a necessidade de expandir os conjuntos de dados e avaliar a robustez sob condições mais amplas do mundo real.