RoboKA: KAN Informed Multimodal Learning for RoboCall Surveillance System

1. Declaração do Problema

A proliferação de ligações automatizadas (robocalls), cada vez mais geradas por Tecnologias de Texto para Fala (TTS) avançadas e Modelos de Linguagem de Grande Escala (LLMs), representa uma ameaça significativa à segurança e às finanças. Embora frameworks regulatórios como STIR/SHAKEN abordem a falsificação de identificação de chamadas, eles falham em detectar conteúdo enganoso gerado por agentes maliciosos utilizando:

• Manipulação psicolinguística: Uso de LLMs para criar roteiros persuasivos, urgentes ou emocionalmente carregados.
• Elaboração de emoção: Uso de TTS para injetar emoções específicas (ex.: medo, alegria) a fim de manipular as vítimas.
• Clonagem de voz: Imitação de vozes confiáveis para contornar a suspeita do usuário.

Desafios Principais:

• Escassez de Dados: A pesquisa existente é prejudicada pela falta de conjuntos de dados públicos e reproduzíveis devido a preocupações com privacidade. A maioria dos conjuntos de dados existentes é proprietária, de pequena escala ou carece de diversidade adversária.
• Mudanças de Distribuição: Sistemas de detecção atuais (áudio ou texto unimodal) são frágeis. Ataques podem evadir a detecção manipulando independentemente as características acústicas (prosódia, voz) ou o conteúdo linguístico.
• Limitações dos Modelos: Métodos de fusão padrão (ex.: MLPs, concatenação) frequentemente falham em capturar as interações não lineares complexas e estruturadas entre pistas acústicas e linguísticas necessárias para distinguir chamadas enganosas sob mudanças adversárias.

2. Metodologia

O artigo propõe uma solução de duas frentes: um novo conjunto de dados (Robo-SAr) e um novo framework de detecção (RoboKA).

A. Conjunto de Dados: Robo-SAr (RoboCall–Simulated Adversarial)

Para abordar a lacuna de dados, os autores curaram um conjunto de dados sintético adversário compreendendo:

• Escala: ~1.200 amostras indesejadas e ~1.200 amostras legítimas sintéticas, além de dados do mundo real do registro FTC Do Not Call (DNCR).
• Eixos Adversários:
  1. Psicolinguística: Transcrições manipuladas por LLMs (ChatGPT-4o) para injetar urgência, empatia e enquadramento de autoridade.
  2. Elaboração de Emoção: Fala sintetizada com 8 emoções distintas (ex.: Raiva, Ansiedade, Esperança) usando modelos TTS.
  3. Clonagem de Voz: Síntese usando 14 vozes distintas (incluindo clones de celebridades) via 4 motores TTS de última geração (Bark, OpenAI TTS, SpeechT5, xTTS).
• Realismo: As amostras são filtradas em banda (300–3400 Hz) e aumentadas com ruído branco para simular artefatos de telefonia.
• Validação: Validada via Taxa de Erro de Palavra (WER) contra ASR e anotação humana (Kappa de Fleiss e Pontuação Média de Opinião).

B. Modelo: RoboKA (Baseado em Rede Kolmogorov–Arnold)

O RoboKA é um framework multimodal projetado para modelar interações não lineares estruturadas entre áudio e texto.

1. Extração de Recursos:

   • Áudio: Utiliza Modelos Pré-treinados (PTMs) congelados como Wav2Vec2, WavLM ou HuBERT.
   • Texto: Utiliza PTMs congelados como BERT, RoBERTa ou GPT-2.
   • Adaptação: Ambas as modalidades passam por cabeças leves de CNN 1D para produzir embeddings de dimensão fixa.

2. Aprendizado Contrastivo Cross-Modal (CMCL):

   • Antes da classificação, o modelo alinha representações de áudio e texto usando uma perda InfoNCE. Isso garante que as representações latentes de uma chamada específica sejam semanticamente consistentes entre as modalidades, tornando o modelo robusto a ruídos em uma modalidade (ex.: erros de ASR ou manipulação prosódica).

3. Fusão Baseada em KAN (A Inovação Central):

   • Em vez de Redes de Perceptron Multicamada (MLPs) padrão, o RoboKA emprega Redes Kolmogorov–Arnold (KANs).
   • Mecanismo: As KANs substituem funções de ativação fixas por funções univariadas aprendíveis (baseadas em splines) nas arestas. Isso permite que a rede aprenda dependências não lineares complexas e suaves entre modalidades de forma mais eficiente e interpretável do que MLPs.
   • Arquitetura:
     • Cabeças KAN Específicas de Modalidade: Calibram recursos de áudio e texto independentemente.
     • Fusão KAN Empilhada: Concatena os recursos calibrados e os passa por camadas KAN empilhadas para modelar dependências conjuntas áudio-texto.

4. Fusão de Perda Baseada em Incerteza:

   • A função de perda total combina a Perda Contrastiva ($L_C$) e a Entropia Cruzada Binária ($L_{BCE}$).
   • Em vez de pesos fixos, o modelo aprende parâmetros escalares ($\sigma_C, \sigma_{BCE}$) para equilibrar adaptativamente os dois objetivos com base em sua incerteza, impedindo que uma tarefa domine durante o treinamento.

3. Contribuições Principais

1. Conjunto de Dados Robo-SAr: O primeiro corpus sintético adversarialmente enriquecido disponível publicamente, especificamente projetado para vigilância de robocalls, cobrindo três vetores de ataque principais (manipulação por LLM, emoção, clonagem de voz).
2. Framework RoboKA: A primeira aplicação de KANs para detecção multimodal de robocalls. Ele aproveita as KANs para capturar interações não lineares que os MLPs perdem, fornecendo uma fronteira de decisão mais robusta.
3. Benchmarks Abrangentes: Avaliação extensa sob quatro cenários distintos:
   • T1: Holdout de motor TTS (modelos TTS não vistos).
   • T2: Holdout de emoção (emoções não vistas).
   • T3: Holdout aleatório no domínio.
   • T4: Teste Fora do Domínio (OoD) em dados reais da FTC.

4. Resultados Experimentais

Os autores compararam o RoboKA com bases fortes unimodais e multimodais (Concatenação, MLPs de Fusão Tardia, Atenção Cross-Modal).

• Ganhos de Desempenho: O RoboKA superou consistentemente todas as bases, particularmente no cenário mais desafiador Fora do Domínio (T4).
  • No conjunto de dados real DNCR, o RoboKA alcançou um Recall Indesejado (uRc) de 82,21%, superando significativamente a melhor base não-KAN (67,21%).
  • No cenário T1 (holdout TTS), o RoboKA melhorou o Macro-F1 em +17,44% sobre a melhor base.
• Estudos de Ablação:
  • Remover o componente KAN (retornando ao MLP) causou quedas significativas de desempenho, especialmente em configurações OoD, confirmando a necessidade de calibração não linear.
  • Remover o CMCL reduziu a robustez a ruídos específicos de modalidade.
  • A perda ponderada por incerteza melhorou a estabilidade através de mudanças de distribuição.
• Análise de Modalidade: Modelos unimodais de áudio degradaram-se significativamente sob mudanças de emoção, enquanto modelos de texto permaneceram estáveis, mas vulneráveis a erros de ASR. A fusão multimodal preencheu essa lacuna, com o RoboKA maximizando a complementaridade de "o que é dito" (texto) e "como é dito" (áudio).

5. Significado e Conclusão

Este trabalho aborda uma lacuna crítica na pesquisa de defesa contra robocalls, fornecendo um benchmark reproduzível e uma arquitetura de detecção de última geração.

• Robustez: Ao utilizar KANs, o sistema modela efetivamente a interação complexa e não linear entre prosódia acústica e intenção linguística, tornando mais difícil para adversários evadirem a detecção manipulando uma única modalidade.
• Reprodutibilidade: O lançamento do Robo-SAr permite que pesquisas futuras façam benchmark contra um conjunto de dados padronizado e adversário, fomentando progresso cumulativo.
• Impacto Prático: A capacidade do framework de generalizar para dados reais não vistos (FTC DNCR) sugere que é um candidato viável para implantação em sistemas de vigilância do mundo real para mitigar os bilhões de dólares perdidos anualmente com fraudes de robocalls.

Limitações: O estudo está atualmente limitado ao inglês, e a avaliação OoD depende de testes apenas positivos (falta de dados de chamadas legítimas do mundo real para análise de precisão). Trabalhos futuros visam abordar o suporte multilíngue e refinar a lacuna de domínio entre acústicas sintéticas e do mundo real.