Resumo Técnico: COUNTER-SCAM

Declaração do Problema

Os golpes online evoluíram para uma ameaça transnacional caracterizada por engenharia social sofisticada e extração rápida de fundos, superando os mecanismos convencionais de detecção e resposta. Os sistemas atuais sofrem com atrasos críticos causados pela coordenação fragmentada entre agências e pela análise manual. Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa na detecção de conteúdo de golpes, a pesquisa existente permanece amplamente centrada na detecção. Ela falha em abordar a coordenação subsequente necessária para a intervenção de emergência (ex: congelamento de contas) e a investigação pós-incidente, deixando as vítimas navegando em sistemas desconectados e perdendo janelas críticas para recuperação financeira. Além disso, a implantação de LLMs neste domínio é dificultada pela falta de conjuntos de dados seguros e de alta qualidade e pela incapacidade de modelos comerciais operarem dentro de ambientes de rede fechada e restrita, típicos de agências de aplicação da lei.

Metodologia

Os autores propõem o COUNTER-SCAM, um framework multiagente unificado baseado em LLM, projetado para orquestrar uma resposta de ponta a ponta, desde a detecção inicial até a investigação criminal. O sistema é construído sobre três pilares centrais:

1. Diretrizes Principais e Segurança (Fundação CSRD)

Para abordar riscos de privacidade de dados e uso indevido, o framework estabelece diretrizes estritas:

• Prevenção de Uso Indevido de Dados: Dados reais de conversas de golpes não são liberados. Em vez disso, o sistema utiliza dados benignos curados e textos produzidos oficialmente (ex: relatórios de emergência, resumos jurídicos).
• Envolvimento de Especialistas: 37 partes interessadas (incluindo policiais, investigadores e analistas de políticas) orientaram o design dos agentes, a definição de tarefas e a anotação de dados.
• Construção de Dados Seguros: Um pipeline de CASE ANALYSIS NER foi desenvolvido para desidentificar informações sensíveis de vítimas e perpetradores, preservando simultaneamente sinais analiticamente significativos (ex: links maliciosos, identidades personificadas).

2. Framework Multiagente (CSRA)

O sistema modela o ciclo de vida de resposta a golpes através de quatro agentes especializados, cada um com papéis, objetivos e partes interessadas definidos (cidadãos, equipes de cibersegurança, polícia, bancos):

• Agente de Análise de Situação ($A_{SA}$): Avalia a situação do golpe, identifica o estado atual do usuário e determina a via de resposta apropriada (prevenção, emergência ou investigação).
• Agente de Prevenção de Golpes ($A_{SP}$): Realiza a detecção em tempo real de conversas e mensagens de golpes, emitindo alertas aos cidadãos e extraindo indicadores maliciosos para que as equipes de cibersegurança possam bloqueá-los.
• Agente de Resposta de Emergência ($A_{ER}$): Gera resumos rápidos de relatos de vítimas para facilitar ações imediatas, como o congelamento de contas, e coordena com autoridades de aplicação da lei e instituições financeiras.
• Agente de Investigação ($A_{I}$): Apoia a análise pós-incidente ao avaliar a responsabilidade criminal, mapear leis aplicáveis e extrair instrumentalidades para rastrear redes criminosas organizadas.

3. Suíte de Tarefas e Conjunto de Dados (CSRT & CSRD)

O framework operacionaliza os papéis dos agentes através de nove tarefas específicas de PLN (CSRT) suportadas por um conjunto de dados em larga escala (CSRD) composto por 185.300 casos de golpes e 38.587 entradas de conhecimento.

• Tarefas: Incluem Detecção de Ofensa, QA Operacional, Detecção de Cenários de Golpe, Classificação de Mensagens, Sumarização de Chamadas de Emergência, Avaliação de Hipótese Criminal, Mapeamento de Estatutos e Análise de Elementos.
• Fontas de Dados: O conjunto de dados integra conversas reais de phishing de voz, SMS relatados por vítimas, transcrições anonimizadas de chamadas de emergência e benchmarks legais, aumentados com casos sintéticos e manuais de procedimentos policiais.

4. Estratégia de Avaliação

Dadas as restrições do mundo real (redes fechadas, computação limitada), os autores avaliaram pequenos LLMs ajustados (sLLMs) contra modelos comerciais (GPT-4o, Gemini).

• Modelos Testados: Llama-3.1-8B, SOLAR-10.7B, Llama-3.2-1B e o modelo coreano ajustado EEVE-Korean-Instruct-10.8B.
• Treinamento: Os sLLMs foram ajustados utilizando QLoRA no CSRD.
• Métricas: Acurácia, pontuações F1 e um framework de LLM-como-Juiz para tarefas abertas, validados contra anotações de especialistas humanos.

Principais Resultados

• Desempenho Superior de sLLMs Ajustados: sLLMs ajustados superaram os modelos comerciais (GPT-4o, Gemini) em 6 de 9 tarefas, alcançando uma melhoria média de desempenho superior a 10%.
• NER Específico de Crimes: Os modelos ajustados alcançaram um F1 score de 0,59 para NER no domínio criminal, superando significativamente os modelos comerciais (média F1 0,35). Melhorias específicas foram observadas no reconhecimento de entidades como "cargo falso", "nome do acusado" e "ferramentas do crime".
• Estabilidade na Detecção de Golpes: Na Detecção de Cenários de Golpe, os sLLMs ajustados demonstraram maior estabilidade com significativamente menos falsos negativos em comparação com os modelos comerciais (ex: o Gemini classificou erroneamente 351 mensagens não maliciosas como golpes, enquanto o melhor sLLM classificou apenas 4).
• Ganhos Específicos por Tarefa: A tarefa de Classificação de Mensagens de Golpe mostrou a melhoria mais dramática, com os modelos ajustados excedendo as linhas de base zero-shot em 0,55 de desempenho.
• Limitações: Tarefas de raciocínio complexo, como Sumarização de Chamadas de Emergência e Análise Jurídica, continuam desafiadoras. Modelos menores tiveram dificuldades com o processamento de contexto longo, e algumas tarefas ainda não atingiram níveis de precisão maduros, indicando a necessidade de refinamento adicional no treinamento.

Significância e Contribuições

O artigo afirma ser o primeiro trabalho a ir além da detecção isolada de golpes para apresentar um framework integrado de agente–tarefa–dados que cobre todo o ciclo de vida de resposta a golpes online. Suas principais contribuições são:

1. Framework COUNTER-SCAM: Um sistema unificado que permite uma mitigação rápida e colaborativa entre cidadãos, equipes de segurança, autoridades de aplicação da lei e bancos.
2. Componentes de Implantação Prática: O desenvolvimento de CSRA (agentes), CSRT (tarefas) e CSRD (dados resistentes ao uso indevido) através do envolvimento ativo de 37 especialistas do domínio, preenchendo a lacuna entre a IA teórica e as necessidades operacionais de aplicação da lei.
3. Validação Empírica: Demonstração de que sLLMs ajustados e implantáveis podem superar significativamente grandes modelos comerciais em tarefas específicas de resposta a golpes, provando a viabilidade de soluções de IA locais (on-premise) para aplicação da lei.
4. Fundação para Colaboração: Ao liberar o framework e os conjuntos de dados em larga escala, os autores visam fornecer uma base para a implantação escalável e colaboração transfronteiriça na mitigação de golpes.

Os autores concluem que, embora desafios no raciocínio complexo persistam, o COUNTER-SCAM valida o potencial dos agentes de IA como parceiros práticos na mitigação de golpes online globais, oferecendo um caminho para fechar as lacunas de resposta atualmente exploradas por redes criminosas transnacionais.