Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection

Este artigo propõe um framework de LLM aprimorado por conhecimento de domínio que integra insights estruturados com um processo de detecção em duas etapas para identificar efetivamente conversas enganosas e classificar a deriva de conceito como benigna ou fraudulenta, alcançando 98% de precisão e robustez superior em comparação com baselines de zero-shot.

O essencial

O Grande Problema: O Golpista "Mudador de Forma"

Imagine que você é um segurança de uma boate movimentada (a internet). Seu trabalho é identificar hóspedes falsos (golpistas) tentando se infiltrar.

No passado, os golpistas eram fáceis de identificar porque usavam disfarces óbvios. Mas agora, os golpistas são como mudadores de forma. Eles começam conversando normalmente sobre o clima ou comida (conversa benigna), mas então mudam abruptamente de rumo para tentar roubar seu cartão de crédito ou enganar você (fraude).

Essa mudança súbita de tópico ou tom é chamada de "Deriva de Conceito".

• O Problema: Às vezes, pessoas comuns também mudam de assunto (por exemplo, falando sobre o clima e depois pedindo uma carona). Um segurança padrão pode ficar confuso, achando que uma mudança de assunto normal é um golpe, ou, pior, deixar passar um golpe porque ele começou com uma conversa normal.
• As Ferramentas Antigas: Programas de computador tradicionais são como guardas que apenas memorizam uma lista de "palavras ruins". Se um golpista usar novas palavras ou mudar de assunto, o guarda não os identifica.
• A Nova Ferramenta (LLMs): Modelos de Linguagem Grandes (LLMs) são como guardas que podem ler e entender histórias complexas. No entanto, às vezes eles ficam confusos, inventam coisas (alucinações) ou não conhecem as regras específicas do seu clube.

A Solução: O Sistema de "Guia Especialista"

Os autores deste artigo construíram uma equipe de segurança de três partes para pegar esses golpistas que mudam de forma. Eles não deram apenas um cérebro genérico à IA; deram a ela um manual de instruções especializado (Conhecimento de Domínio) para ajudá-la a entender os truques específicos que os golpistas usam.

Veja como o sistema deles funciona, passo a passo:

1. O Primeiro Guarda: O Detector de "Avaliações Falsas"

Antes de lidar com conversas complexas, eles testaram o sistema em avaliações falsas (como avaliações falsas do Yelp ou Amazon).

• A Analogia: Imagine um guarda verificando uma lista de convidados. Sem ajuda, o guarda pode achar que uma avaliação muito entusiástica é apenas de um cliente feliz.
• A Atualização: A equipe deu ao guarda uma lista de verificação de "sinais suspeitos" (por exemplo: "A elogio é exagerado demais?", "Soa como um robô?", "Há palavras-chave estranhas?").
• O Resultado: Quando o guarda tinha essa lista de verificação, ele ficou muito melhor em identificar os falsos. Por exemplo, um modelo de IA (Claude) passou de estar correto 87% das vezes para 95% apenas usando a lista de verificação.

2. O Segundo Guarda: O Alarme de "Deriva" (OCDD)

Uma vez que o sistema está monitorando uma conversa ao vivo, ele precisa saber se o assunto está mudando.

• A Analogia: Imagine que uma conversa é um rio. Normalmente, a água flui suavemente. De repente, o rio bate em uma pedra e muda de direção.
• A Ferramenta: Eles usaram uma ferramenta estatística chamada OCDD (Detector de Deriva de Conceito de Classe Única). Esta ferramenta não tenta entender o significado das palavras ainda; ela age apenas como um sensor de movimento. Se o "fluxo" da conversa mudar muito abruptamente, o alarme dispara.

3. O Terceiro Guarda: O "Intérprete Especialista"

Quando o alarme dispara, um segundo guarda mais inteligente (um segundo LLM) entra em ação.

• O Trabalho: Este guarda olha para a mudança súbita e pergunta: "Isso é uma troca de assunto inofensiva (como falar sobre o clima) ou é uma armadilha (como uma tentativa de phishing)?"
• A Arma Secreta: Assim como o primeiro guarda, este também tem o manual de instruções especializado. Ele sabe que, se alguém pedir seu cartão de crédito de repente depois de falar sobre um emprego, isso é um padrão específico de fraude.
• O Resultado: Este sistema conseguiu distinguir com sucesso entre uma mudança de assunto inofensiva e um golpe malicioso.

Os Resultados: Quem Venceu o Jogo?

A equipe testou este sistema usando um conjunto de dados de conversas reais (SEConvo) e comparou com métodos mais antigos.

• O Campeão: O modelo LLaMA (uma IA de código aberto) foi o jogador estrela. Quando recebeu o "manual de instruções especial" (Conhecimento de Domínio), alcançou 98% de precisão. Foi muito melhor do que a antiga "equipe de guardas" (modelos tradicionais de aprendizado de máquina), que acertou apenas cerca de 82%.
• A Lição: Dar à IA conhecimento específico sobre como os golpistas se comportam tornou-a muito mais inteligente, confiável e fácil de confiar do que apenas deixá-la chutar sozinha.

Resumo

Pense neste artigo como um guia sobre como treinar um guarda de segurança.

1. Não confie apenas na memória: Guardas antigos (ML tradicional) esquecem novos truques.
2. Não confie apenas na inteligência bruta: Guardas inteligentes (LLMs) podem ficar confusos ou inventar coisas.
3. Dê a eles uma cola: Ao fornecer à IA regras e padrões específicos sobre fraude (Conhecimento de Domínio), ela se torna um super-guarda capaz de identificar os golpistas sutis e que mudam de forma que outros perdem.

O artigo prova que, quando você combina uma IA inteligente com a compreensão humana das táticas de fraude, você obtém um sistema altamente preciso e que pode explicar por que pegou um golpista.

Resumo técnico

Resumo Técnico: LLMs Aprimorados por Conhecimento de Domínio para Detecção de Fraude e Deriva de Conceito

1. Declaração do Problema

Detectar conversas enganosas em plataformas digitais dinâmicas torna-se cada vez mais desafiador devido a padrões linguísticos em evolução e à Deriva de Conceito (CD). A deriva de conceito refere-se a mudanças semânticas ou tópicas que alteram o contexto ou a intenção das interações ao longo do tempo. Essas mudanças podem obscurecer intenções maliciosas ou mimetizar diálogos normais, tornando a classificação precisa difícil.

Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem forte desempenho em tarefas de linguagem natural, eles enfrentam limitações significativas em cenários de alto risco e sensíveis a riscos:

• Ambiguidade Contextual: Dificuldade em distinguir entre mudanças de tópico genuínas (deriva benigna) e pivôs manipulativos (deriva adversária).
• Alucinações: Uma tendência a gerar informações incorretas quando falta fundamentação específica de domínio.
• Falta de Adaptação: Modelos tradicionais de Aprendizado de Máquina (ML) dependem de características fixas e lutam contra a natureza fluida e ambígua de conversas multi-turno.
• Interpretabilidade: A natureza de "caixa preta" de muitos modelos torna difícil entender por que uma conversa foi sinalizada, um requisito crítico para detecção de fraude.

Os autores argumentam que a detecção de fraude e a deriva de conceito não devem ser tratadas como tarefas isoladas, pois conversas fraudulentas frequentemente envolvem mudanças sutis de tom ou intenção que se assemelham a transições benignas.

2. Metodologia

O artigo propõe um Framework Dual-LLM Aprimorado por Conhecimento de Domínio (DK) projetado para modelar conjuntamente engano e deriva. A metodologia é executada em duas fases:

Fase I: Detecção de Resenhas Falsas (Configurações Estáticas)

• Objetivo: Validar o valor do conhecimento de domínio para aprimorar o desempenho de LLMs na classificação de conteúdo enganoso estático e de turno único.
• Conjunto de Dados: O Conjunto de Dados de Resenhas Falsas do Yelp (20.000 resenhas: 15.000 reais, 5.000 falsas).
• Abordagem:
  1. Descoberta de Padrões: Uma análise inicial por LLM de dados rotulados identificou marcadores linguísticos específicos de resenhas falsas (ex.: elogios exagerados, sentimento vago, frases não naturais, uso excessivo de jargões).
  2. Prompting Estruturado: Esses padrões identificados foram codificados em prompts estruturados.
  3. Avaliação: LLMs (ChatGPT, DeepSeek, LLaMA, Claude) foram testados em duas condições: (1) Zero-shot (sem conhecimento de domínio) e (2) Aprimorado por Conhecimento de Domínio (DK).

Fase II: Detecção de Fraude e Deriva (Diálogos em Streaming)

• Objetivo: Detectar conversas enganosas multi-turno e classificar a natureza das mudanças semânticas.
• Conjunto de Dados: O conjunto de dados SEConvo (400 conversas multi-turno: 40 para treinamento, 360 para teste).
• Arquitetura: Um pipeline de três componentes:
  1. Módulo DK-LLM 1: Detecta se uma conversa contém conteúdo falso ou enganoso.
  2. Unidade de Detecção de Deriva (OCDD): Um Detector de Deriva de Conceito de Uma Classe treinado em conversas não maliciosas usando uma Máquina de Vetores de Suporte de Uma Classe (One-Class SVM). Identifica desvios estatísticos (mudanças semânticas) no fluxo de diálogo.
  3. Módulo DK-LLM 2: Se a deriva for detectada pelo OCDD, este segundo LLM interpreta a mudança usando pistas específicas de domínio (ex.: solicitações de PII, urgência, bajulação excessiva) para classificar a deriva como Benigna (ex.: fora do tópico, spam) ou Adversária (ex.: phishing, manipulação).

3. Contribuições Principais

O artigo delineia quatro contribuições primárias:

1. Framework Dual-LLM Aprimorado por Conhecimento de Domínio: Uma arquitetura modular que integra insights estruturados de domínio em um sistema dual-LLM para detectar simultaneamente fraude, identificar deriva de conceito e classificar tipos de deriva — tarefas frequentemente abordadas isoladamente.
2. Pipeline de Detecção em Três Estágios: Um fluxo de trabalho estruturado compreendendo um DK-LLM para sinalização inicial de engano, um OCDD para detecção de mudança semântica e um segundo DK-LLM para classificação de deriva. Isso aprimora a robustez e a interpretabilidade em diálogos em streaming.
3. Impacto de Prompts de Domínio Estruturados: Evidência empírica demonstrando que incorporar conhecimento específico de domínio ao design de prompts aumenta significativamente o desempenho e a explicabilidade em ambos os conjuntos de dados sintéticos (resenhas falsas) e do mundo real (SEConvo).
4. Benchmarks Abrangentes: Uma avaliação extensa de múltiplos backbones de LLM (ChatGPT, Claude, LLaMA, DeepSeek) em configurações zero-shot e guiadas por domínio, identificando configurações ótimas para detecção de fraude e deriva.

4. Resultados Experimentais

O estudo avaliou o desempenho em múltiplas métricas (Precisão, Recall, F1-Score) comparando modelos com e sem Conhecimento de Domínio (DK) e contra baselines tradicionais de ensemble.

• Fase I (Conjunto de Dados Yelp):

  • Claude: Melhorou de 87% para 95% de precisão com DK.
  • DeepSeek: Mostrou ganhos substanciais, subindo de 56% para 90% de precisão.
  • LLaMA: Melhoria modesta de 52% para 58%.
  • ChatGPT: Melhoria marginal (54% para 56%), sugerindo sensibilidade a variações no design de prompts.

• Fase II (Conjunto de Dados SEConvo):

  • LLaMA emergiu como o modelo mais robusto, alcançando 98% em todas as métricas (Precisão, Recall, F1-Score) com DK, uma melhoria significativa sobre sua linha de base de 90%.
  • DeepSeek melhorou seu F1-score de 73% para 80%.
  • Comparação com Modelos de Ensemble: O framework Dual-LLM aprimorado por DK (LLaMA) superou significativamente um modelo de ensemble tradicional (kNN, SVM, Imp-Kmeans) que alcançou 82% de precisão. A abordagem LLM forneceu profundidade semântica superior e raciocínio contextual.

5. Significado e Alegações

Os autores afirmam que seu trabalho demonstra a viabilidade de integrar conhecimento de domínio em fluxos de trabalho de LLM para alcançar alta precisão e interpretabilidade em cenários complexos de detecção em tempo real.

• Robustez Aprimorada: O framework lida efetivamente com a interdependência entre engano e deriva, reduzindo falsos positivos causados por mudanças de tópico benignas.
• Interpretabilidade: Ao separar a detecção de anomalias (OCDD) da interpretação semântica (LLM-2), o sistema fornece raciocínio claro para suas classificações, conforme ilustrado por amostras de saída que identificam táticas específicas de phishing.
• Sensibilidade do Modelo: Os resultados destacam que nem todos os LLMs respondem igualmente ao prompting de domínio; LLaMA e Claude mostraram os ganhos mais significativos, provavelmente devido ao seu treinamento em corpora centrados em diálogo e capacidades de raciocínio em nível de token.
• Limitações: Os autores reconhecem modestamente que LLMs ainda lutam com sarcasmo, idioms culturais e linguagem emocionalmente ambivalente, o que pode levar a falsos positivos. Eles também notam os custos computacionais mais altos em comparação com modelos tradicionais, sugerindo trabalho futuro em compressão de prompts ou arquiteturas híbridas leves.

O artigo conclui que, embora latência e custo sejam trade-offs, os ganhos em precisão e interpretabilidade tornam essa abordagem adequada para aplicações de alto risco, como cibersegurança, mercados online e plataformas de atendimento ao cliente.