Resumo Técnico: Deixe as Relações Falar: Um Framework de Prompt Suave LLM-GNN de Ponta a Ponta para Detecção de Fraude

1. Declaração do Problema

O artigo aborda o desafio de implantar Modelos de Linguagem Grandes (LLMs) para detecção de fraude em cenários de Grafos com Atributos de Texto Fracos (Weak-TAG). Em sistemas reais de detecção de fraude (por exemplo, redes financeiras, avaliações online), restrições rigorosas de privacidade e segurança frequentemente resultam em grafos contendo apenas características numéricas, com falta de dados textuais ricos.

As abordagens existentes enfrentam duas limitações primárias neste contexto:

1. Dependência de Texto: A maioria dos métodos atuais baseados em LLM depende fortemente de atributos textuais ricos, tornando-os ineficazes quando os dados textuais estão ausentes.
2. Distorção de Características via Prompts Rígidos: Métodos pioneiros que tentam contornar a dependência de texto frequentemente usam "prompts rígidos" para linearizar estruturas de grafos em linguagem natural. Esse processo achata topologias complexas, levando a desalinhamento estrutural-semântico e distorção de características, pois as semânticas relacionais inerentes são perdidas na conversão para texto discreto.
3. Complexidade Multi-Relacional: Atividades fraudulentas frequentemente envolvem interações complexas e multi-relacionais. Os métodos atuais de Redes Neurais em Grafos (GNN) lutam para capturar informações semânticas profundas entre diferentes tipos de arestas, enquanto os frameworks existentes de LLM-GNN frequentemente dependem de LLMs congelados ou projetores lineares leves que falham em estabelecer um alinhamento profundo entre a codificação estrutural e o raciocínio semântico.

2. Metodologia: Framework LGSPF

Os autores propõem o Framework de Prompt Suave LLM-GNN (LGSPF), uma arquitetura de ponta a ponta projetada para preencher a lacuna entre estruturas de grafos multi-relacionais e o espaço semântico dos LLMs sem depender de atributos textuais. O framework opera através de três estágios correlacionados:

A. Codificação de Características de Grafos Multi-Relacionais

Para capturar padrões estruturais sob múltiplas relações, o LGSPF emprega um Codificador GNN Paralelo.

• Desacoplamento: O grafo multi-relacional original é decomposto em $m$ subgrafos homogêneos, cada um correspondendo a um tipo de relação específico.
• Ramos Independentes: Um ramo GNN independente (instanciado como GraphSAGE) é implantado para cada subgrafo. Crucialmente, os pesos não são compartilhados entre os ramos, permitindo a extração de semânticas estruturais distintas para cada tipo de relação.
• Projeção: As embeddings de saída de todos os ramos GNN são projetadas na dimensão de embedding do LLM ($d_{emb}$) para facilitar a integração perfeita.
• Agregação: O modelo usa agregação de vizinhança em lote completo (em vez de amostragem em mini-lote) para garantir passagem de mensagens determinística e prevenir perda de informação estrutural.

B. Prompt Suave e Mapeamento Semântico

Em vez de converter estruturas de grafos em descrições de linguagem natural (prompts rígidos), o LGSPF utiliza Prompts Suaves.

• Template Híbrido: Um template de prompt unificado é construído contendo instruções em linguagem natural ($T_{inst}$, $T_{desc}$, $T_{quest}$) e tokens especiais ($s_1, \dots, s_m$).
• Expansão de Vocabulário: O vocabulário do LLM é expandido para incluir esses tokens especiais ($S = \{s_1, \dots, s_m\}$), que atuam como interfaces para diferentes tipos de relação.
• Injeção Dinâmica: Durante a passagem frontal, as embeddings estruturais contínuas ($h_{v_i, r_j}$) extraídas pelos GNNs paralelos substituem dinamicamente as embeddings iniciais dos tokens especiais correspondentes na sequência de prompt. Isso permite que o LLM processe tensores estruturais contínuos e de alta dimensão diretamente, contornando os problemas de discretização e fragmentação da serialização baseada em texto.

C. Otimização de Ponta a Ponta

O framework trata a detecção de fraude como um problema de geração de texto condicional sob um paradigma de Modelagem de Linguagem Causal.

• Treinamento Conjunto: O sistema é otimizado de ponta a ponta. O feedback semântico do LLM é propagado de volta aos codificadores GNN via retropropagação de gradiente.
• Eficiência de Parâmetros: Para gerenciar custos computacionais, a Adaptação de Baixo RANK (LoRA) é aplicada exclusivamente às camadas de atenção do LLM, enquanto os parâmetros do GNN permanecem treináveis.
• Objetivo: A função de perda minimiza a discrepância entre o texto gerado (por exemplo, "fraude" ou "normal") e os rótulos verdadeiros, garantindo um alinhamento profundo estrutural-semântico.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Framework LGSPF: A proposta de um framework de prompt suave LLM-GNN de ponta a ponta especificamente projetado para detecção de fraude em cenários Weak-TAG, conectando efetivamente estruturas de grafos multi-relacionais com espaços semânticos de LLM.
2. Inovações Arquiteturais: A introdução de um codificador GNN paralelo para extração de características multi-relacionais de granularidade fina, um mecanismo de prompt suave que conecta perfeitamente estruturas de grafos ao raciocínio do LLM sem distorção de características, e um paradigma de treinamento de ponta a ponta para alinhamento estrutural-semântico profundo.
3. Validação Empírica e Interpretabilidade: Demonstração de desempenho de última geração em três benchmarks diversos de detecção de fraude (Amazon, YelpChi, S-FFSD). Além disso, o framework é mostrado para melhorar a interpretabilidade semântica de comportamentos fraudulentos, movendo a detecção de previsões de caixa-preta para reconhecimento de comportamento.

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados: Amazon (avaliações de produtos), YelpChi (avaliações de hotéis/restaurante) e S-FFSD (transações financeiras simuladas). Todos os conjuntos de dados foram processados para conter apenas características de nós numéricas para simular o cenário Weak-TAG.

• Desempenho: O LGSPF alcançou desempenho de última geração em todos os conjuntos de dados, superando significativamente tanto as linhas de base GNN clássicas (por exemplo, GCN, GAT, CARE-GNN) quanto as linhas de base LLM com achatamento de texto (incluindo variantes Zero-shot e Instruct-LLM).
  • No conjunto de dados Amazon, o LGSPF alcançou uma AUC de 0,9805, comparado a 0,9717 para a melhor linha de base GNN (BWGNN).
  • No YelpChi, o LGSPF alcançou uma AUC de 0,9208, superando a melhor GNN (RGTAN em 0,9194).
  • No S-FFSD, o LGSPF alcançou uma AUC de 0,8719, superando a melhor GNN (GTAN em 0,8299).
• Estudos de Ablação:
  • Remover a espinha dorsal do LLM (substituindo-a por um MLP) ou remover descrições em linguagem natural (usando apenas tokens de grafo isolados) resultou em quedas significativas de desempenho, confirmando a necessidade tanto da capacidade de raciocínio do LLM quanto das âncoras semânticas fornecidas pelas descrições textuais.
  • Remover a otimização conjunta de ponta a ponta (congelando GNNs) também levou à degradação de desempenho, destacando o benefício de alinhar características estruturais com o espaço cognitivo do LLM.
• Análise de Sensibilidade: A espinha dorsal LLM de 7B parâmetros (Qwen2.5-7B) foi encontrada como oferecendo o equilíbrio ótimo entre capacidade de raciocínio e eficiência de adaptação. Para o codificador GNN, uma profundidade de agregação de vizinhança de $K=2$ produziu o desempenho máximo, evitando os problemas de super-suavização vistos em camadas mais profundas ($K \ge 3$).
• Interpretabilidade: Experimentos de relação única no YelpChi mostraram que, enquanto relações individuais fornecem insights específicos, a visão integrada multi-relacional (Visão Completa) superou decisivamente a média das visões únicas, demonstrando a capacidade do modelo de minerar correlações intrínsecas entre múltiplas relações.

5. Significado e Alegações

O artigo alega que o LGSPF representa um avanço significativo na detecção de fraude em grafos, resolvendo o "dilema semântico" enfrentado pelos LLMs em ambientes Weak-TAG. Ao utilizar prompts suaves contínuos em vez de textualização discreta, o framework preserva informações estruturais de alta dimensão que são tipicamente perdidas em abordagens de prompts rígidos.

Os autores enfatizam que seu trabalho move o campo além da simples previsão de caixa-preta em direção ao reconhecimento transparente de comportamento. Ao aproveitar as capacidades de raciocínio semântico profundo do LLM para interpretar topologias multi-relacionais complexas, o LGSPF não apenas melhora a precisão da detecção, mas também aprimora a interpretabilidade dos comportamentos fraudulentos. Isso é particularmente valioso em domínios sensíveis à privacidade onde dados textuais ricos estão indisponíveis, oferecendo um paradigma promissor para futuros sistemas de detecção de fraude.

Os autores reconhecem limitações relacionadas à escalabilidade computacional para grafos ultra-grandes e à dependência atual de grafos estáticos, observando que trabalhos futuros explorarão grafos temporais dinâmicos e modelos fundamentais maiores.