TRAVELFRAUDBENCH: A Configurable Evaluation Framework for GNN Fraud Ring Detection in Travel Networks

Resumo Técnico: TRAVELFRAUDBENCH

1. O Problema

A detecção de fraudes em plataformas de viagens (como agências de viagens online e companhias aéreas) é um desafio complexo e estruturalmente distinto de outros domínios. Diferente de fraudes isoladas, a fraude em viagens ocorre frequentemente em anéis de fraude (fraud rings): grupos coordenados de contas, dispositivos e transações que operam em conjunto.

• Limitações das Benchmarks Atuais: Conjuntos de dados existentes para detecção de fraude com Redes Neurais em Grafos (GNNs), como YelpChi, Amazon-Fraud, Elliptic e PaySim, possuem limitações estruturais críticas:
  • Focam em tipos de nós únicos ou relações de arestas simples.
  • Não possuem rótulos de "ground truth" ao nível do anel (apenas ao nível do nó).
  • Não permitem controlar a dificuldade da avaliação (ex: tamanho do anel, densidade).
  • Falham em capturar topologias específicas de viagens, como esquemas de ghost hotels (hotéis fantasmas) ou roubo de contas (ATO).
• Necessidade: Existe uma lacuna para um benchmark que simule realisticamente a estrutura de grafos heterogêneos do setor de viagens e permita avaliar a capacidade dos modelos de detectar anéis inteiros, e não apenas nós individuais.

2. Metodologia e Design do Framework

O TRAVELFRAUDBENCH (TFG) não é apenas um conjunto de dados, mas um framework de avaliação configurável baseado em um gerador sintético.

• Estrutura do Grafos:
  • 9 Tipos de Nós: Usuários, Dispositivos, Endereços IP, Reservas, Voos, Hotéis, Avaliações, Cartões de Pagamento e Contas de Fidelidade.
  • 12 Tipos de Relações de Arestas: Capturam o ciclo de vida completo da transação (ex: user → device, booking → flight, review → hotel).
• Topologias de Anéis de Fraude Simulados: O gerador cria três tipos distintos de fraudes baseadas em evidências do setor:
  1. Fraude em Bilhetagem (Ticketing): Topologia em estrela. Múltiplas contas compartilham os mesmos dispositivos e IPs para fazer reservas de alto valor e solicitar chargebacks coordenados.
  2. Esquemas de Hotéis Fantasmas (Ghost Hotels): Cliques bipartidos densos. Um pequeno número de hotéis falsos recebe centenas de avaliações de 5 estrelas de contas falsas em um curto período.
  3. Roubo de Contas (Account Takeover - ATO): Cadeias direcionadas. Contas comprometidas transferem pontos de fidelidade para contas "mulas" antes de resgatar os pontos.
• Controle de Dificuldade: O gerador permite ajustar parâmetros como tamanho do anel (3 a 30 nós), contagem de anéis, taxa de fraude e escala do dataset (de 500 a 200.000 nós).
• Divisão de Dados (Split): Utiliza uma divisão baseada em anéis (train/val/test), onde cada anel de fraude aparece inteiramente em apenas uma partição. Isso elimina o vazamento de rótulos transduzivos (garantindo que o modelo não veja membros do mesmo anel fraudulento durante o treino e teste).

3. Contribuições Principais

1. Gerador Sintético Configurável: Um gerador Python de código aberto (licença MIT) que produz grafos heterogêneos com ground truth ao nível do anel, calibrado com dados de relatórios da indústria (IATA, Forter, SEON).
2. Quatro Afirmações Avaliativas (E1-E4): O framework foi desenhado para validar especificamente:
   • E1: Utilidade da estrutura do grafo vs. características tabulares.
   • E2: Eixo de dificuldade controlável (como o desempenho varia com o tamanho do anel).
   • E3: Independência estrutural entre tipos de anéis (um modelo pode ser bom em um tipo e ruim em outro).
   • E4: Contribuição diferencial dos tipos de arestas (quais relações são essenciais para a detecção).
3. Benchmarks de Estado da Arte: Avaliação de 6 métodos (MLP, GraphSAGE, RGCN, HAN, PC-GNN, RGCN-proj) em múltiplas escalas.
4. Metadados e Responsabilidade: Inclui Datasheets (Gebru et al.), metadados Croissant com campos de IA Responsável e exportadores para PyTorch Geometric, DGL e NetworkX.

4. Resultados Experimentais

Os experimentos foram conduzidos na escala "medium" (10.000 usuários, ~13% de fraude) e em estudos de dificuldade variável.

• Desempenho de Classificação de Nós (AUC-ROC):
  • GraphSAGE obteve o melhor desempenho (AUC = 0.992), superando a linha de base tabular (MLP) em 5,5 pontos percentuais.
  • RGCN-proj (RGCN em grafo projetado) alcançou AUC = 0.987.
  • HAN (Heterogeneous Attention Network) teve desempenho próximo ao MLP (AUC = 0.935), indicando que mecanismos de atenção em metapaths não foram suficientes para capturar o sinal de fraude neste contexto específico.
  • PC-GNN (desenhado especificamente para fraude) performou abaixo do GraphSAGE, sugerindo que suas técnicas de supressão de "camuflagem" não são benéficas quando os anéis de fraude estão estruturalmente isolados (como no TFG).
• Recuperação de Anéis (Ring Recovery):
  • Esta métrica é mais rigorosa: um anel é considerado "recuperado" se ≥80% de seus membros forem flagados simultaneamente.
  • GraphSAGE recuperou 100% de todos os tipos de anéis.
  • O MLP falhou drasticamente em anéis estruturais, recuperando apenas 17% dos anéis de Ghost Hotel e 60% dos ATO, provando que a estrutura do grafo é decisiva para detectar fraudes que não são visíveis em características individuais.
• Estudo de Dificuldade (Tamanho do Anel):
  • Anéis de Ticketing tornam-se mais difíceis de detectar à medida que crescem (diluição do sinal de compartilhamento de dispositivo).
  • Anéis ATO mantêm alta detectabilidade em várias escalas.
  • Anéis Ghost Hotel mostram alta detectabilidade até certo tamanho, mas colapsam em tamanhos muito grandes devido à escassez de anéis de teste.
• Ablação de Tipos de Arestas:
  • As arestas de dispositivo (uses_device) e IP (uses_ip) são os sinais discriminativos primários. Removê-las reduz o AUC em ~5,5 pontos.
  • Arestas de avaliação (wrote) e transferência de fidelidade contribuem negligenciavelmente para a detecção direta, indicando que a infraestrutura compartilhada é o sinal mais forte, não a transação em si.

5. Significado e Impacto

• Avanço Científico: O TFG preenche a lacuna crítica de benchmarks para fraudes em viagens, permitindo estudos controlados de dificuldade que eram impossíveis com dados reais (devido à falta de ground truth de anéis e confidencialidade).
• Insights Práticos:
  • A estrutura do grafo (especialmente co-ocorrência de dispositivos e IPs) adiciona poder discriminativo substancial além de características tabulares.
  • Arquiteturas heterogêneas complexas (como HAN) não são necessariamente superiores a abordagens mais simples com projeção de grafo (como GraphSAGE em grafos de co-ocorrência) para este tipo específico de fraude.
  • A métrica de "Recuperação de Anéis" é operacionalmente mais relevante do que o AUC de nós, pois fraudadores agem em grupo.
• Reprodutibilidade e Ética: O framework é totalmente sintético (sem dados reais), livre de riscos de privacidade (GDPR/CCPA não aplicáveis) e totalmente aberto, promovendo a reprodutibilidade na pesquisa de detecção de fraude.

Em suma, o TRAVELFRAUDBENCH estabelece um novo padrão para a avaliação de GNNs em detecção de fraudes estruturadas, demonstrando que a topologia do grafo é o fator decisivo para a detecção de anéis de fraude em plataformas de viagens.