Riepilogo Tecnico: Lascia Che le Relazioni Parlino: Un Framework di Prompt Soft End-to-End LLM-GNN per il Rilevamento delle Frodi

1. Enunciato del Problema

Il documento affronta la sfida di implementare i Modelli Linguistici su Grande Scala (LLM) per il rilevamento delle frodi in scenari di Grafo con Attributi Testuali Deboli (Weak-TAG). Nei sistemi reali di rilevamento delle frodi (ad esempio, reti finanziarie, recensioni online), vincoli rigorosi di privacy e sicurezza spesso comportano grafi contenenti esclusivamente caratteristiche numeriche, privi di dati testuali ricchi.

Gli approcci esistenti presentano due limitazioni principali in questo contesto:

1. Dipendenza dal Testo: La maggior parte dei metodi attuali basati su LLM dipende fortemente da attributi testuali ricchi, rendendoli inefficaci quando i dati testuali sono assenti.
2. Distorsione delle Caratteristiche tramite Prompt Rigidi: I metodi pionieristici che tentano di aggirare la dipendenza dal testo utilizzano spesso "prompt rigidi" per linearizzare le strutture dei grafi in linguaggio naturale. Questo processo appiattisce topologie complesse, portando a un disallineamento strutturale-semantico e a una distorsione delle caratteristiche, poiché le semantica relazionali intrinseche vengono perse nella conversione in testo discreto.
3. Complessità Multi-Relazionale: Le attività fraudolente coinvolgono spesso interazioni complesse e multi-relazionali. I metodi attuali di Reti Neurali su Grafi (GNN) faticano a catturare informazioni semantiche profonde attraverso diversi tipi di archi, mentre i framework esistenti LLM-GNN si affidano spesso a LLM congelati o a proiettori lineari leggeri che non riescono a stabilire un allineamento profondo tra la codifica strutturale e il ragionamento semantico.

2. Metodologia: Framework LGSPF

Gli autori propongono il Framework di Prompt Soft LLM-GNN (LGSPF), un'architettura end-to-end progettata per colmare il divario tra le strutture di grafi multi-relazionali e lo spazio semantico degli LLM senza fare affidamento su attributi testuali. Il framework opera attraverso tre fasi correlate:

A. Codifica delle Caratteristiche del Grafo Multi-Relazionale

Per catturare pattern strutturali sotto molteplici relazioni, LGSPF impiega un Encoder GNN Parallelo.

• Decoupling: Il grafo multi-relazionale originale viene decomposto in $m$ sottografi omogenei, ciascuno corrispondente a un tipo di relazione specifico.
• Rami Indipendenti: Viene implementato un ramo GNN indipendente (istanziato come GraphSAGE) per ciascun sottografo. Crucialmente, i pesi non sono condivisi tra i rami, consentendo l'estrazione di semantica strutturale distinta per ciascun tipo di relazione.
• Proiezione: Le embedding di output da tutti i rami GNN vengono proiettate nella dimensione di embedding dell'LLM ($d_{emb}$) per facilitare un'integrazione senza soluzione di continuità.
• Aggregazione: Il modello utilizza un'aggregazione del vicinato su intero batch (anziché il campionamento su mini-batch) per garantire una propagazione dei messaggi deterministica e prevenire la perdita di informazioni strutturali.

B. Prompt Soft e Mappatura Semantica

Invece di convertire le strutture dei grafi in descrizioni in linguaggio naturale (prompt rigidi), LGSPF utilizza Prompt Soft.

• Template Ibrido: Viene costruito un template di prompt unificato contenente istruzioni in linguaggio naturale ($T_{inst}$, $T_{desc}$, $T_{quest}$) e token speciali ($s_1, \dots, s_m$).
• Espansione del Vocabolario: Il vocabolario dell'LLM viene espanso per includere questi token speciali ($S = \{s_1, \dots, s_m\}$), che agiscono come interfacce per diversi tipi di relazione.
• Iniezione Dinamica: Durante il passaggio in avanti, le embedding strutturali continue ($h_{v_i, r_j}$) estratte dai GNN paralleli sostituiscono dinamicamente le embedding iniziali dei token speciali corrispondenti nella sequenza del prompt. Ciò consente all'LLM di elaborare direttamente tensori strutturali continui e ad alta dimensionalità, aggirando i problemi di discretizzazione e frammentazione della serializzazione basata sul testo.

C. Ottimizzazione End-to-End

Il framework tratta il rilevamento delle frodi come un problema di generazione di testo condizionato sotto un paradigma di Modellazione Linguistica Causale.

• Addestramento Congiunto: Il sistema è ottimizzato end-to-end. Il feedback semantico dell'LLM viene propagato indietro agli encoder GNN tramite retropropagazione del gradiente.
• Efficienza dei Parametri: Per gestire i costi computazionali, l'Adattamento a Basso Rango (LoRA) viene applicato esclusivamente ai livelli di attenzione dell'LLM, mentre i parametri GNN rimangono addestrabili.
• Obiettivo: La funzione di perdita minimizza la discrepanza tra il testo generato (ad esempio, "frode" o "normale") e le etichette di verità fondamentale, garantendo un allineamento profondo strutturale-semantico.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Framework LGSPF: La proposta di un framework di prompt soft LLM-GNN end-to-end specificamente progettato per il rilevamento delle frodi in scenari Weak-TAG, che collega efficacemente le strutture di grafi multi-relazionali con gli spazi semantici degli LLM.
2. Innovazioni Architettoniche: L'introduzione di un encoder GNN parallelo per l'estrazione di caratteristiche multi-relazionali a grana fine, un meccanismo di prompt soft che collega senza soluzione di continuità le strutture dei grafi al ragionamento degli LLM senza distorsione delle caratteristiche e un paradigma di addestramento end-to-end per un allineamento profondo strutturale-semantico.
3. Validazione Empirica e Interpretabilità: Dimostrazione di prestazioni all'avanguardia su tre diversi benchmark di rilevamento delle frodi (Amazon, YelpChi, S-FFSD). Inoltre, il framework si dimostra in grado di migliorare l'interpretabilità semantica dei comportamenti fraudolenti, spostando il rilevamento dalle previsioni a scatola nera verso il riconoscimento del comportamento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset: Amazon (recensioni di prodotti), YelpChi (recensioni di hotel/ristoranti) e S-FFSD (transazioni finanziarie simulate). Tutti i dataset sono stati elaborati per contenere esclusivamente caratteristiche dei nodi numeriche per simulare l'impostazione Weak-TAG.

• Prestazioni: LGSPF ha raggiunto prestazioni all'avanguardia su tutti i dataset, superando significativamente sia le baseline GNN classiche (ad esempio, GCN, GAT, CARE-GNN) sia le baseline LLM con appiattimento del testo (inclusi le varianti Zero-shot e Instruct-LLM).
  • Sul dataset Amazon, LGSPF ha raggiunto un AUC di 0,9805, rispetto a 0,9717 per la migliore baseline GNN (BWGNN).
  • Su YelpChi, LGSPF ha raggiunto un AUC di 0,9208, superando la migliore GNN (RGTAN a 0,9194).
  • Su S-FFSD, LGSPF ha raggiunto un AUC di 0,8719, superando la migliore GNN (GTAN a 0,8299).
• Studi di Ablazione:
  • La rimozione dell'architettura di base dell'LLM (sostituendola con un MLP) o la rimozione delle descrizioni in linguaggio naturale (utilizzando solo token di grafo isolati) ha comportato cali significativi delle prestazioni, confermando la necessità sia della capacità di ragionamento dell'LLM sia degli ancoraggi semantici forniti dalle descrizioni testuali.
  • Anche la rimozione dell'ottimizzazione congiunta end-to-end (congelando i GNN) ha portato a un degrado delle prestazioni, evidenziando il beneficio dell'allineamento delle caratteristiche strutturali con lo spazio cognitivo dell'LLM.
• Analisi di Sensibilità: L'architettura di base dell'LLM da 7 miliardi di parametri (Qwen2.5-7B) è risultata offrire il miglior equilibrio tra capacità di ragionamento ed efficienza di adattamento. Per l'encoder GNN, una profondità di aggregazione del vicinato di $K=2$ ha prodotto le prestazioni massime, evitando i problemi di sovra-lisciatura osservati a livelli più profondi ($K \ge 3$).
• Interpretabilità: Gli esperimenti su singola relazione su YelpChi hanno mostrato che, sebbene le relazioni individuali forniscano intuizioni specifiche, la visione multi-relazionale integrata (Full view) ha superato in modo decisivo la media delle singole visioni, dimostrando la capacità del modello di estrarre correlazioni intrinseche tra molteplici relazioni.

5. Significato e Affermazioni

Il documento afferma che LGSPF rappresenta un avanzamento significativo nel rilevamento delle frodi su grafi risolvendo il "dilemma semantico" affrontato dagli LLM negli ambienti Weak-TAG. Utilizzando prompt soft continui invece della testualizzazione discreta, il framework preserva le informazioni strutturali ad alta dimensionalità che tipicamente vengono perse negli approcci a prompt rigidi.

Gli autori sottolineano che il loro lavoro sposta il campo oltre la semplice previsione a scatola nera verso il riconoscimento trasparente del comportamento. Sfruttando le capacità di ragionamento semantico profondo dell'LLM per interpretare topologie multi-relazionali complesse, LGSPF non solo migliora l'accuratezza del rilevamento, ma potenzia anche l'interpretabilità dei comportamenti fraudolenti. Ciò è particolarmente prezioso in domini sensibili alla privacy dove i dati testuali ricchi non sono disponibili, offrendo un paradigma promettente per i futuri sistemi di rilevamento delle frodi.

Gli autori riconoscono le limitazioni relative alla scalabilità computazionale per grafi ultra-grandi e l'attuale dipendenza da grafi statici, notando che i lavori futuri esploreranno grafi temporali dinamici e modelli fondazionali più grandi.