Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders

Sintesi Tecnica: Ripensare la Valutazione della Sicurezza Antifrode

Enunciato del Problema
La valutazione attuale delle difese antifrode si basa pesantemente su benchmark a turno singolo, che non riescono a catturare la realtà della frode come un processo multi-turno ed escalativo. Gli attaccanti costruiscono legittimità, ritardano le richieste esplicite e si adattano all'esitazione del difensore. Di conseguenza, un modello che appare robusto su un singolo prompt malevolo può fallire quando sottoposto a una pressione conversazionale sostenuta. Inoltre, le valutazioni standard misurano spesso solo se un modello rifiuta infine un tentativo di frode, ignorando quando avviene il rifiuto e il costo dei falsi positivi (rifiuti eccessivi) sul traffico benigno. Questo articolo sostiene che la valutazione a turno singolo sottostima il comportamento di sicurezza antifrode e oscura il compromesso critico sicurezza-utilità intrinseco nel dispiegamento di assistenti per la difesa antifrode.

Metodologia
L'articolo propone un framework di valutazione multi-turno basato sul dataset Fraud-R1, esteso per includere regimi di attacco replay e adattivi.

• Regimi di Attacco:
  • Turno singolo: Il difensore vede solo il messaggio malevolo finale.
  • Replay: Il difensore affronta una trascrizione fissa di messaggi che intensificano gradualmente.
  • Adattivo: L'attaccante riscrive i messaggi successivi basandosi sulle azioni precedenti del difensore (RIFIUTA, CHIEDI o CONFORMA), preservando l'obiettivo della frode mentre aggiusta tono e strategia.
• Configurazioni del Difensore: Lo studio confronta tre condizioni di contesto utilizzando una policy condivisa di Large Language Model (LLM) ($\pi_\theta$) e un template di prompt:
  1. Solo testo: Solo la cronologia del dialogo.
  2. Grafo Statico: Un blocco JSON serializzato contenente caratteristiche del grafo non temporali (ad es. conteggi di entità, segnali organizzativi).
  3. Grafo Temporale: Un riepilogo del grafo aggiornato dinamicamente includendo motivi temporali e trend di rischio.
• Metriche:
  • Rifiuto Sicuro Precoce (ESR) & AUSR: Misura il tempismo del rifiuto (Area Under the Safe-Refusal curve) piuttosto che il semplice successo finale.
  • Tasso di Rifiuto Eccessivo (ORR): Il tasso con cui i casi benigni vengono rifiutati erroneamente.
  • Punteggio di Grounding: Valuta se la giustificazione del modello cita prove effettivamente presenti nell'input (messaggio o contesto del grafo).
• Suite Sperimentale: Gli esperimenti sono stati condotti su una suite congelata utilizzando due backbones LLM (Qwen-1.5B e GPT-5.4-mini) su due semi casuali. La significatività statistica è stata valutata tramite test di permutazione accoppiati sulle differenze di metrica per caso.

Principali Contributi

1. Formulazione Multi-Turno: Riformula la difesa antifrode come un problema di sicurezza multi-turno con attaccanti replay e adattivi, andando oltre la classificazione fissa a turno singolo.
2. Tempismo del Rifiuto come Metrica di Robustezza: Stabilisce il rifiuto sicuro precoce e la latenza come metriche di primo piano, dimostrando che quando un modello rifiuta è critico quanto se rifiuta.
3. Identificazione del Compromesso Sicurezza-Utilità: Dimostra empiricamente che, mentre i difensori con contesto del grafo migliorano il rifiuto precoce lato frode, sostengono costi sostanziali di rifiuto eccessivo sui casi benigni che le valutazioni a turno singolo non riescono a rivelare.
4. Localizzazione del Compromesso: Attraverso sondaggi diretti e ablation study di mescolamento del rischio, l'articolo localizza il compromesso sicurezza-utilità nel consumo del contesto da parte dell'LLM piuttosto che nella qualità del codificatore del grafo. Il codificatore del grafo separa chiaramente la frode dai casi benigni, ma l'LLM reagisce principalmente alla presenza di campi strutturati del grafo piuttosto che alla magnitudine del punteggio di rischio.
5. Raccomandazioni di Progettazione: Propone che il contesto del grafo temporale sia una direzione promettente grazie a un grounding superiore, e suggerisce strategie di mitigazione (ad es. gating del punteggio di rischio, inquadramento simmetrico del prompt) per affrontare il rifiuto eccessivo causato dal consumo grossolano dei segnali del grafo da parte dell'LLM.

Risultati

• Multi-Turno vs. Turno Singolo: La valutazione multi-turno rivela differenze significative nella latenza e nel grounding non visibili nei riepiloghi a turno singolo. Ad esempio, l'AUSR solo testo scende da 0,847 (replay) a 0,775 (turno singolo).
• Vantaggi del Contesto del Grafo: Sotto attacchi replay, il contesto del grafo temporale migliora l'AUSR da 0,847 (solo testo) a 0,978 ($p=0,0004$) e riduce significativamente la conformità insicura e la latenza. Guadagni simili sono osservati sotto attacchi adattivi.
• Rifiuto Eccessivo sui Casi Benigni: I guadagni comportano un alto costo. Sul traffico replay benigno, il Tasso di Rifiuto Eccessivo (ORR) salta da 0,36 (solo testo) a 0,84–0,89 (contesto del grafo).
• Temporale vs. Statico: Il contesto del grafo temporale è direzionalmente più forte del contesto statico su tutte le metriche, in particolare nei punteggi di grounding (0,97 vs 0,80), sebbene la differenza nelle metriche di rifiuto principali (AUSR) non abbia raggiunto significatività statistica sulla suite congelata corrente.
• Risultati degli Ablation Study:
  • Qualità del Codificatore: Il codificatore del grafo assegna correttamente bassi punteggi di rischio ai casi benigni e alti punteggi alla frode.
  • Consumo dell'LLM: Mescolare i punteggi di rischio tra i casi (rompendo la corrispondenza per caso) non ha degradato l'AUSR lato frode, indicando che l'LLM risponde alla presenza di campi strutturati piuttosto che alla specifica magnitudine del rischio.
  • Decomposizione sui Casi Benigni: Sui casi benigni, la sola presenza di campi strutturati spiega circa il 75% del costo del rifiuto eccessivo. Una sensibilità asimmetrica ai punteggi di rischio elevati (rispetto a quelli bassi) spiega il resto.

Significato e Affermazioni
L'articolo si posiziona come un contributo valutativo e orientato alla misurazione piuttosto che come un puro articolo metodologico. La sua affermazione principale è che una valutazione robusta della frode deve essere multi-turno, deve riportare il tempismo del rifiuto e deve tenere conto dei falsi positivi benigni insieme ai guadagni di sicurezza.

Gli autori dichiarano esplicitamente che i risultati non stabiliscono una vittoria di "pura metodologia" dove un'architettura vince in modo decisivo. Invece, i risultati rivelano che il compromesso sicurezza-utilità è un artefatto strutturale di come gli LLM attuali consumano il contesto strutturato. Il codificatore del grafo non è il punto di fallimento; il fallimento risiede nella condizionamento dell'LLM sull'esistenza dei dati del grafo piuttosto che sul loro contenuto.

Di conseguenza, l'articolo sostiene che i difensori con contesto del grafo deployabili richiedono una calibrazione di come l'LLM viene sollecitato con il contesto strutturato (ad es. inquadrando i punteggi bassi come evidenza di sicurezza piuttosto che come semplice assenza di rischio) o un fine-tuning per pesare i campi del grafo in base al contenuto. Il lavoro funge da avvertimento che riportare solo i guadagni di sicurezza lato frode senza misurare il rifiuto eccessivo sui casi benigni e il tempismo del rifiuto fornisce un quadro fuorviante dell'utilità reale di un sistema.