Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders

Technische Samenvatting: Het Herdenken van de Evaluatie van Fraudebeveiliging

Probleemstelling
De huidige evaluatie van fraudeverdediging leunt zwaar op benchmarks met één beurt, die de realiteit van fraude als een meerbeurtig, escalerend proces niet vastleggen. Aanvallers bouwen legitimiteit op, vertragen expliciete verzoeken en passen zich aan de aarzeling van een verdediger aan. Bijgevolg kan een model dat robuust lijkt op één kwaadaardige prompt falen wanneer het wordt blootgesteld aan aanhoudende conversatiedruk. Bovendien meten standaardevaluaties vaak alleen of een model uiteindelijk een fraudepoging weigert, en negeren ze wanneer de weigering plaatsvindt en de kosten van vals-positieven (over-weigering) voor onschuldig verkeer. Dit artikel betoogt dat evaluatie met één beurt het veiligheidsgedrag bij fraude onderschat en de kritieke afweging tussen veiligheid en bruikbaarheid verbergt die inherent is aan het inzetten van assistenten voor fraudebestrijding.

Methodologie
Het artikel stelt een evaluatiekader met meerdere beurten voor, gebaseerd op het Fraud-R1-dataset, dat wordt uitgebreid met regimes voor replay en adaptieve aanvallen.

• Aanvalsregimes:
  • Één beurt: De verdediger ziet alleen het laatste kwaadaardige bericht.
  • Replay: De verdediger wordt geconfronteerd met een vast transcript van geleidelijk oplopende berichten.
  • Adaptief: De aanvrager herschrijft daaropvolgende berichten op basis van eerdere acties van de verdediger (WEIGER, VRAAG of VOLG), waarbij het fraude-doel behouden blijft terwijl toon en strategie worden aangepast.
• Configuraties van de Verdediger: De studie vergelijkt drie contextcondities met behulp van een gedeeld beleid van een Groot Taalmodel (LLM) ($\pi_\theta$) en een promptsjabloon:
  1. Alleen tekst: Alleen de dialooggeschiedenis.
  2. Statisch grafiek: Een geserialiseerde JSON-blok met niet-temporele grafiekkenmerken (bijv. aantallen entiteiten, organisatie-signalen).
  3. Temporele grafiek: Een dynamisch bijgewerkt grafieksamenvatting inclusief temporele motieven en risicotrends.
• Metrieken:
  • Vroege Veilige Weigering (ESR) & AUSR: Meet het tijdstip van weigering (Oppervlakte Onder de Veilige-Weigering-curve) in plaats van alleen het uiteindelijke succes.
  • Rate van Over-weigering (ORR): De snelheid waarmee onschuldige gevallen ten onrechte worden afgewezen.
  • Grondslag-score: Evalueert of de rechtvaardiging van het model verwijst naar bewijs dat daadwerkelijk aanwezig is in de invoer (bericht of grafiekcontext).
• Experimentele Suite: Experimenten werden uitgevoerd op een bevroren suite met twee LLM-backbones (Qwen-1.5B en GPT-5.4-mini) over twee willekeurige zaden. Statistische significantie werd beoordeeld via gepaarde permutatietests op per-geval metriekverschillen.

Belangrijkste Bijdragen

1. Formulering met Meerdere Beurten: Herformuleert fraudeverdediging als een veiligheidsprobleem met meerdere beurten met replay- en adaptieve aanvallers, verdergaand dan vaste classificatie met één beurt.
2. Tijdstip van Weigering als Robuustheidsmetriek: Vestigt vroege veilige weigering en latentie als eerste-klasse metrieken, en demonstreert dat wanneer een model weigert even kritiek is als of het weigert.
3. Identificatie van de Afweging Veiligheid–Bruikbaarheid: Demonstreert empirisch dat hoewel verdedigers met grafiekcontext de vroege weigering aan de fraudekant verbeteren, ze aanzienlijke kosten van over-weigering voor onschuldige gevallen met zich meebrengen die evaluaties met één beurt niet blootleggen.
4. Lokalisatie van de Afweging: Door middel van directe probing en ablaties met geschudde risico's, lokaliseert het artikel de afweging tussen veiligheid en bruikbaarheid tot contextconsumptie door het LLM in plaats van de kwaliteit van de grafiek-encoder. De grafiek-encoder scheidt fraude en onschuldige gevallen netjes, maar het LLM reageert voornamelijk op de aanwezigheid van gestructureerde grafiekvelden in plaats van op de grootte van de risicoscore.
5. Ontwerpaanbevelingen: Stelt voor dat temporele grafiekcontext een veelbelovende richting is vanwege superieure grondslag, en suggereert mitigatiestrategieën (bijv. risicoscore-gating, symmetrische promptframing) om de over-weigering aan te pakken die wordt veroorzaakt door de grove consumptie van grafieksignalen door het LLM.

Resultaten

• Meerdere Beurten versus Één Beurt: Evaluatie met meerdere beurten onthult significante verschillen in latentie en grondslag die niet zichtbaar zijn in samenvattingen met één beurt. Bijvoorbeeld, de AUSR voor alleen tekst daalt van 0,847 (replay) naar 0,775 (één beurt).
• Voordelen van Grafiekcontext: Onder replay-aanvallen verbetert temporele grafiekcontext de AUSR van 0,847 (alleen tekst) naar 0,978 ($p=0,0004$) en vermindert het significant onveilige compliance en latentie. Vergelijkbare winsten worden waargenomen onder adaptieve aanvallen.
• Over-weigering bij Onschuldige Gevallen: De winsten komen met hoge kosten. Bij onschuldige replay-traffic springt de Rate van Over-weigering (ORR) van 0,36 (alleen tekst) naar 0,84–0,89 (grafiekcontext).
• Temporeel versus Statisch: Temporele grafiekcontext is directioneel sterker dan statische context op alle metrieken, met name in grondslag-scores (0,97 versus 0,80), hoewel het verschil in kernmetrieken voor weigering (AUSR) op de huidige bevroren suite geen statistische significantie bereikte.
• Ablatiebevindingen:
  • Kwaliteit van de Encoder: De grafiek-encoder wijst correct lage risicoscores toe aan onschuldige gevallen en hoge scores aan fraude.
  • Consumptie door het LLM: Het schudden van risicoscores over gevallen (het verbreken van de per-geval correspondentie) degradeerde de AUSR aan de fraudekant niet, wat aangeeft dat het LLM reageert op de aanwezigheid van gestructureerde velden in plaats van op de specifieke risicomagnitude.
  • Decompositie bij Onschuldige Gevallen: Bij onschuldige gevallen verklaart de aanwezigheid van gestructureerde velden alleen al ongeveer 75% van de kosten van over-weigering. Een asymmetrische gevoeligheid voor hoge risicoscores (ten opzichte van lage scores) verklaart het resterende deel.

Betekenis en Claims
Het artikel positioneert zichzelf als een evaluatieve en meetgerichte bijdrage in plaats van een puur methodologisch artikel. De primaire claim is dat robuuste fraudebeoordeling meerbeurtig moet zijn, het tijdstip van weigering moet rapporteren en rekening moet houden met vals-positieven voor onschuldige gevallen naast veiligheidswinsten.

De auteurs stellen expliciet dat de resultaten geen "pure methode"-overwinning vestigen waarbij één architectuur beslissend wint. In plaats daarvan onthullen de bevindingen dat de afweging tussen veiligheid en bruikbaarheid een structureel artefact is van hoe huidige LLM's gestructureerde context consumeren. De grafiek-encoder is niet het faalpunt; het falen ligt in de conditionering van het LLM op het bestaan van grafiekdata in plaats van op de inhoud.

Bijgevolg betoogt het artikel dat inzetbare verdedigers met grafiekcontext vereisen dat wordt gekalibreerd hoe het LLM wordt geprompt met gestructureerde context (bijv. lage scores framen als bewijs van veiligheid in plaats van alleen de afwezigheid van risico) of dat er fijnafstemming plaatsvindt om grafiekvelden te wegen op inhoud. Het werk dient als een waarschuwing dat het rapporteren van alleen veiligheidswinsten aan de fraudekant zonder het meten van over-weigering bij onschuldige gevallen en het tijdstip van weigering, een misleidend beeld geeft van de werkelijke bruikbaarheid van een systeem.