Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders

Résumé technique : Repenser l'évaluation de la sécurité contre la fraude

Énoncé du problème
L'évaluation actuelle des défenses contre la fraude repose fortement sur des benchmarks à tour unique, qui échouent à capturer la réalité de la fraude en tant que processus multi-tours et escaladant. Les attaquants construisent une légitimité, retardent les demandes explicites et s'adaptent à l'hésitation d'un défenseur. Par conséquent, un modèle qui semble robuste face à une seule invite malveillante peut échouer lorsqu'il est soumis à une pression conversationnelle soutenue. De plus, les évaluations standard mesurent souvent uniquement si un modèle finit par refuser une tentative de fraude, en ignorant quand le refus se produit et le coût des faux positifs (refus excessifs) sur le trafic bénin. Cet article soutient que l'évaluation à tour unique sous-estime le comportement de sécurité face à la fraude et obscurcit le compromis sécurité-utilité critique inhérent au déploiement d'assistants de défense contre la fraude.

Méthodologie
L'article propose un cadre d'évaluation multi-tours construit sur le jeu de données Fraud-R1, l'étendant pour inclure des régimes d'attaque par rejeu et adaptatifs.

• Régimes d'attaque :
  • Tour unique : Le défenseur ne voit que le dernier message malveillant.
  • Rejeu : Le défenseur fait face à une transcription fixe de messages s'intensifiant progressivement.
  • Adaptatif : L'attaquant réécrit les messages subséquents en fonction des actions précédentes du défenseur (REJETER, DEMANDER ou SE CONFORMER), préservant l'objectif de fraude tout en ajustant le ton et la stratégie.
• Configurations du défenseur : L'étude compare trois conditions de contexte en utilisant une politique de modèle de langage (LLM) partagée ($\pi_\theta$) et un modèle de prompt :
  1. Texte uniquement : Historique de dialogue uniquement.
  2. Graphe statique : Un bloc JSON sérialisé contenant des caractéristiques de graphe non temporelles (par exemple, comptes d'entités, signaux d'organisation).
  3. Graphe temporel : Un résumé de graphe mis à jour dynamiquement incluant des motifs temporels et des tendances de risque.
• Métriques :
  • Refus sûr précoce (ESR) et AUSR : Mesure le timing du refus (Aire sous la courbe de refus sûr) plutôt que simplement le succès final.
  • Taux de refus excessif (ORR) : Le taux auquel les cas bénins sont incorrectement rejetés.
  • Score d'ancrage : Évalue si la justification du modèle cite des preuves réellement présentes dans l'entrée (message ou contexte de graphe).
• Suite expérimentale : Les expériences ont été menées sur une suite figée utilisant deux architectures de LLM (Qwen-1.5B et GPT-5.4-mini) sur deux graines aléatoires. La signification statistique a été évaluée via des tests de permutation appariés sur les différences de métriques par cas.

Contributions clés

1. Formulation multi-tours : Repose la défense contre la fraude comme un problème de sécurité multi-tours avec des attaquants par rejeu et adaptatifs, dépassant la classification fixe à tour unique.
2. Le timing du refus comme métrique de robustesse : Établit le refus sûr précoce et la latence comme des métriques de premier ordre, démontrant que quand un modèle refuse est aussi critique que si il refuse.
3. Identification du compromis sécurité-utilité : Démontre empiriquement que, bien que les défenseurs avec contexte de graphe améliorent le refus précoce côté fraude, ils engendrent des coûts substantiels de refus excessif sur le trafic bénin que les évaluations à tour unique échouent à révéler.
4. Localisation du compromis : Grâce à des sondages directs et des ablations de risque mélangé, l'article localise le compromis sécurité-utilité à la consommation de contexte par le LLM plutôt qu'à la qualité de l'encodeur de graphe. L'encodeur de graphe sépare proprement la fraude du trafic bénin, mais le LLM réagit principalement à la présence de champs de graphe structurés plutôt qu'à l'ampleur du score de risque.
5. Recommandations de conception : Propose que le contexte de graphe temporel est une direction prometteuse en raison d'un ancrage supérieur, et suggère des stratégies d'atténuation (par exemple, filtrage par score de risque, cadrage symétrique des prompts) pour traiter le refus excessif causé par la consommation grossière des signaux de graphe par le LLM.

Résultats

• Multi-tours vs Tour unique : L'évaluation multi-tours révèle des différences significatives en latence et en ancrage non visibles dans les résumés à tour unique. Par exemple, l'AUSR en texte seul chute de 0,847 (rejeu) à 0,775 (tour unique).
• Avantages du contexte de graphe : Sous des attaques par rejeu, le contexte de graphe temporel améliore l'AUSR de 0,847 (texte seul) à 0,978 ($p=0,0004$) et réduit significativement la conformité non sûre et la latence. Des gains similaires sont observés sous des attaques adaptatives.
• Refus excessif sur le trafic bénin : Les gains s'accompagnent d'un coût élevé. Sur le trafic bénin par rejeu, le taux de refus excessif (ORR) passe de 0,36 (texte seul) à 0,84–0,89 (contexte de graphe).
• Temporel vs Statique : Le contexte de graphe temporel est directionnellement plus fort que le contexte statique sur toutes les métriques, en particulier dans les scores d'ancrage (0,97 contre 0,80), bien que la différence dans les métriques de refus principales (AUSR) n'ait pas atteint la signification statistique sur la suite figée actuelle.
• Résultats des ablations :
  • Qualité de l'encodeur : L'encodeur de graphe attribue correctement de faibles scores de risque aux cas bénins et de hauts scores à la fraude.
  • Consommation par le LLM : Le mélange des scores de risque entre les cas (brisant la correspondance par cas) n'a pas dégradé l'AUSR côté fraude, indiquant que le LLM réagit à la présence de champs structurés plutôt qu'à l'ampleur spécifique du risque.
  • Décomposition bénine : Sur les cas bénins, la présence de champs structurés à elle seule représente environ 75 % du coût du refus excessif. Une sensibilité asymétrique aux scores de risque élevés (par rapport aux scores faibles) explique le reste.

Signification et affirmations
L'article se positionne comme une contribution évaluative et orientée mesure plutôt que comme un article de méthode pure. Sa revendication principale est que l'évaluation robuste de la fraude doit être multi-tours, doit signaler le timing du refus et doit prendre en compte les faux positifs bénins parallèlement aux gains de sécurité.

Les auteurs déclarent explicitement que les résultats n'établissent pas une victoire de « méthode pure » où une architecture gagne de manière décisive. Au lieu de cela, les découvertes révèlent que le compromis sécurité-utilité est un artefact structurel de la manière dont les LLM actuels consomment le contexte structuré. L'encodeur de graphe n'est pas le point de défaillance ; la défaillance réside dans la conditionnalité du LLM sur l'existence de données de graphe plutôt que sur leur contenu.

Par conséquent, l'article soutient que les défenseurs avec contexte de graphe déployables nécessitent un calibrage de la manière dont le LLM est sollicité avec un contexte structuré (par exemple, présenter les scores faibles comme une preuve de sécurité plutôt que simplement l'absence de risque) ou un ajustement fin pour pondérer les champs de graphe par leur contenu. Ce travail sert d'avertissement selon lequel signaler uniquement les gains de sécurité côté fraude sans mesurer le refus excessif bénin et le timing du refus fournit une image trompeuse de l'utilité réelle d'un système.