Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders

Resumo Técnico: Repensando a Avaliação de Segurança contra Fraudes

Declaração do Problema
A avaliação atual de defesa contra fraudes depende fortemente de benchmarks de turno único, que não capturam a realidade da fraude como um processo multi-turno e escalonável. Os atacantes constroem legitimidade, adiam solicitações explícitas e adaptam-se à hesitação do defensor. Consequentemente, um modelo que parece robusto em um único prompt malicioso pode falhar quando submetido a pressão conversacional sustentada. Além disso, avaliações padrão frequentemente medem apenas se um modelo eventualmente recusa uma tentativa de fraude, ignorando quando a recusa ocorre e o custo dos falsos positivos (recusa excessiva) em tráfego benigno. Este artigo argumenta que a avaliação de turno único subestima o comportamento de segurança contra fraudes e obscurece o compromisso crítico entre segurança e utilidade inerente à implantação de assistentes de defesa contra fraudes.

Metodologia
O artigo propõe um framework de avaliação multi-turno construído sobre o conjunto de dados Fraud-R1, estendendo-o para incluir regimes de ataque de replay e adaptativos.

• Regimes de Ataque:
  • Turno único: O defensor vê apenas a mensagem maliciosa final.
  • Replay: O defensor enfrenta uma transcrição fixa de mensagens que gradualmente intensificam.
  • Adaptativo: O atacante reescreve mensagens subsequentes com base nas ações anteriores do defensor (REJEITAR, PERGUNTAR ou CUMPRIR), preservando o objetivo da fraude enquanto ajusta o tom e a estratégia.
• Configurações do Defensor: O estudo compara três condições de contexto usando uma política compartilhada de Modelo de Linguagem de Grande Escala (LLM) ($\pi_\theta$) e modelo de prompt:
  1. Apenas texto: Histórico de diálogo apenas.
  2. Grafo Estático: Um bloco JSON serializado contendo características de grafo não temporais (por exemplo, contagens de entidades, sinais de organização).
  3. Grafo Temporal: Um resumo de grafo dinamicamente atualizado incluindo motivos temporais e tendências de risco.
• Métricas:
  • Recusa Segura Antecipada (ESR) & AUSR: Mede o momento da recusa (Área sob a Curva de Recusa Segura) em vez de apenas o sucesso final.
  • Taxa de Recusa Excessiva (ORR): A taxa na qual casos benignos são incorretamente rejeitados.
  • Pontuação de Fundamentação: Avalia se a justificativa do modelo cita evidências realmente presentes na entrada (mensagem ou contexto do grafo).
• Suite Experimental: Experimentos foram conduzidos em uma suite congelada usando dois backbones de LLM (Qwen-1.5B e GPT-5.4-mini) em duas sementes aleatórias. A significância estatística foi avaliada por meio de testes de permutação emparelhados nas diferenças de métricas por caso.

Principais Contribuições

1. Formulação Multi-Turno: Reformula a defesa contra fraudes como um problema de segurança multi-turno com atacantes de replay e adaptativos, indo além da classificação fixa de turno único.
2. Momento da Recusa como Métrica de Robustez: Estabelece a recusa segura antecipada e a latência como métricas de primeira classe, demonstrando que quando um modelo recusa é tão crítico quanto se ele recusa.
3. Identificação do Compromisso Segurança–Utilidade: Demonstra empiricamente que, embora defensores com contexto de grafo melhorem a recusa antecipada no lado da fraude, eles incorrem em custos substanciais de recusa excessiva em casos benignos que avaliações de turno único não conseguem expor.
4. Localização do Compromisso: Através de sondagem direta e ablações de embaralhamento de risco, o artigo localiza o compromisso segurança–utilidade no consumo de contexto do LLM e não na qualidade do codificador de grafo. O codificador de grafo separa limpa a fraude do benigno, mas o LLM reage principalmente à presença de campos estruturados do grafo e não à magnitude da pontuação de risco.
5. Recomendações de Design: Propõe que o contexto de grafo temporal é uma direção promissora devido à fundamentação superior, e sugere estratégias de mitigação (por exemplo, gateamento por pontuação de risco, enquadramento simétrico do prompt) para abordar a recusa excessiva causada pelo consumo grosseiro de sinais de grafo pelo LLM.

Resultados

• Multi-Turno vs. Turno Único: A avaliação multi-turno revela diferenças significativas na latência e fundamentação não visíveis em resumos de turno único. Por exemplo, o AUSR apenas-texto cai de 0,847 (replay) para 0,775 (turno único).
• Benefícios do Contexto de Grafo: Sob ataques de replay, o contexto de grafo temporal melhora o AUSR de 0,847 (apenas texto) para 0,978 ($p=0,0004$) e reduz significativamente a conformidade insegura e a latência. Ganhos semelhantes são observados sob ataques adaptativos.
• Recusa Excessiva em Casos Benignos: Os ganhos vêm a um alto custo. No tráfego de replay benigno, a Taxa de Recusa Excessiva (ORR) salta de 0,36 (apenas texto) para 0,84–0,89 (contexto de grafo).
• Temporal vs. Estático: O contexto de grafo temporal é direcionalmente mais forte que o contexto estático em todas as métricas, particularmente nas pontuações de fundamentação (0,97 vs. 0,80), embora a diferença nas métricas centrais de recusa (AUSR) não tenha atingido significância estatística na suite congelada atual.
• Descobertas de Ablação:
  • Qualidade do Codificador: O codificador de grafo atribui corretamente baixas pontuações de risco a casos benignos e altas pontuações à fraude.
  • Consumo do LLM: Embaralhar as pontuações de risco entre casos (quebrando a correspondência por caso) não degradou o AUSR no lado da fraude, indicando que o LLM responde à presença de campos estruturados e não à magnitude específica do risco.
  • Decomposição Benigna: Em casos benignos, a presença de campos estruturados sozinha accounts por ~75% do custo de recusa excessiva. Uma sensibilidade assimétrica a altas pontuações de risco (vs. baixas pontuações) accounts pelo restante.

Significado e Alegações
O artigo posiciona-se como uma contribuição avaliativa e orientada à medição em vez de um artigo de método puro. Sua alegação principal é que a avaliação robusta de fraudes deve ser multi-turno, deve relatar o momento da recusa e deve contabilizar falsos positivos benignos juntamente com os ganhos de segurança.

Os autores afirmam explicitamente que os resultados não estabelecem uma vitória de "método puro" onde uma arquitetura vence decisivamente. Em vez disso, as descobertas revelam que o compromisso segurança–utilidade é um artefato estrutural de como os LLMs atuais consomem contexto estruturado. O codificador de grafo não é o ponto de falha; a falha reside no condicionamento do LLM à existência de dados de grafo e não ao seu conteúdo.

Consequentemente, o artigo argumenta que defensores com contexto de grafo implantáveis requerem calibração de como o LLM é instruído com contexto estruturado (por exemplo, enquadrando baixas pontuações como evidência de segurança e não apenas como ausência de risco) ou ajuste fino para ponderar campos de grafo pelo conteúdo. O trabalho serve como um alerta de que relatar apenas ganhos de segurança no lado da fraude sem medir a recusa excessiva benigna e o momento da recusa fornece uma imagem enganosa da utilidade real do sistema.