Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders

Resumen Técnico: Repensar la Evaluación de Seguridad contra el Fraude

Enunciado del Problema
La evaluación actual de la defensa contra el fraude depende en gran medida de puntos de referencia de un solo turno, que no logran capturar la realidad del fraude como un proceso de múltiples rondas y escalada. Los atacantes construyen legitimidad, retrasan las solicitudes explícitas y se adaptan a la vacilación del defensor. En consecuencia, un modelo que parece robusto ante un único mensaje malicioso puede fallar cuando se somete a una presión conversacional sostenida. Además, las evaluaciones estándar a menudo miden únicamente si un modelo termina rechazando un intento de fraude, ignorando cuándo ocurre el rechazo y el costo de los falsos positivos (rechazo excesivo) en el tráfico benigno. Este artículo argumenta que la evaluación de un solo turno subestima el comportamiento de seguridad contra el fraude y oscurece el compromiso crítico entre seguridad y utilidad inherente al despliegue de asistentes de defensa contra el fraude.

Metodología
El artículo propone un marco de evaluación de múltiples rondas basado en el conjunto de datos Fraud-R1, extendiéndolo para incluir regímenes de ataque de reproducción y adaptativos.

• Regímenes de Ataque:
  • Un solo turno: El defensor ve únicamente el mensaje malicioso final.
  • Reproducción: El defensor enfrenta una transcripción fija de mensajes que se intensifican gradualmente.
  • Adaptativo: El atacante reescribe los mensajes subsiguientes basándose en las acciones anteriores del defensor (RECHAZAR, PREGUNTAR o CUMPLIR), manteniendo el objetivo del fraude mientras ajusta el tono y la estrategia.
• Configuraciones del Defensor: El estudio compara tres condiciones de contexto utilizando una política compartida de Modelo de Lenguaje Grande (LLM) ($\pi_\theta$) y una plantilla de prompt:
  1. Solo texto: Historial de diálogo únicamente.
  2. Grafo estático: Un bloque JSON serializado que contiene características no temporales del grafo (por ejemplo, conteos de entidades, señales de organización).
  3. Grafo temporal: Un resumen de grafo actualizado dinámicamente que incluye motivos temporales y tendencias de riesgo.
• Métricas:
  • Rechazo Seguro Temprano (ESR) y AUSR: Mide el momento del rechazo (Área bajo la curva de Rechazo Seguro) en lugar de solo el éxito final.
  • Tasa de Rechazo Excesivo (ORR): La tasa a la que se rechazan incorrectamente casos benignos.
  • Puntuación de Fundamentación: Evalúa si la justificación del modelo cita evidencia realmente presente en la entrada (mensaje o contexto del grafo).
• Suite Experimental: Los experimentos se realizaron en una suite congelada utilizando dos arquitecturas de LLM (Qwen-1.5B y GPT-5.4-mini) a través de dos semillas aleatorias. La significancia estadística se evaluó mediante pruebas de permutación emparejadas sobre las diferencias de métricas por caso.

Contribuciones Clave

1. Formulación de Múltiples Rondas: Replantea la defensa contra el fraude como un problema de seguridad de múltiples rondas con atacantes de reproducción y adaptativos, superando la clasificación fija de un solo turno.
2. El Momento del Rechazo como Métrica de Robustez: Establece el rechazo seguro temprano y la latencia como métricas de primera clase, demostrando que cuándo un modelo rechaza es tan crítico como si lo hace.
3. Identificación del Compromiso Seguridad-Utilidad: Demuestra empíricamente que, aunque los defensores con contexto de grafo mejoran el rechazo temprano en el lado del fraude, incurren en costos sustanciales de rechazo excesivo en casos benignos que las evaluaciones de un solo turno no logran exponer.
4. Localización del Compromiso: Mediante sondeos directos y ablaciones de riesgo aleatorizado, el artículo localiza el compromiso seguridad-utilidad en el consumo de contexto del LLM y no en la calidad del codificador de grafos. El codificador de grafos separa limpiamente el fraude de los casos benignos, pero el LLM reacciona principalmente a la presencia de campos de grafo estructurados en lugar de a la magnitud de la puntuación de riesgo.
5. Recomendaciones de Diseño: Propone que el contexto de grafo temporal es una dirección prometedora debido a su fundamentación superior, y sugiere estrategias de mitigación (por ejemplo, enmascaramiento de puntuaciones de riesgo, enmarcado simétrico del prompt) para abordar el rechazo excesivo causado por el consumo grosero de señales de grafo por parte del LLM.

Resultados

• Múltiples Rondas vs. Un Solo Turno: La evaluación de múltiples rondas revela diferencias significativas en la latencia y la fundamentación que no son visibles en los resúmenes de un solo turno. Por ejemplo, el AUSR de solo texto cae de 0.847 (reproducción) a 0.775 (un solo turno).
• Beneficios del Contexto de Grafo: Bajo ataques de reproducción, el contexto de grafo temporal mejora el AUSR de 0.847 (solo texto) a 0.978 ($p=0.0004$) y reduce significativamente el cumplimiento inseguro y la latencia. Se observan ganancias similares bajo ataques adaptativos.
• Rechazo Excesivo Benigno: Las ganancias conllevan un alto costo. En el tráfico de reproducción benigno, la Tasa de Rechazo Excesivo (ORR) salta de 0.36 (solo texto) a 0.84–0.89 (contexto de grafo).
• Temporal vs. Estático: El contexto de grafo temporal es direccionalmente más fuerte que el contexto estático en todas las métricas, particularmente en las puntuaciones de fundamentación (0.97 frente a 0.80), aunque la diferencia en las métricas centrales de rechazo (AUSR) no alcanzó significancia estadística en la suite congelada actual.
• Hallazgos de Ablación:
  • Calidad del Codificador: El codificador de grafos asigna correctamente puntuaciones de riesgo bajas a casos benignos y altas al fraude.
  • Consumo del LLM: Aleatorizar las puntuaciones de riesgo entre casos (rompiendo la correspondencia por caso) no degradó el AUSR en el lado del fraude, lo que indica que el LLM responde a la presencia de campos estructurados en lugar de a la magnitud específica del riesgo.
  • Descomposición Benigna: En casos benignos, la presencia de campos estructurados por sí sola representa aproximadamente el 75% del costo de rechazo excesivo. Una sensibilidad asimétrica a las puntuaciones de riesgo altas (frente a las bajas) explica el resto.

Significado y Afirmaciones
El artículo se posiciona como una contribución evaluativa y orientada a la medición en lugar de un artículo de método puro. Su afirmación principal es que la evaluación robusta del fraude debe ser de múltiples rondas, debe reportar el momento del rechazo y debe tener en cuenta los falsos positivos benignos junto con las ganancias de seguridad.

Los autores declaran explícitamente que los resultados no establecen una victoria de "método puro" donde una arquitectura gana decisivamente. En cambio, los hallazgos revelan que el compromiso seguridad-utilidad es un artefacto estructural de cómo los LLM actuales consumen el contexto estructurado. El codificador de grafos no es el punto de falla; la falla reside en la condicionamiento del LLM a la existencia de datos de grafo en lugar de a su contenido.

En consecuencia, el artículo argumenta que los defensores con contexto de grafo desplegable requieren una calibración de cómo se solicita al LLM el contexto estructurado (por ejemplo, enmarcando las puntuaciones bajas como evidencia de seguridad en lugar de solo la ausencia de riesgo) o un ajuste fino para ponderar los campos de grafo según su contenido. La obra sirve como una advertencia de que reportar únicamente las ganancias de seguridad en el lado del fraude sin medir el rechazo excesivo benigno y el momento del rechazo proporciona una imagen engañosa de la utilidad real del sistema.