An Expanded Synthetic Conversation Dataset for Multi-Turn Smishing Detection

Resumen Técnico: Un conjunto de datos de conversaciones sintéticas expandido para la detección de smishing multi-turno

Planteamiento del problema
Los ataques de ingeniería social conversacional (smishing) dirigidos a personas mayores representan una creciente amenaza de ciberseguridad que se desarrolla a lo largo de múltiples turnos de diálogo. A diferencia del phishing de un solo mensaje, estos ataques dependen de la construcción gradual de confianza, lo que dificulta su detección mediante clasificadores tradicionales de un solo mensaje. Los datos del mundo real para tales interacciones son escasos debido a restricciones de privacidad y ética. El trabajo previo de los autores, COVA, introdujo un conjunto de datos sintéticos de 3,201 conversaciones, pero reveló una limitación crítica: los modelos transformer (DistilBERT y Longformer) tuvieron un rendimiento inferior en comparación con XGBoost con características TF-IDF. Esta brecha se atribuyó al truncamiento de la entrada, que descartaba los turnos finales críticos para el resultado, y a una cantidad insuficiente de datos de entrenamiento para un ajuste fino (fine-tuning) eficaz de los transformers.

Metodología: Expansión de COVA-X y Ciclo de Vida de Calidad
Este artículo presenta COVA-X, un conjunto de datos sintéticos expandido que contiene 10,985 conversaciones multi-turno (un incremento de 3.43× sobre el original), que abarca ocho categorías de estafas dirigidas a personas mayores (Romance, Suplantación de Identidad Gubernamental, Medicare, Abuelos, Suplantación de Identidad Bancaria, Secuestro Virtual, Inversión y Lotería).

El pipeline de generación utilizó Qwen 2.5 14B vía Ollama en hardware de GPU local, empleando dos agentes de LLM independientes (atacante y víctima). Las mejoras metodológicas clave respecto a la primera iteración incluyen:

• Expansión de Perfiles: Introducción de cinco perfiles de víctimas por tipo de estafa, incluyendo dos perfiles de "resultado fijado" (Carol para quick_rejection, George para scam_detected) para asegurar la diversidad conductual y la fuerza de la señal.
• Correcciones de Ingeniería de Prompts: Implementación de "Bloqueo de Identidad de Nombre" para evitar la mezcla de personajes, inyecciones de "REGLA DE SALIDA ABSOLUTA" para suprimir la filtración de acotaciones escénicas, y reescrituras para eliminar la contaminación de "apertura de abuelo" en estafas que no son de abuelos.
• Intervención Arquitectónica para Secuestro Virtual: Para abordar las altas tasas de artefactos en la categoría de "Secuestro Virtual" (que involucra tres partes: atacante, víctima y rehén), los autores pasaron de una arquitectura de dos roles (el atacante generando la voz del rehén dentro de su propio turno) a una arquitectura de tres roles (Ruta B). En la Ruta B, el rehén es un agente distinto con su propio prompt de sistema y turno, integrado de nuevo en el turno del atacante al momento de la escritura en JSON.
• Ciclo de Vida de Calidad: Un pipeline integral que incluye escaneo de contaminación, eliminación de acotaciones escénicas, reetiquetado automatizado y una auditoría de limpieza posterior.

Contribuciones Clave

1. Expansión del Conjunto de Datos: El lanzamiento de COVA-X (10,985 conversaciones) con cinco perfiles de víctima/atacante por categoría, abordando la escasez de datos que anteriormente dificultaba el rendimiento de los transformers.
2. Documentación del Ciclo de Vida de Calidad: Un análisis cuantificado del proceso de construcción del conjunto de datos, demostrando una mejora de 12.7× en las tasas de corrección de etiquetas (reduciendo los desajustes del 49.8% en la primera iteración al 3.9%).
3. Validación Arquitectónica: Evidencia de que la intervención de tres roles para el Secuestro Virtual redujo las tasas de bandera de artefactos del 67.1% al 46.5%, donde la mayor parte de la reducción (20.4 puntos porcentuales) se atribuye al cambio arquitectónico más que al post-procesamiento.
4. Comparación de Modelos: Un reentrenamiento de todos los clasificadores (XGBoost, DistilBERT, Longformer) en el conjunto de datos expandido para probar la hipótesis de que los corpus más grandes permiten a los transformers aprovechar sus ventajas contextuales.
5. Caracterización del Modelo de Generación: Documentación de límites de capacidad específicos de Qwen 2.5 14B bajo presión emocional sostenida, incluyendo la falla al adoptar etiquetas estructurales, sesgo de saliencia en la ingeniería de prompts (donde listar patrones prohibidos aumentó su ocurrencia) y rupturas de cumplimiento de perfil.

Resultos
El reentrenamiento de los clasificadores en el conjunto de datos limpio de COVA-X arrojó los siguientes resultados en la tarea de predicción de resultados de 3 clases (cumplió, parcial, rechazó):

• Longformer (Contexto Completo): Logró una precisión del 79.71% y un F1 macro de 0.7786.
• XGBoost + TF-IDF: Logró una precisión del 78.43% y un F1 macro de 0.7563.
• DistilBERT v2 (Truncamiento de Cola): Logró una precisión del 77.53% y un F1 macro de 0.7632.

Hallazgos Clave:

• Confirmación de la Hipótesis: Longformer superó a XGBoost en todas las métricas por primera vez, confirmando que los modelos transformer requieren corpus conversacionales más grandes (>5,000 conversaciones) para materializar sus ventajas contextuales. Longformer mostró una mejora de 11.16 puntos porcentuales en el F1 macro en comparación con el primer artículo, superando significativamente la mejora de 6.53 puntos de XGBoost.
• Consistencia entre Arquitecturas: Un análisis de sensibilidad pre/post-limpieza mostró que las tres arquitecturas mejoraron en el conjunto de datos limpio. Esto sugiere que el pipeline de limpieza recuperó señales genuinas relevantes para la etiqueta accesibles a través de diferentes sustratos de representación (bolsa de palabras vs. embeddings de transformer).
• Dinámicas por Tipo de Estafa: Las distribuciones de resultados variaron según el mecanismo de la estafa. El Secuestro Virtual tuvo la tasa más alta de successful_scam (33%) debido a la presión emocional, mientras que las estafas de Abuelos tuvieron la tasa más alta de verification_attempt (63%). Las estafas de Medicare y Bancarias mostraron altas tasas de quick_rejection, reflejando la conciencia pública.

Significancia y Reivindicaciones
El artículo afirma que el hallazgo central —la superioridad de Longformer sobre XGBoost en el conjunto de datos expandido— valida directamente la hipótesis del tamaño de los datos de la obra previa de los autores. Además, los autores argumentan que la documentación transparente de los desafíos iterativos en la construcción de conjuntos de datos sintéticos (incluyendo la mejora de 12.7× en las etiquetas y los modos de falla específicos del modelo de generación) constituye una contribución metodológica por derecho propio. Esto proporciona una hoja de ruta práctica para futuros esfuerzos de conjuntos de datos sintéticos, destacando que las refinaciones del pipeline y las intervenciones arquitectónicas (como la generación de tres roles para el Secuestro Virtual) son críticas para la integridad del conjunto de datos.

Los autores señalan modestamente las limitaciones, incluyendo que el conjunto de datos es exclusivamente en inglés y centrado en EE. UU., la falta de capacidades de clasificación incremental en tiempo real, y la persistencia de limitaciones específicas del modelo de generación (por ejemplo, la incapacidad de Qwen 2.5 14B para seguir consistentemente las etiquetas estructurales bajo presión emocional), lo cual motiva futuros estudios de comparación de modelos.