A Synthetic Conversational Smishing Dataset for Social Engineering Detection

Título del Estudio: Un Conjunto de Datos Conversacional Sintético para la Detección de Smishing (Engaño por SMS)

1. El Problema

El smishing (phishing por SMS) ha evolucionado de ataques de un solo mensaje a estrategias de ingeniería social multi-etapa. Los atacantes modernos no solo envían un enlace malicioso, sino que utilizan conversaciones prolongadas para "grooming" (adulación), ganando la confianza de la víctima gradualmente antes de solicitar información sensible o transferencias de dinero.

• Limitaciones actuales: La investigación previa se centra en clasificar mensajes individuales como maliciosos o benignos, ignorando el contexto conversacional y la dinámica de múltiples turnos.
• Falta de datos: No existen conjuntos de datos públicos para interacciones conversacionales de smishing, especialmente aquellos dirigidos a poblaciones vulnerables (adultos mayores). Recopilar datos reales plantea desafíos éticos, legales y de privacidad significativos.
• Consecuencia: Los métodos de detección actuales fallan al no capturar la intención maliciosa que se revela a lo largo de una conversación extendida.

2. Metodología: Marco COVA

Los autores presentan COVA (Cognitive Operations Virtual Assistant), un marco de trabajo de tres fases diseñado para generar y evaluar datos sintéticos de ataques de ingeniería social:

• Fase 1: Generación Multi-Agente:

  • Se utilizan dos agentes de IA independientes (un atacante y una víctima) que interactúan iterativamente.
  • Agente Atacante: Configurado con un tipo de estafa, una personalidad (nombre, rol), parámetros tácticos (urgencia, método de pago) y niveles de conocimiento sobre la víctima (desde "sin conocimiento" hasta "conocimiento familiar completo").
  • Agente Víctima: Parametrizado con atributos demográficos (edad 65-85), rasgos de personalidad (nivel de confianza, conciencia de estafas) y un resultado objetivo.
  • Infraestructura: Se utilizó el modelo Qwen 2.5 14B ejecutado localmente (vía Ollama) para evitar restricciones de seguridad de APIs comerciales y garantizar la privacidad de los datos.
  • Categorías: Se cubrieron 8 tipos de estafas que afectan desproporcionadamente a los ancianos (ej. fraude de Medicare, secuestro virtual, estafas románticas, suplantación de abuelos).

• Fase 2: Aseguramiento de Calidad y Etiquetado:

  • Se generaron 3,201 conversaciones (aprox. 400 por categoría) con un total de 25,643 turnos.
  • Auditoría de Etiquetas: El etiquetado automático inicial mostró una tasa de error del 49.8%. Se desarrolló un pipeline de corrección (v2) que incorporó detección de negaciones y heurísticas específicas para cada tipo de estafa.
  • Clasificación de Resultados: Se consolidaron 5 etiquetas originales en 3 clases principales para el modelo:
    1. Cumplido (Complied): La víctima cede totalmente.
    2. Parcial (Partial): La víctima interactúa pero no cede completamente.
    3. Rechazado (Rejected): La víctima detecta la estafa o cuelga.

• Fase 3: Evaluación de Modelos:

  • Se entrenaron y evaluaron 8 modelos en un conjunto de datos dividido (80% entrenamiento, 10% validación, 10% prueba).
  • Modelos Tradicionales: Regresión Logística, Random Forest, SVM Lineal y XGBoost.
  • Modelos Transformer: DistilBERT y Longformer.
  • Características: Se compararon características ingenieriles (28 métricas como longitud, resistencia, señales financieras) contra representaciones textuales TF-IDF (unigramas y bigramas).

3. Contribuciones Clave

1. Nuevo Conjunto de Datos Público: Introducción del primer conjunto de datos público y sintético de 3,201 conversaciones multi-turno de smishing dirigido a ancianos, cubriendo 8 categorías de estafas.
2. Marco de Generación Sintética: Un pipeline reproducible que utiliza agentes LLM locales para simular dinámicas de conversación realistas sin violar la privacidad.
3. Líneas Base de Detección: Evaluación exhaustiva de modelos tradicionales y transformers, estableciendo un punto de referencia para futuras investigaciones.
4. Análisis de Rendimiento: Demostración empírica de que, en conjuntos de datos de este tamaño, los modelos basados en TF-IDF superan a los transformers fine-tuned, identificando las limitaciones de longitud de entrada y tamaño de datos como factores críticos.

4. Resultados Experimentales

• Mejor Modelo: XGBoost combinado con características TF-IDF y características ingenieriles.
  • Precisión (Accuracy): 72.5%
  • Puntuación F1 Macro: 0.691
• Comparativa de Modelos:
  • Los modelos basados en TF-IDF superaron consistentemente a aquellos que usaban solo características ingenieriles (XGBoost con TF-IDF: 72.5% vs. XGBoost solo características: 56.5%).
  • Los modelos Transformer (DistilBERT y Longformer) no superaron a los modelos tradicionales.
    • Longformer (sin truncamiento): 69.8% de precisión.
    • DistilBERT (con truncamiento): 69.8% de precisión.
• Análisis de Errores:
  • La confusión principal ocurre entre las clases "Parcial" y "Rechazado", ya que las víctimas que interactúan mucho antes de rechazar la estafa comparten patrones léxicos similares con las que interactúan sin compromiso.
  • Las clases minoritarias (rechazo rápido, estafa detectada) en el formato de 5 clases mostraron un rendimiento cercano a cero debido al desbalance de datos.

5. Significado y Conclusiones

• Importancia de las Señales Léxicas: El estudio revela que, para conjuntos de datos conversacionales de escala moderada (~3,000 muestras), los patrones léxicos simples (capturados por TF-IDF) son más efectivos que la comprensión contextual profunda de los transformers.
• Limitaciones de los Transformers: El rendimiento inferior de los transformers se atribuye a:
  1. Limitaciones de longitud de entrada: La truncación de conversaciones largas (promedio 377 tokens, máximo 874) elimina las señales críticas de los últimos turnos donde se decide el resultado.
  2. Falta de datos: El tamaño del conjunto de datos es insuficiente para el fine-tuning efectivo de modelos grandes, lo que llevó a sobreajuste (overfitting) en Longformer.
• Impacto Futuro: Este trabajo sienta las bases para la detección de ingeniería social en tiempo real. Los autores planean expandir el conjunto de datos a más de 10,000 conversaciones para permitir que los transformers superen a los métodos tradicionales y explorar la clasificación incremental para intervenciones en tiempo real.

En resumen, el artículo demuestra que, aunque los modelos avanzados de lenguaje son prometedores, en el contexto actual de detección de estafas conversacionales con datos limitados, los enfoques tradicionales optimizados con representaciones textuales robustas (TF-IDF) ofrecen el mejor equilibrio entre rendimiento y eficiencia.