Resumen Técnico: Evaluación de Ataques de Smishing de Spear Phishing Generados por IA frente a los Escritos por Humanos

Planteamiento del Problema

El phishing personalizado (spear phishing) sigue siendo una amenaza crítica para la ciberseguridad porque los mensajes pueden adaptarse al trabajo, intereses y contexto social específicos de un objetivo, lo que los hace altamente convincentes. Si bien los Modelos de Lenguaje Extensos (LLM) prometen automatizar la creación de este contenido dirigido a escala y bajo costo, existe una brecha significativa en la literatura empírica sobre si los mensajes generados por IA son realmente más convincentes que los escritos por humanos cuando ambos están adaptados al mismo individuo. Además, no está claro si los objetivos pueden distinguir de manera fiable entre fuentes de IA y humanas, o si el texto en sí conserva señales detectables de su origen. Este estudio aborda estas brechas comparando mensajes de smishing (phishing vía SMS) generados por GPT-4 contra aquellos escritos por autores humanos novatos para los mismos 25 objetivos.

Metodología

El estudio empleó un diseño piloto que involucró a 25 participantes que actuaron como objetivos. La investigación utilizó un marco de evaluación propuesto llamado TRAPD (Threshold Ranking Approach for Personalized Deception / Enfoque de Clasificación por Umbral para el Engaño Personalizado), diseñado para permitir comparaciones controladas y éticas de contenido engañoso personalizado sin desplegar ataques reales.

Diseño Experimental

1. Reclutamiento de Objetivos: 41 individuos completaron una encuesta proporcionando datos personales (nombre, ocupación, pasatiempos, publicaciones recientes en redes sociales, etc.). 25 de estos participantes regresaron para la fase de evaluación.
2. Generación de Mensajes:
   • Condición de IA: GPT-4 (vía API de OpenAI, temperatura 0.7) generó mensajes basados en una estructura de prompt compartida utilizando los datos del objetivo.
   • Condición Humana: 99 autores estudiantes novatos (estudiantes de pregrado en ciberseguridad/honores) escribieron mensajes bajo restricciones de tiempo (aprox. 15 minutos) utilizando la misma estructura de prompt.
   • Temas: Los mensajes se generaron para tres contextos específicos por objetivo: Relacionado con el trabajo, Relacionado con pasatiempos y Relacionado con redes sociales.
   • Volumen: Cada objetivo recibió 12 mensajes en total (6 generados por IA, 6 escritos por humanos; 2 de cada uno por tema).
3. Procedimiento de Evaluación (TRAPD):
   • Clasificación: Los participantes organizaron físicamente los 12 mensajes de mayor a menor probabilidad de inducir un clic.
   • Umbralización: Los participantes marcaron un umbral en la lista clasificada indicando el punto por encima del cual tendrían la intención de hacer clic.
   • Explicación Cualitativa: Los participantes explicaron su razonamiento para las clasificaciones y los umbrales.
   • Atribución de Fuente: Los participantes identificaron qué mensajes creían que fueron generados por IA y explicaron sus criterios.
4. Análisis Computacional: Se entrenó un clasificador de regresión logística utilizando embeddings semánticos (text-embedding-3-small) para distinguir entre los dos conjuntos de mensajes. Este análisis incluyó pruebas de sensibilidad donde las características superficiales obvias (URLs, emojis, longitud, puntuación) se normalizaron para probar si el clasificador dependía de patrones textuales más profundos.

Contribuciones Clave

1. Comparación Controlada: Proporciona una comparación directa, dentro del mismo objetivo, de mensajes de smishing personalizados generados por GPT-4 frente a los escritos por humanos, una brecha en la literatura existente que se ha centrado principalmente en el correo electrónico o el phishing masivo.
2. Evaluación de la Atribución de Fuente: Documenta la precisión de los objetivos humanos para distinguir entre fuentes de IA y humanas, y analiza los indicios específicos (o la falta de ellos) en los que dependen.
3. Análisis de Características: Identifica las características del mensaje (relevancia, identidad del remitente, estructura de la URL, estilo, urgencia) que los participantes asocian con la capacidad de convencer o la sospecha.
4. Distinguibilidad Computacional: Demuestra que, mientras los humanos no pueden distinguir las fuentes, el texto de los conjuntos de mensajes específicos del estudio sigue siendo computacionalmente distinguible incluso después de controlar las características de nivel superficial.
5. Marco TRAPD: Introduce el marco TRAPD y documenta la viabilidad y las limitaciones de su uso para la comparación controlada de contenido engañoso personalizado dentro de un mismo objetivo, sacrificando algo de realismo ecológico por un control riguroso dentro del objetivo y datos cualitativos ricos.

Resultados

Convincente (RQ1 y RQ2)

• IA vs. Humano: Los mensajes generados por GPT-4 provocaron una intención de clic en el 28.0% de los casos, en comparación con el 21.3% de los mensajes escritos por humanos. Sin embargo, esta diferencia no fue estadísticamente fiable (IC 95%: -2.9 a 16.3 puntos porcentuales; p = 0.147). El estudio establece ni que la IA supere a los humanos ni que las condiciones sean equivalentes.
• Impacto del Tema: Los mensajes relacionados con el trabajo fueron significativamente más convincentes que los mensajes de pasatiempos o redes sociales. El 38% de los mensajes relacionados con el trabajo superaron el umbral de intención de clic, en comparación con el 19% para pasatiempos y el 17% para redes sociales. Los mensajes de trabajo tuvieron probabilidades de intención de clic significativamente mayores que las otras dos categorías (p < 0.05 tras el ajuste de Holm).
• Impulsores Cualitativos: Los participantes citaron la relevancia personal (76%), la identidad del remitente (68%) y las características de la URL (64%) como factores primarios. La personalización precisa aumentó la credibilidad, mientras que las discrepancias (por ejemplo, colegas incorrectos, temas irrelevantes) aumentaron la sospecha.

Atribución de Fuente (RQ3 y RQ4)

• Precisión Humana: Los participantes identificaron correctamente la fuente (IA vs. Humano) solo el 52.0% de las veces, lo cual no es mejor que el azar (p = 0.597).
• Indicios Utilizados: A pesar de la baja precisión, los participantes dependieron de indicios inconsistentes como el "estilo" (formalidad, tono genérico), la "elección de palabras" (palabras de moda vs. jerga), la "gramática" (perfección vs. errores) y los "emojis". Muchos participantes expresaron incertidumbre, basándose en "sensaciones intuitivas" más que en criterios concretos.

Atribución de Fuente Computacional (RQ5)

• Distinguibilidad por Máquina: En contraste con el desempeño humano, un clasificador computacional pudo distinguir los conjuntos de mensajes con alta precisión incluso después de una estricta normalización (eliminación de URLs, emojis, estandarización de longitud/mayúsculas).
• Desempeño: En la condición más estricta (longitud igualada, texto normalizado), el clasificador logró una Exactitud Balanceada del 88.7% y un ROC AUC de 0.954 en objetivos no vistos. Esto sugiere que los conjuntos de mensajes específicos del estudio contenían patrones textuales sutiles y distribuidos, detectables por máquinas pero no por humanos.

Significado y Reivindicaciones

El artículo afirma que la personalización asistida por IA accesible puede aumentar la escala práctica de las amenazas de ingeniería social, incluso si los mensajes individuales de IA no son actualmente superiores a los humanos. El hallazgo clave es que un simple prompt puede producir mensajes personalizados que son comparablemente convincentes a los escritos por humanos novatos filtrados, dentro de la incertidumbre de este piloto.

El estudio destaca que los pretextos laborales son particularmente potentes en el smishing, lo que requiere una atención específica en la formación y la defensa. También subraya una desconexión crítica: mientras que los humanos no pueden detectar de manera fiable la autoría de la IA, el texto retiene señales computables. Sin embargo, los autores advierten que estos resultados computacionales son específicos de las condiciones del estudio (un modelo, un prompt, autores novatos) y no deben tratarse como un detector de IA general, dado que los atacantes pueden revisar el texto para evadir la detección.

Finalmente, el artículo posiciona a TRAPD como un marco valioso y éticamente sólido para futuras investigaciones, permitiendo comparaciones controladas y análisis detallados de razonamiento que los experimentos de phishing reales no pueden proporcionar, al tiempo que reconoce sus limitaciones respecto a la validez ecológica y la generalizabilidad.