💻 computer science

Adversarial Robustness in Smishing Detection: A Comparative Analysis of Adversarial Fragility in Classical vs. Transformer-Based Detection Systems

Este estudio demuestra que, si bien los modelos basados en transformadores exhiben una robustez adversarial significativamente mayor contra la ofuscación y las perturbaciones estructurales en la detección de smishing en comparación con los modelos léxicos clásicos, el rendimiento con texto limpio es un predictor poco fiable de la resiliencia, lo que resalta la necesidad de defensas específicas para la arquitectura contra los vectores de ataque en evolución.

Autores originales: Denzel Chiuseni, Athanase Bahizire, Silva Hama, Jema David Ndibwile

Publicado 2026-08-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Denzel Chiuseni, Athanase Bahizire, Silva Hama, Jema David Ndibwile

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a una computadora a detectar un mensaje de texto falso, como un estafador fingiendo ser tu banco. Este es el mundo de la detección de "smishing", una rama de la ciberseguridad donde los algoritmos actúan como porteros digitales, revisando los mensajes SMS para ver si son amigables o peligrosos. Durante mucho tiempo, los científicos entrenaron a estos porteros usando texto limpio y perfecto, asumiendo que los estafadores siempre escribirían en inglés o suajili puro sin intentar engañar al sistema. Pero en el mundo real, los estafadores son astutos. Utilizan "ataques adversarios", que son como usar un disfraz para pasar junto a un guardia de seguridad. Podrían cambiar una letra por un símbolo de apariencia similar (como una 'a' por una 'α'), añadir espacios invisibles extraños para romper las palabras, o mezclar dos idiomas en una misma oración para confundir al guardia. La gran pregunta que los investigadores se han estado haciendo es: Si construimos un guardia súper inteligente, ¿será realmente más resistente contra estos disfraces, o simplemente será mejor detectando lo obvio?

Este artículo profundiza en esa misma pregunta, enfrentando dos tipos diferentes de "guardias" contra un enjambre de mensajes de texto trucados y disfrazados. Por un lado, tienes a los guardias "Clásicos" (como Random Forest y XGBoost), que son como detectives de la vieja escuela que memorizan palabras clave y patrones específicos. Por el otro lado, tienes a los guardias "Transformer" (como mBERT y XLM-RoBERTa), que son como detectives modernos conscientes del contexto que entienden cómo las palabras encajan entre sí en una oración. Los investigadores tomaron un conjunto de datos de más de 27,000 mensajes de texto y sometieron a ambos tipos de guardias a tres tipos diferentes de "disfraces": Ofuscación de Caracteres (cambiar letras por otras de apariencia similar), Perturbación Estructural (jugar con los espacios y la puntuación) y Code-Switching (mezclar idiomas). Midieron cuánto caía el rendimiento de cada guardia utilizando una puntuación llamada "Ratio de Degradación de Robustez" (RDR), donde 0 significa que el guardia se mantuvo perfecto y 1 significa que falló por completo.

Los resultados revelaron una división dramática en las filas. Los guardias Clásicos, a pesar de ser muy buenos detectando mensajes limpios, se desmoronaron casi instantáneamente al enfrentarse a los disfraces. Cuando los estafadores usaron cambios de caracteres o jugaron con el espaciado, los modelos Clásicos sufrieron un colapso casi total, con su rendimiento cayendo hasta un 98.8% (un RDR de 0.988). Era como si el detective olvidara cómo leer en el momento en que el sospechoso cambiaba su fuente. En contraste, los guardias Transformer fueron mucho más resistentes. Mantuvieron su posición, y su rendimiento cayó un máximo de solo 35.1% (un RDR de 0.351). Sin embargo, no eran invencibles; su mayor debilidad resultó ser las perturbaciones estructurales, donde jugar con los espacios confundió a sus divisores de palabras internos.

Quizás el giro más sorprendente de la historia es que ser "más inteligente" en una prueba normal no significa que seas más seguro en una pelea. Los investigadores descubrieron que el modelo Transformer con la puntuación más alta en texto limpio (XLM-RoBERTa) en realidad se desmoronó más bajo ataque que su hermano ligeramente menos preciso (mBERT). Esto demuestra que una puntuación alta en una prueba estándar es una falsa sensación de seguridad; no predice qué tan bien manejará un sistema un truco del mundo real. El estudio concluye que, si bien la IA moderna es un gran paso adelante respecto a los métodos antiguos, no podemos confiar solo en las cifras de precisión. Necesitamos construir sistemas que estén entrenados específicamente para manejar estos "disfraces", porque en el mundo del smishing, los malos siempre están intentando cambiar su apariencia para pasar desapercibidos ante el guardia.

Resumen Técnico: Robustez Adversaria en la Detección de Smishing

Planteamiento del Problema

Los sistemas de detección de smishing (phishing por SMS) se entrenan y evalúan predominantemente con texto limpio y monolingüe. Sin embargo, en entornos de bajos recursos caracterizados por la diversidad lingüística y la escasez de datos etiquetados, los atacantes suelen eludir estos sistemas utilizando tácticas de evasión sofisticadas: la ofuscación de caracteres (homoglifos, errores ortográficos), la perturbación estructural (manipulación de espacios) y el cambio de código translingüístico (code-switching). La literatura actual suele tratar estas estrategias de evasión como casos límite teóricos en lugar de variables ambientales persistentes. En consecuencia, existe una falta de evidencia empírica sobre cómo diferentes arquitecturas de modelos —desde modelos léxicos clásicos hasta transformadores modernos— se degradan bajo condiciones adversarias, y si la alta precisión en textos limpios predice de manera fiable la robustez adversaria.

Metodología

El estudio evalúa la robustez adversaria de cinco arquitecturas de modelos utilizando un conjunto de datos de 27.037 mensajes SMS (356 maliciosos, prevalencia del 1,3%), que comprende contenido en inglés y suajili. Los modelos se dividen en dos niveles:

Modelos Léxicos Clásicos: Random Forest, XGBoost (ambos basados en TF-IDF) y un híbrido CNN+BiLSTM.
Transformadores Multilingües: mBERT y XLM-RoBERTa.

Generación de Ataques y Estrategia:

Modelos Clásicos: Evaluados bajo un modelo de amenaza de caja negra. Los ejemplos adversarios se generaron utilizando la API de Gemini para aplicar tres tipos de ataque a través de tres niveles de intensidad (bajo, medio, alto):
- Ofuscación de Caracteres: Sustitución con homoglifos y caracteres no imprimibles.
- Perturbación Estructural: Inserción/eliminación de espacios para interrumpir la tokenización.
- Cambio de Código (Code-Switching): Reemplazo de frases disparadoras por traducciones en el otro idioma.
Modelos de Transformadores: Evaluados mediante segmentación guiada por atención. Las pruebas preliminares mostraron que los ataques genéricos producían una degradación insignificante; por lo tanto, las perturbaciones se aplicaron exclusivamente a los top-K tokens identificados por los pesos de atención de la última capa ( $K=3, 6, 10$ para intensidades baja, media y alta) para simular escenarios de caja blanca de peor caso.

Métrica de Evaluación:
La métrica principal es la Relación de Degradación de Robustez (RDR), definida como $(F1_{limpio} - F1_{adversario}) / F1_{limpio}$ . Esto normaliza la degradación en relación con el baseline de cada modelo, permitiendo una comparación directa de la fragilidad arquitectónica independientemente del rendimiento absoluto.

Validación Estadística:
Se emplearon pruebas no paramétricas (Mann-Whitney U, Friedman y Cliff's $\delta$ ) para confirmar que las diferencias observadas son atribuibles a la arquitectura y no a artefactos de muestreo.

Resultados Clave

1. Brecha Arquitectónica

Existe una frontera distintiva entre las arquitecturas clásicas y los transformadores:

Modelos Clásicos: Exhiben un fallo casi catastrófico bajo la ofuscación de caracteres y la perturbación estructural. Random Forest y XGBoost alcanzaron valores de RDR de 0,9533 y 0,9877 respectivamente bajo una alta intensidad de ofuscación de caracteres, lo que indica un colapso total de la señal. El modelo CNN+BiLSTM mostró una mejor resiliencia (RDR ~0,48) debido a la recuperación contextual, pero aun así sufrió una degradación severa.
Transformadores: Demostraron una resiliencia significativamente mayor, con valores máximos de RDR limitados a 0,3511 (XLM-RoBERTa bajo perturbación estructural). Se mantuvieron robustos contra la ofuscación de caracteres (RDR < 0,24) y el cambio de código (RDR < 0,05).

2. Especificidad del Ataque

Modelos Clásicos: Más vulnerables a la ofuscación de caracteres (colapso de la señal TF-IDF) y a la perturbación estructural (fragmentación de los límites de n-gramas). El cambio de código causó la mayor divergencia dentro de este nivel, con Random Forest (RDR 0,70) fallando significativamente más que CNN+BiLSTM (RDR 0,27) debido al sesgo léxico monolingüe.
Transformadores: Más vulnerables a la perturbación estructural, la cual interrumpe la tokenización de subpalabras. Curiosamente, el cambio de código fue el ataque menos efectivo (RDR < 0,05), ya que el preentrenamiento multilingüe mapea los equivalentes translingüísticos hacia regiones de embedding próximas.

3. Desacoplamiento entre Rendimiento y Robustez

El estudio encontró que no hay correlación entre el rendimiento en texto limpio y la robustez adversaria:

XLM-RoBERTa logró el F1 de texto limpio más alto (0,9565) pero sufrió una mayor degradación (RDR 0,2326) bajo alta intensidad de ofuscación de caracteres que mBERT (F1 0,9429, RDR 0,1515).
Dentro del nivel clásico, CNN+BiLSTM tuvo el F1 de texto limpio más bajo (0,897) pero el RDR más bajo (0,4868) bajo ofuscación de caracteres en comparación con los modelos basados en árboles.

4. Significancia Estadística

Prueba Mann-Whitney U: Confirmó que los modelos clásicos exhiben un RDR significativamente mayor que los transformadores ( $U=50,0, p=0,0024$ ), con un gran tamaño de efecto (Cliff's $\delta = 0,85$ ).
Prueba de Friedman: Validó que la degradación escala de forma no lineal con la intensidad, confirmando un umbral crítico donde el rendimiento cae abruptamente.

Contribuciones Clave

Comparación Empírica Sistemática: El estudio proporciona la primera comparación directa de la fragilidad adversaria a través del espectro desde modelos léxicos clásicos hasta transformadores en un entorno multilingüe y de bajos recursos.
Aplicación de la Métrica RDR: Introduce y aplica la Relación de Degradación de Robustez para aislar los puntos de falla arquitectónica de la capacidad base, demostrando que la precisión en texto limpio es un mal predictor de la seguridad.
Refinamiento de la Estrategia de Ataque: Demuestra que los ataques genéricos de caja negra subestiman la fragilidad de los transformadores, lo que requiere una segmentación guiada por atención para revelar las vulnerabilidades de peor caso.
Identificación de Modos de Fallo: Vincula explícitamente modos de fallo específicos con propiedades arquitectónicas:
- TF-IDF: Colapso debido a la dependencia de la forma superficial exacta.
- Transformadores: Vulnerabilidad a la interrupción de la tokenización de subpalabras en lugar de cambios de caracteres superficiales.

Significado y Reivindicaciones

El artículo postula que la detección de smishing debe enmarcarse como un desafío de ciberseguridad adversaria en lugar de una tarea de clasificación estática. Los hallazgos subrayan que:

El rendimiento en texto limpio no es un proxy fiable para la seguridad. Optimizar para la precisión puede generar modelos que sean más frágiles ante ataques dirigidos.
Se requieren defensas específicas para cada arquitectura. No existe una solución universal; los modelos TF-IDF requieren normalización Unicode y aumentación de n-gramas, mientras que los transformadores requieren entrenamiento adversario consciente de la atención.
Los embeddings contextuales ofrecen una protección parcial. En entornos con recursos limitados donde los transformadores son computacionalmente prohibitivos, las arquitecturas CNN+BiLSTM sirven como la alternativa clásica más viable, ofreciendo una mejor resiliencia que los modelos de bolsa de palabras (bag-of-words).

Los autores concluyen que los profesionales de la seguridad deben evaluar los modelos basándose en métricas de resiliencia adversaria en lugar de la precisión base, ya que los modelos con rendimientos comparables en texto limpio pueden exhibir capacidades defensivas en el mundo real notablemente distintas.