Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
Este artículo demuestra que los detectores de seguridad de aprendizaje automático, que típicamente alcanzan un rendimiento casi perfecto en divisiones aleatorias estándar, sufren tasas de falla catastróficas cuando se evalúan contra técnicas de ataque no vistas y cambios temporales utilizando un protocolo riguroso y libre de filtraciones a través de escenarios de inyección de prompts de IA, paquetes maliciosos y detección de intrusión de red.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo digital moderno, los sistemas de seguridad suelen depender del aprendizaje automático, un tipo de programa informático que aprende a detectar problemas estudiando miles de ejemplos de ataques pasados. Estos programas actúan como guardias digitales, escaneando el tráfico de red, verificando archivos de software antes de que se instalen e incluso leyendo las instrucciones que los asistentes de codificación de inteligencia artificial utilizan para ayudar a los programadores. Durante años, la forma estándar de probar estos guardias ha sido barajar un montón de ataques conocidos y dividirlos en dos grupos: uno para el entrenamiento y otro para las pruebas. Este método asume que los ataques que el guardia enfrentará en el futuro se parecerán mucho a los que ya ha estudiado. Sin embargo, los atacantes del mundo real no se quedan quietos; constantemente inventan nuevos trucos, esconden sus herramientas de diferentes maneras y atacan en tiempos y lugares que sus defensores nunca han visto. La pregunta crítica es si estos guardias digitales pueden realmente reconocer un nuevo tipo de amenaza, o si simplemente están memorizando las antiguas y fallando cuando el juego cambia.
Un equipo de investigadores de la Universidad de Port Harcourt se propuso responder a esta pregunta probando los detectores de seguridad contra tres tipos de amenazas digitales muy diferentes utilizando un único método riguroso diseñado para evitar la fuga de datos. Examinaron qué tan bien podían los detectores detectar instrucciones ocultas plantadas en archivos para agentes de codificación de IA, cómo se desempeñaron contra paquetes de software maliciosos en bibliotecas en línea y cómo funcionaron al identificar intrusiones de red. En lugar de barajar los datos aleatoriamente, los investigadores obligaron a los detectores a enfrentar situaciones que nunca habían encontrado: ataques que utilizaban nuevas técnicas de ocultación, ataques que aparecían en un año posterior o ataques de conjuntos de datos completamente diferentes. También verificaron la existencia de "atajos", donde un detector podría estar dependiendo de una pista simple y obvia —como el tamaño de un archivo— en lugar de comprender realmente el peligro.
La primera parte de su estudio se centró en los agentes de codificación de IA, que son herramientas que ayudan a los programadores a escribir código mediante la lectura de archivos como guías de configuración. Los atacantes han comenzado a esconder instrucciones secretas dentro de estos archivos utilizando caracteres invisibles o símbolos extraños que un ojo humano pasaría por alto, pero que una computadora lee como un comando. Los investigadores crearon una colección de casi cinco mil archivos reales de repositorios públicos y luego plantaron instrucciones ocultas inofensivas en ellos utilizando nueve técnicas de ocultación diferentes. Probaron cinco detectores distintos para ver si podían encontrar estas trampas. Cuando los detectores fueron probados con la misma técnica de ocultación que aprendieron durante el entrenamiento, funcionaron casi perfectamente, detectando casi todas las instrucciones ocultas. Sin embargo, cuando los investigadores los probaron con una técnica de ocultación que el detector nunca había visto, los resultados colapsaron para algunos modelos. Un detector que dependía de contar características específicas, como el número de caracteres invisibles, no detectó el noventa y seis por ciento de los nuevos ataques. En contraste, un detector que leía el texto real del archivo, tras convertir primero los caracteres ocultos en texto plano y legible, mantuvo su alto rendimiento. El estudio también encontró que los modelos de IA de código abierto pequeños a menudo seguían estas instrucciones ocultas, obedeciendo los comandos secretos en hasta dos tercios de los casos, mientras que el simple hecho de eliminar los caracteres invisibles a veces hacía que el ataque fuera aún más fácil de entender para la IA.
El segundo estudio analizó los paquetes de software maliciosos en las bibliotecas npm y PyPI, que son vastas tiendas en línea donde los desarrolladores descargan código. Los investigadores recopilaron más de trece mil paquetes, incluyendo miles de paquetes maliciosos conocidos de 2024, 2025 y 2026. Entrenaron a los detectores con paquetes más antiguos y luego los probaron con las nuevas olas de ataques de 2026. Un detector, que examinaba el código en sí mismo, se mantuvo fuerte, detectando más del noventa por ciento de los nuevos paquetes maliciosos. Otro detector, que dependía de características estáticas como el tamaño total del paquete y el número de archivos en su interior, funcionó bien al principio, pero falló drásticamente cuando los investigadores eliminaron las pistas basadas en el tamaño. Sin depender del hecho de que los paquetes maliciosos solían ser pequeños, la capacidad de este detector para detectar nuevos ataques disminuyó significativamente, revelando que había estado dependiendo de un atajo en lugar de identificar verdaderamente el malware. El estudio también mostró que los detectores tuvieron dificultades para encontrar código malicioso que había sido introducido en bibliotecas legítimas y populares, una técnica que se volvió más común en 2026.
El tercer estudio revisó la detección de intrusiones de red, que consiste en escanear los datos que fluyen a través de una red informática para detectar hackers. Los investigadores utilizaron tres conjuntos de datos ampliamente utilizados que han servido como el estándar para probar estos sistemas durante años. Descubrieron que estos conjuntos de datos contenían un alto número de entradas duplicadas y errores, lo que probablemente había inflado las tasas de éxito anteriores. Cuando probaron los detectores entrenándolos con datos de días anteriores y probándolos con datos de días posteriores, el rendimiento de los sistemas cayó en picada. Un detector que parecía perfecto en un barajado aleatorio de los datos no funcionó mejor que el lanzamiento de una moneda cuando se enfrentó al tráfico de la semana siguiente. Falló al reconocer familias enteras de ataques que no había visto antes, como tipos específicos de tráfico de botnets o intentos de infiltración, demostrando que el sistema había aprendido a reconocer los patrones específicos del pasado en lugar de la naturaleza del ataque en sí.
A través de las tres áreas de seguridad, surgió un patrón claro. Los detectores que dependían de características de resumen o conteos simples tendieron a fallar cuando los atacantes cambiaban sus métodos, mientras que los detectores que leían el contenido real de la amenaza resistieron mucho mejor. Los investigadores encontraron que un paso simple de convertir el texto oculto o confuso en un formato estándar y legible permitía a los detectores reconocer el mensaje subyacente independientemente de cómo estuviera disfrazado. También demostraron que eliminar los duplicados de los datos era necesario pero no suficiente para solucionar el problema; el problema real era la suposición de que los ataques futuros se parecerían a los pasados. El estudio concluye que los sistemas de seguridad deben ser probados contra técnicas nuevas y no vistas antes de que puedan ser confiables, y que confiar en los métodos de prueba aleatorios estándar otorga una falsa sensación de seguridad. El trabajo sugiere que para mantenernos seguros, debemos diseñar sistemas que comprendan el contenido de un ataque en lugar de simplemente memorizar su apariencia.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.