Related Families, Not Label Errors: A Case Study of a Failure Mode in Open-World Malware Evaluation on BODMAS
Este artículo demuestra que el bajo rendimiento de la detección de malware en entornos de mundo abierto en el benchmark BODMAS no se debe a errores de etiquetado o fallos en los detectores, sino a la presencia de familias estrechamente relacionadas en el conjunto de entrenamiento que hacen que las muestras "novedosas" retenidas sean, en realidad, familiares para los métodos de puntuación de novedad no supervisados.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo digital, los investigadores de seguridad construyen programas diseñados para actuar como centinelas, escaneando constantemente en busca de software malicioso que amenaza a las computadoras. Estos programas están entrenados para reconocer amenazas conocidas, pero el verdadero desafío reside en el "mundo abierto", donde aparecen cada día tipos de malware completamente nuevos. Para probar si estos centinelas están realmente preparados para lo desconocido, los investigadores utilizan un método específico: ocultan un grupo entero de software malicioso conocido al programa de entrenamiento y luego preguntan: "¿Puede su sistema detectar este nuevo grupo como algo que nunca ha visto antes?". Si el sistema marca el grupo oculto como un extraño, pasa la prueba. Este proceso asume que el grupo oculto es genuinamente único y no tiene parientes cercanos en los datos de entrenamiento. Si el grupo oculto es en realidad un primo de un grupo que el sistema ya conoce, la prueba falla, no porque el sistema sea débil, sino porque la pregunta que se está haciendo es defectuosa.
Un equipo de investigadores investigó recientemente un fallo desconcertante en una de las pruebas más respetadas para la detección de malware, conocida como BODMAS. Descubrieron que cuando eliminaban una familia específica de malware llamada berbew de los datos de entrenamiento, el sistema de detección fallaba estrepitosamente. En lugar de marcar las muestras ocultas como nuevas amenazas, el sistema las etiquetaba con confianza como software conocido y seguro. Los resultados fueron tan pobres que el sistema funcionó peor que el azar. A primera vista, esto parecía un fallo catastrófico de la tecnología de detección. Sin embargo, los investigadores descubrieron que la culpa no residía en la inteligencia del software, sino en la estructura de la propia prueba. La familia berbew oculta tenía un pariente muy cercano, llamado qukart, que permanecía en los datos de entrenamiento. Debido a que los dos grupos eran tan similares en sus huellas digitales, el sistema reconoció correctamente que las muestras ocultas pertenecían a una familia que ya conocía, aunque no conociera el nombre específico del grupo oculto. La prueba estaba penalizando al sistema por ser preciso sobre la relación entre los dos grupos.
Para demostrar esto, los investigadores realizaron un experimento controlado. Eliminaron tanto la familia berbew como la qukart de los datos de entrenamiento al mismo tiempo, asegurándose de que no quedaran parientes cercanos. Cuando volvieron a ejecutar la prueba, el rendimiento del sistema en las muestras de berbew se disparó de una puntuación de fracaso a una detección casi perfecta. Este cambio dramático confirmó que el fallo original fue causado por la presencia de una familia relacionada en el conjunto de entrenamiento, no por un fallo en el algoritmo de detección. Los investigadores fueron cuidadosos al descartar otras explicaciones comunes. Auditaron todo el conjunto de datos, comprobando miles de parejas de familias de malware para ver si alguna era en realidad un duplicado con un nombre diferente, lo que podría haber causado la confusión. No encontraron duplicados entre las parejas más sospechosas. También examinaron las convenciones de nomenclatura utilizadas por los proveedores de antivirus, que a menudo agrupan malware relacionado bajo un único nombre de linaje. Descubrieron que estos nombres no predecían el problema; en un caso documentado, tres familias se consideraban parte del mismo linaje, pero solo dos de ellas eran lo suficientemente cercanas como para confundir al sistema. La tercera era distinta, lo que demostró que confiar solo en los nombres habría fusionado los grupos incorrectos y pasado por alto el problema real.
El estudio también reveló que esta confusión era específica de la forma en que el sistema medía la "novedad". Los investigadores probaron varios enfoques matemáticos diferentes para detectar lo desconocido. Encontraron que cualquier método que comparara una muestra con un resumen global y amplio de todo el software conocido fallaría cuando un pariente cercano estuviera presente. Estos métodos verían la muestra oculta como normal porque está cerca del pariente conocido. Sin embargo, un enfoque diferente, que comparaba una muestra solo con sus vecinos más cercanos, funcionó mejor. No obtuvo la respuesta completamente correcta, pero no invirtió el resultado por completo, lo que sugiere que mirar los detalles locales en lugar de un promedio global es una estrategia más segura cuando existen parientes cercanos. Los investigadores también observaron que un sistema supervisado, al que se le permitió usar los nombres de las familias durante el entrenamiento, podía separar los dos grupos de manera efectiva, demostrando que las etiquetas eran correctas y las familias eran distintas, solo que muy similares.
La lección central de este trabajo es que la forma en que probamos el software de seguridad debe cambiar. Simplemente reportar una única puntuación promedio de qué tan bien un sistema detecta nuevas amenazas oculta estos fallos críticos. Los investigadores argumentan que, antes de declarar exitosa una prueba, primero debemos medir qué tan estrechamente relacionados están los grupos ocultos con los grupos utilizados para el entrenamiento. Si un grupo oculto tiene un primo cercano en el conjunto de entrenamiento, la prueba no está midiendo la capacidad de encontrar lo verdaderamente desconocido; está midiendo la capacidad de distinguir entre conocidos muy similares. La solución no es eliminar estas familias relacionadas de la prueba, ya que representan amenazas realistas que los equipos de seguridad deben manejar. En su lugar, los investigadores deberían reportar los resultados por separado para las familias que tienen parientes cercanos y aquellas que no los tienen. Esta transparencia asegura que un sistema no sea injustamente penalizado por identificar correctamente un linaje conocido, y proporciona una imagen más clara de dónde se encuentra realmente la tecnología. Al documentar este modo de fallo específico y los pasos tomados para comprenderlo, los investigadores esperan evitar que otros repitan los mismos errores y fomentar una evaluación más honesta de qué tan bien nuestros centinelas digitales pueden realmente ver lo desconocido.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.