LLM-Generated Samples for Android Malware Detection

Resumen Técnico: Muestras Generadas por LLM para la Detección de Malware en Android

Planteamiento del Problema
El malware de Android continúa evolucionando rápidamente mediante la ofuscación y el polimorfismo, desafiando tanto las defensas basadas en firmas como a los modelos de aprendizaje automático (ML). Un cuello de botella crítico en el desarrollo de sistemas de detección robustos es la escasez de datos, particularmente para familias de malware y comportamientos específicos, lo que conduce a conjuntos de datos desequilibrados y dificulta la generalización de los clasificadores. Aunque se ha propido el uso de datos sintéticos como remedio, la eficacia específica de los Modelos de Lenguaje de Gran Escala (LLM) para generar registros de malware estructurados y efectivos para entrenar modelos de detección permanece poco explorada. La literatura existente carece de una evaluación empírica sobre cómo el malware de Android sintético generado por LLM influye en el rendimiento de la detección cuando se utiliza para aumentación o como fuente de entrenamiento independiente.

Metodología
Este estudio utiliza el conjunto de datos KronoDroid, seleccionado por su espacio de características híbrido estático-dinámico, divisiones maliciosas/benignas equilibradas y características interpretables por humanos. La investigación se centra en tres familias de malware distintas: BankBot (troyano bancario), Locker/SLocker (ransomware) y Airpush/StopSMS (adware/troyano de SMS).

La metodología central consiste en un proceso de tres etapas:

1. Preparación de Datos: Los autores seleccionaron subconjuntos de dispositivos reales de KronoDroid, manteniendo una relación 1:1 entre muestras maliciosas y benignas. Las características se preprocesaron para eliminar identificadores y metadatos, imputando los valores 'None' a cero y filtrando columnas dispersas, lo que resultó en un conjunto final de 387 características numéricas.
2. Ajuste Fino (Fine-Tuning) y Generación de LLM: Los autores ajustaron GPT-4.1-mini para generar registros de malware estructurados. Para sortear los filtros de seguridad respecto a términos como "malware", los nombres de las características fueron saneados (por ejemplo, "malware" $\to$ "app"). El equipo intentó inicialmente la generación en CSV pero encontró inconsistencias estructurales; consecuentemente, cambiaron a formatos JSON/JSONL, que resultaron ser más estables para los LLM.
   • Estrategia de Ajuste Fino: Se probaron dos configuraciones. Para BankBot y Locker/SLocker, se utilizaron 50 muestras representativas por familia durante una época (epoch). Para Airpush/StopSMS, el conjunto se incrementó a 150 muestras durante 3 épocas para probar la sensibilidad al volumen de datos y la profundidad del entrenamiento.
   • Ingeniería de Prompts: Los prompts se optimizaron para imponer realismo estructural, unicidad y etiquetado correcto. El post-procesamiento consistió en eliminar duplicados y abordar alucinaciones (por ejemplo, patrones de llamadas al sistema poco realistas).
3. Evaluación Experimental: El estudio evaluó cinco clasificadores (k-Vecinos más cercanos, Árboles de Decisión, Regresión Logística, Perceptrón Multicapa y Bosque Aleatorio) a través de tres escenarios:
   • Solo Real (Real-only): Entrenamiento con malware real y datos benignos.
   • Real + Sintético: Aumentación de malware real con muestras generadas por LLM.
   • Solo Sintético (Synthetic-only): Entrenamiento exclusivamente con malware sintético y datos benignos reales, y posteriormente prueba sobre malware real.

Resultos Clave
Los resultados experimentales, validados a través de 45 combinaciones (3 familias $\times$ 5 clasificadores $\times$ 3 escenarios), revelan distintos niveles de rendimiento:

• Entrenamiento Solo Real: Logró una detección casi perfecta en todas las familias. Para BankBot, modelos como la Regresión Logística y el Bosque Aleatorio alcanzaron una precisión y un AUC de ROC de 1.000. Las familias Locker y Airpush también mostraron un alto rendimiento (Precisión $\approx$ 0.97–0.99), confirmando que una cantidad suficiente de datos reales produce una discriminación excelente.
• Aumentación Real + Sintética: La adición de muestras generadas por LLM preservó el alto rendimiento pero resultó en degradaciones menores y consistentes en comparación con el entrenamiento solo de datos reales. Por ejemplo, la precisión de BankBot descendió ligeramente de 1.000 a ~0.99. Crucialmente, la Tasa de Falsos Positivos se mantuvo muy baja (<0.04), lo que indica que la aumentación sintética no compromete la especificidad.
• Entrenamiento Solo Sintético: El rendimiento fue mixto y altamente dependiente de la familia de malware y la estrategia de ajuste fino:
  • BankBot y Locker/SLocker: Los modelos entrenados únicamente con datos sintéticos tuvieron un desempeño pobre cuando se probaron con datos reales. La precisión osciló entre 0.50 y 0.74, con una recuperación (recall) extremadamente baja (p. ej., 0.05 para Locker), lo que sugiere que los datos sintéticos no lograron capturar las características de distribución necesarias para estas familias.
  • Airpush/StopSMS: Esta familia mostró una generalización significativamente mejor (Precisión $\approx$ 0.80–0.89, Recuperación $\approx$ 0.61–0.79). Esta mejora se correlacionó con el conjunto de ajuste fino más grande (150 muestras) y un entrenamiento más profundo (3 épocas), sugiriendo que la fidelidad sintética mejora con el aumento del volumen de datos y la profundidad del entrenamiento.

Contribuciones Principales
El artículo realiza dos contribuciones primarias:

1. Utilidad de la Aumentación: Demuestra que aumentar los conjuntos de datos reales escasos con malware generado por LLM puede mejorar el tamaño del conjunto de datos sin comprometer significativamente la precisión de detección o la especificidad.
2. Límites de la Viabilidad de Solo Sintético: Proporciona evidencia empírica de que, si bien los LLM pueden generar registros estructuralmente consistentes, actualmente son insuficientes como fuente de entrenamiento independiente para la detección de malware. La efectividad del entrenamiento solo sintético es altamente sensible a las características de la familia de malware y a la profundidad del proceso de ajuste fino.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como una exploración práctica de la utilidad de los LLM en la analítica de ciberseguridad más que como un avance en métricas de detección puras. El estudio afirma que:

• Los datos sintéticos son un suplemento, no un sustituto: El malware generado por LLM puede abordar eficazmente la escasez de datos para familias raras, pero aún no puede reemplazar los datos del mundo real para entrenar clasificadores robustos.
• Se requiere rigor metodológico: El éxito de la generación sintética depende fuertemente de la ingeniería de prompts, el post-procesamiento y el régimen específico de ajuste fino (tamaño de muestra y épocas).
• Potencial futuro: Los hallazgos sugieren que aumentar los corpus de ajuste fino y las épocas para familias más grandes podría cerrar la brecha de generalización. Los autores proponen que los datos sintéticos son mejores aplicados como complemento para tareas como el entrenamiento adversarial, el red-teaming y la evaluación comparativa en entornos donde el acceso a conjuntos de datos reales sensibles es limitado.

En conclusión, el artículo sostiene que, si bien los LLM ofrecen una vía prometedora para enriquecer los conjuntos de datos de malware, sus resultados actuales carecen de la realidad y diversidad requeridas para modelos de detección independientes, lo que hace necesario un enfoque híbrido que priorice la validación con datos reales.