Quantifying the Generalization Gap: A New Benchmark for Out-of-Distribution Graph-Based Android Malware Classification

Resumen Técnico: Cuantificando la Brecha de Generalización en la Clasificación de Malware de Android Basada en Grafos

Título original: Quantifying the Generalization Gap: A New Benchmark for Out-of-Distribution Graph-Based Android Malware Classification

1. El Problema: La Fragilidad ante el Cambio de Distribución

Aunque los clasificadores de malware de Android basados en grafos (que utilizan Redes Neuronales de Grafos o GNNs sobre Grafos de Llamadas a Funciones - FCG) alcanzan precisiones superiores al 94% en conjuntos de datos estándar, presentan una debilidad crítica: la falta de robustez ante el cambio de distribución (distribution shift).

El estudio identifica que, cuando estos modelos se enfrentan a variantes de malware no vistas durante el entrenamiento (nuevas familias o subtipos), su rendimiento puede degradarse hasta en un 45%. Esta brecha de generalización se debe principalmente a que los conjuntos de datos actuales (como MalNet-Tiny) se centran solo en la topología estructural del grafo, eliminando la información semántica de las funciones para evitar riesgos de ingeniería inversa, lo que impide que el modelo comprenda el comportamiento real del código.

2. Metodología Propuesta

Los autores proponen un enfoque centrado en los datos (data-centric) que combina la creación de nuevos estándares de evaluación con un marco de enriquecimiento semántico.

A. Nuevos Benchmarks de Evaluación:
Para simular escenarios del mundo real, introducen dos variantes de MalNet-Tiny:

• MalNet-Tiny-Common (Desplazamiento de Covariables): Entrena con ciertas familias y prueba con subtipos diferentes de las mismas familias.
• MalNet-Tiny-Distinct (Desplazamiento de Dominio): Entrena con familias específicas y prueba con familias completamente nuevas y desconocidas.

B. Marco de Enriquecimiento Semántico:
Para solucionar la falta de información, proponen un pipeline que construye grafos atribuidos enriqueciendo cada nodo (función) con:

1. Metadatos agregados: Nombres de métodos, firmas, banderas de acceso, estadísticas de instrucciones y comportamientos específicos de Android.
2. Embeddings de código basados en LLM: Utilizan modelos de lenguaje de gran tamaño (como CodeXEmbed) para extraer representaciones densas del comportamiento semántico a partir del código fuente descompilado.
3. LDP (Local Degree Profile): Características estructurales tradicionales para mantener la información de la topología.

C. Estrategias de Colación de Datos (Manejo de datos incompletos):
Dado que en la práctica no todas las funciones tienen código disponible (por ejemplo, funciones de la API de Android), proponen tres métodos para estandarizar los grafos:

• Trim (Recorte): Elimina las dimensiones de características que no están presentes en todos los nodos.
• Zero (Ceros): Rellena los valores faltantes con ceros.
• Prune (Poda): Elimina los nodos que tienen características incompletas, ajustando también la estructura del grafo.

3. Contribuciones Clave

1. Identificación del problema: Demostración empírica de la fragilidad de las GNNs actuales ante el cambio de distribución.
2. Nuevos Datasets: Lanzamiento de MalNet-Tiny-Common y MalNet-Tiny-Distinct para fomentar la investigación en robustez.
3. Pipeline de Enriquecimiento: Un método para integrar semántica (metadatos + LLM) en grafos estructurales.
4. Estrategias de Robustez: Introducción de métodos de colación (Trim, Zero, Prune) para manejar la inconsistencia de datos en entornos reales.

4. Resultados Principales

• Mejora de la Robustez: El uso de características semánticas mejora significativamente la precisión en escenarios de cambio de distribución en comparación con los modelos que solo usan estructura.
• Eficacia de la Poda (Pruning): Se descubrió que la estrategia Prune es la más efectiva para arquitecturas de paso de mensajes tradicionales (MPNNs), mientras que Zero funciona mejor para arquitecturas basadas en Transformers.
• Sinergia con Adaptación de Modelos: El enfoque centrado en datos no solo funciona por sí solo, sino que potencia las técnicas existentes de adaptación de dominio (DA) y adaptación en tiempo de prueba (TTA), logrando una mayor resiliencia.
• Capacidad de los modelos simples: Con un buen enriquecimiento semántico, modelos GNN más simples (como GCN) pueden alcanzar o incluso superar el rendimiento de arquitecturas complejas en tareas de clasificación bajo cambio de distribución.

5. Significancia y Aplicación Práctica

Este trabajo es fundamental para el despliegue real de sistemas de detección de malware. Al proporcionar herramientas que permiten a los modelos "entender" el comportamiento funcional (semántica) en lugar de solo memorizar la forma del grafo (estructura), los investigadores pueden construir sistemas de seguridad capaces de detectar amenazas de día cero (zero-day attacks) y variantes de malware que evolucionan rápidamente para evadir la detección.