🤖 machine learning

Mitigating The Effect of Class Imbalance in Data with Hierarchical and Dependable Structure

Este artículo propone un marco RoBERTa consciente de la jerarquía que aprovecha incrustaciones de clases padre aprendibles para mitigar eficazmente el desequilibrio de clases en la clasificación de vulnerabilidades CWE, demostrando que la incorporación de la estructura jerárquica supera a las técnicas de sobremuestreo tradicionales que a menudo degradan el rendimiento del modelo.

Autores originales: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

Publicado 2026-07-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando clasificar una enorme pila de pistas sobre fallos de seguridad informática. Estos fallos están organizados en un árbol genealógico gigante llamado Common Weakness Enumeration (CWE). En la cima del árbol se encuentran categorías amplias como "Base" (la visión general), y a medida que bajas por las ramas, estas se vuelven más específicas, terminando en hojas diminutas y raras como "Compound" o "Pillar".

¿El problema? La bolsa de evidencias del detective está totalmente desequilibrada. Hay cientos de pistas para las categorías grandes y comunes, pero solo un puñado para las más raras y específicas. Es como tener una biblioteca con 500 libros sobre "Frutas" pero solo 5 libros sobre "Dragonfruit". Si intentas enseñarle a una computadora a clasificar esto, se volverá perezosa y simplemente adivinará "Fruta" cada vez, porque es lo que ve con más frecuencia.

El experimento de la "Pista Falsa" (Lo que no funcionó)

Para solucionar esto, muchos expertos intentaron un truco llamado sobremuestreo (oversampling). Tomaron las pocas pistas raras e intentaron inventar nuevas pistas falsas para que los números parecieran iguales. Utilizaron dos métodos populares: SMOTE y ADASYS.

Piensa en esto como un chef intentando hacer que una sopa sepa a especias raras. En lugar de encontrar más especias reales, toma dos granos de especias existentes, los mezcla y espera que la nueva mezcla sepa auténtica.

El artículo probó esto en diferentes tipos de "detectives" (modelos de computadora):

Los Detectives de la Vieja Escuela (Random Forest y SVM): Estos modelos son como detectives que analizan listas simples de hechos. Cuando se les alimentó con las especias mezcladas falsas, obtuvieron un pequeño impulso. Su precisión pasó de 0.65 a 0.69 para el Random Forest, y el Support Vector Machine (SVM) se mantuvo estable alrededor de 0.71–0.72. Ayudó un poco, pero no mucho.
Los Detectives de Alta Tecnología (CNN y BiGRU): Estos son modelos de aprendizaje profundo más inteligentes que entienden cómo fluyen las palabras juntas. Cuando los investigadores les dieron las especias mezcladas falsas, el resultado fue un desastre. La precisión de la CNN cayó de 0.71 a 0.55 con SMOTE y a 0.51 con ADASYN. El BiGRU cayó de 0.70 a 0.53 y 0.44.

¿Por qué? El artículo argumenta que estos modelos de alta tecnología son como chefs que pueden notar la diferencia entre una especia real y una mezcla falsa. Cuando mezclas dos "palabras" de computadora para crear una falsa, rompes las reglas del árbol genealógico. Puedes crear una "Variante" que afirma ser hija de una "Base", pero la mezcla falsa no respeta realmente esa relación de padre-hijo. Es como intentar hacer un "Dragonfruit" mezclando una "Manzana" y un "Plátano". El resultado no es un Dragonfruit; es un caos confuso que confunde al detective.

La solución del "Árbol Genealógico" (Lo que realmente funcionó)

En lugar de crear pistas falsas, los autores construyeron un nuevo detective llamado Hierarchy-Aware RoBERTa.

Imagina que este detective tiene un mapa especial del árbol genealógico en su bolsillo. No solo lee la pista; también consulta el mapa para ver: "Espera, si esta pista es sobre una debilidad 'Base', la respuesta debe estar relacionada con ese padre".

El modelo funciona así:

Lee la descripción textual del fallo (usando una herramienta poderosa llamada SecureBERT).
Obtiene un "ID de Padre" del árbol genealógico (como saber que la pista pertenece a la rama "Base").
Combina la lectura del texto con la ubicación en el mapa para realizar una estimación final.

Los Resultados:
Este nuevo detective no necesitó ninguna pista falsa. Logró un F1-score ponderado de 0.76 sin ningún aumento de datos (data augmentation).

Compara esto con el modelo BERT estándar, que obtuvo un 0.74.
Lo más importante: observa la categoría "Class", que es rara. El modelo BERT estándar solo obtuvo un F1-score de 0.49 para este grupo raro. El nuevo modelo Hierarchy-Aware lo elevó a 0.60.

La Conclusión

El artículo sugiere que cuando tienes un árbol genealógico estructurado de datos, intentar "falsear" más datos mezclando piezas existentes (sobremuestreo) es una mala idea. Funciona aceptablemente para modelos simples, pero rompe los más avanzados.

En cambio, el mejor enfoque es enseñar al modelo a respetar la estructura del árbol genealógico desde el principio. Al darle al modelo un "mapa" de las relaciones padre-hijo, puede resolver los casos raros y complicados mucho mejor que simplemente saturar los datos de entrenamiento con ruido sintético.

Sin embargo, los autores advierten cuidadosamente que incluso su mejor detective tiene dificultades con las categorías más raras, como "Compound" y "Pillar", que tenían solo 8 y 5 muestras respectivamente. Para estos grupos extremadamente escasos, el F1-score se mantuvo en 0.00 en todos los modelos, lo que sugiere que cuando casi no hay datos, ni siquiera un mapa del árbol genealógico es suficiente para resolver el misterio.

Resumen Técnico: Mitigación del Efecto del Desequilibrio de Clases en Datos con Estructura Jerárquica y Dependiente

Planteamiento del Problema

La clasificación de vulnerabilidades de ciberseguridad utilizando la taxonomía Common Weakness Enumeration (CWE) presenta dos desafíos primordiales: un desequilibrio de clases extremo y fuertes dependencias jerárquicas entre las categorías de debilidades. La taxonomía CWE organiza las debilidades en niveles de abstracción (Base, Clase, Pilar, Variante, Compuesta), donde los nodos de nivel superior representan conceptos amplios y los nodos de nivel inferior representan detalles específicos. En la práctica, un pequeño número de tipos de debilidades dominan el corpus, mientras que categorías raras pero de alto impacto permanecen significativamente subrepresentadas.

Aunque los codificadores basados en Transformers como BERT y RoBERTa se han consolidado como bases sólidas para la clasificación de texto de CWE, tienen dificultades con las categorías raras debido al desequilibrio de clases. Además, las etiquetas CWE poseen dependencias explícitas de padre-hijo (por ejemplo, una "Variante" es siempre hija de una "Base"), lo que significa que las clasificaciones erróneas en los niveles de abstracción superiores cascaden hacia abajo. Los enfoques tradicionales para el desequilibrio, como el sobremuestreo aleatorio, el submuestreo y las técnicas de generación sintética como el Técnica de Sobremuestreo de Minorías Sintéticas (SMOTE) y el Muestreo Sintético Adaptativo (ADASYN), son ampliamente adoptados, pero su efectividad en las incrustaciones (embeddings) de texto estructuradas y jerárquicas permanece en gran medida inexplorada. Específicamente, no está claro si la interpolación lineal en espacios de incrustación de alta dimensión respeta las restricciones estructurales de la jerarquía CWE.

Metodología

El estudio evalúa una gama de modelos bajo diferentes condiciones de aumentación de datos y propone una arquitectura novedosa que integra la estructura jerárquica directamente en el proceso de aprendizaje.

1. Baselines Experimentales y Sobremuestreo

Los autores evaluaron empíricamente modelos de Aprendizaje Automático (Random Forest, SVM), Aprendizaje Profundo (CNN, BiGRU) y basados en Transformers (BERT) sobre un conjunto de datos CWE jerárquico desequilibrado.

Sobremuestreo: SMOTE y ADASYN se aplicaron exclusivamente al conjunto de entrenamiento. SMOTE igualó todas las clases a 393 muestras usando $k$ -vecinos=2, mientras que ADASYN concentró la síntesis en las regiones de frontera más difíciles para lograr un conteo de paridad cercano.
Modelos:
- ML Clásico: Random Forest (100 árboles) y SVM (núcleo lineal).
- Aprendizaje Profundo: CNN (128 filtros, tamaños de núcleo [4,6,6]) y BiGRU (128 dimensiones ocultas).
- Transformers: BERT-base (uncased) y el propuesto Hierarchy-Aware RoBERTa.
- Entrenamiento: Todos los modelos de aprendizaje profundo fueron entrenados con un tamaño de lote (batch size) de 8 durante 15 épocas.

2. Enfoque Propuesto: Hierarchy-Aware RoBERTa

El artículo introduce un marco de trabajo Hierarchy-Aware RoBERTa que incorpora explícitamente la información estructural de CWE a través de incrustaciones de clase-padre aprendibles.

Arquitectura: El modelo utiliza un codificador SecureBERT preentrenado para generar una representación [CLS] de 768 dimensiones a partir del texto de entrada.
Inyección Jerárquica: Se introduce una incrustación de categoría-padre aprendible (24 dimensiones) para capturar relaciones estructurales de grano grueso. Esta incrustación se entrena conjuntamente con la red.
Fusión: La representación semántica ( $h_{cls}$ ) y el contexto jerárquico ( $h_p$ ) se fusionan mediante concatenación: $h_f = [h_{cls}, h_p]$ .
Clasificación: La representación fusionada se regulariza con dropout (0.3) y se pasa a través de una cabeza de clasificación lineal para producir logits.
Formulación: La tarea se plantea no como una predicción independiente $P(Y_{hijo}|X_{texto})$ , sino como un problema de probabilidad condicional $P(Y_{hijo}|X_{texto}, Y_{padre})$ , utilizando el "ID del Padre" como un prior estructural.

Contribuciones Clave

Evaluación Empírica: El estudio proporciona una evaluación exhaustiva de los modelos de ML, DL y Transformers bajo el remuestreo SMOTE y ADASYN en un conjunto de datos CWE jerárquico desequilibrado.
Análisis de la Interpolación Sintética: Los autores demuestran que la interpolación sintética en espacios de incrustación de alta dimensión viola las restricciones inherentes de padre-hijo. Aunque ofrece beneficios marginales para los modelos de ML clásico, estos métodos degradan consistentemente el rendimiento de las arquitecturas de aprendizaje profundo.
Modelo Consciente de la Jerarquía (Hierarchy-Aware): La introducción de un modelo Hierarchy-Aware RoBERTa que inyecta los priors estructurales de CWE mediante incrustaciones de clase-padre aprendibles, permitiendo el modelado conjunto de extremo a extremo del contenido semántico y la estructura jerárquica.
Ganancias de Rendimiento: El modelo propuesto logra una puntuación F1 ponderada de 0.76 sin aumentación de datos, superando a todos los baselines. Notablemente, mejora la F1-score para la categoría "Clase" de 0.49 (BERT base) a 0.60.

Resultados

Impacto del Sobremuestreo:
- ML Clásico: SMOTE y ADASYN proporcionaron mejoras débiles pero positivas para Random Forest (la precisión aumentó de 0.65 a 0.69) y SVM (la precisión se mantuvo estable alrededor de 0.71–0.72).
- Aprendizaje Profundo: El sobremuestreo degradó consistentemente el rendimiento. La precisión de la CNN vanilla cayó de 0.71 a 0.55 (SMOTE) y 0.51 (ADASYN). La BiGRU cayó de 0.70 a 0.53 y 0.44, respectivamente.
- Transformers: BERT logró una precisión de 0.74 sin aumentación. El propuesto Hierarchy-Aware RoBERTa alcanzó la precisión más alta de 0.76.
Rendimiento por Clase:
- El modelo propuesto logró la F1-score ponderada más alta (0.76) en comparación con BERT (0.73), CNN (0.68 base) y BiGRU (0.69 base).
- Se observaron ganancias significativas en las clases minoritarias; por ejemplo, la F1-score de la categoría "Clase" mejoró de 0.49 (BERT) a 0.60 (Hierarchy-Aware RoBERTa).
- Las categorías extremadamente dispersas (Compuesta y Pilar) permanecieron en 0.00 F1 en todos los modelos, resaltando los límites del aprendizaje supervisado con severa escasez de datos.

Significado y Reivindicaciones

El artículo argumenta que el aprendizaje de representaciones consciente de la jerarquía es una alternativa más fundamentada al sobremuestreo para la clasificación de vulnerabilidades estructuradas. Los autores afirman que las técnicas de interpolación sintética (SMOTE/ADASYN) fallan en este dominio porque:

Producen muestras que carecen de coherencia lingüística en espacios contextuales de alta dimensión.
Violan las dependencias estructurales de la taxonomía CWE (por ejemplo, una "Variante" no puede existir sin una "Base"), creando incrustaciones estructuralmente inválidas que confunden al modelo.
Tratan las muestras como entidades independientes en un espacio de características plano, ignorando la naturaleza de grafo con estructura de árbol de las CWEs donde los errores cascaden desde el padre al hijo.

Al modelar explícitamente la relación padre-hijo a través de incrustaciones aprendibles, el marco propuesto impone consistencia estructural y mejora la discriminación entre clases minoritarias y semánticamente dependientes sin el ruido introducido por la generación de datos sintéticos.

Limitaciones

Los autores reconocen modestamente varias limitaciones:

Dependencia de Inferencia: El modelo asume que los metadatos de nivel de padre están disponibles durante la inferencia, lo cual se alinea con los pipelines de grueso a fino, pero puede no adaptarse a todos los escenarios.
Jerarquía Estática: La jerarquía se trata como fija; el modelo puede no generalizarse a nuevos nodos o nodos reordenados sin reentrenamiento, dada la actualización continua de la taxonomía CWE.
Alcance de la Jerarquía: Solo se captura la información del padre directo, ignorando los ancestros de múltiples saltos, las relaciones de hermanos y la profundidad del árbol, lo que limita el rendimiento en clases profundamente anidadas como Compuesta y Pilar.
Sobrecarga de Parámetros: Las incrustaciones de padre aprendibles añaden una modesta sobrecarga de parámetros, lo que podría dificultar la escalabilidad a taxonomías muy grandes.
Especificidad del Dominio: El enfoque fue evaluado únicamente dentro del dominio CWE, dejando su generalizabilidad a otras tareas jerárquicas sin validar empíricamente.