🤖 machine learning

Mitigating The Effect of Class Imbalance in Data with Hierarchical and Dependable Structure

Este artigo propõe um framework RoBERTa ciente de hierarquia que aproveita embeddings de classe-pai aprendíveis para mitigar eficazmente o desequilíbrio de classes na classificação de vulnerabilidades CWE, demonstrando que a incorporação da estrutura hierárquica supera as técnicas tradicionais de sobreamostragem, as quais frequentemente degradam o desempenho do modelo.

Autores originais: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

Publicado 2026-07-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando organizar uma pilha enorme de pistas sobre falhas de segurança de computador. Essas falhas estão organizadas em uma gigantesca árvore genealógica chamada Common Weakness Enumeration (CWE). No topo da árvore estão categorias amplas como "Base" (o panorama geral) e, conforme você desce, os ramos tornam-se mais específicos, terminando em folhas minúsculas e raras como "Compound" ou "Pillar".

O problema? A bolsa de evidências do detetive está totalmente desequilibrada. Há centenas de pistas para as categorias grandes e comuns, mas apenas um punhado para as categorias raras e específicas. É como ter uma biblioteca com 500 livros sobre "Frutas" mas apenas 5 livros sobre "Pitaya". Se você tentar ensinar um computador a classificar isso, ele ficará preguiçoso e apenas adivinhará "Fruta" toda vez, porque é o que ele vê com mais frequência.

O Experimento da "Pista Falsa" (O Que Não Funcionou)

Para corrigir isso, muitos especialistas tentaram um truque chamado oversampling (superamostragem). Eles pegaram as poucas pistas raras e tentaram inventar novas, pistas falsas para fazer os números parecerem iguais. Eles usaram dois métodos populares: SMOTE e ADASYN.

Pense nisso como um chef tentando fazer uma sopa parecer que tem mais especiarias raras. Em vez de encontrar mais especiarias reais, eles pegam dois grãos de especiarias existentes, misturam um ao outro e esperam que a nova mistura tenha um sabor autêntico.

O artigo testou isso em diferentes tipos de "detetives" (modelos de computador):

Os Detetives da Velha Guarda (Random Forest e SVM): Esses modelos são como detetives que olham para listas simples de fatos. Quando alimentados com as especiarias falsas misturadas, eles tiveram um pequeno aumento. A precisão deles passou de 0,65 para 0,69 para o Random Forest, e o Support Vector Machine (SVM) permaneceu estável em torno de 0,71–0,72. Ajudou um pouco, mas não muito.
Os Detetives de Alta Tecnologia (CNN e BiGRU): Estes são modelos de aprendizado profundo mais inteligentes que entendem como as palavras fluem juntas. Quando os pesquisadores os alimentaram com as especiarias falsas misturadas, o resultado foi um desastre. A precisão da CNN despencou de 0,71 para 0,55 com SMOTE e 0,51 com ADASYN. A BiGRU caiu de 0,70 para 0,53 e 0,44.

Por quê? O artigo argumenta que esses modelos de alta tecnologia são como chefs que conseguem sentir a diferença entre uma especiaria real e uma mistura falsa. Quando você mistura duas "palavras" de computador diferentes para criar uma falsa, você quebra as regras da árvore genealógica. Você pode criar uma "Variante" que afirma ser filha de uma "Base", mas a mistura falsa não respeita de fato essa relação de pai e filho. É como tentar fazer uma "Pitaya" misturando uma "Maçã" e uma "Banana". O resultado não é uma Pitaya; é uma confusão que confunde o detetive.

A Solução da "Árvore Genealógica" (O Que Realmente Funcionou)

Em vez de criar pistas falsas, os autores construíram um novo detetive chamado Hierarchy-Aware RoBERTa.

Imagine que este detetive tem um mapa especial da árvore genealógica no bolso. Eles não apenas leem a pista; eles também verificam o mapa para ver: "Espere, se esta pista é sobre uma fraqueza 'Base', a resposta deve estar relacionada a esse pai".

O modelo funciona assim:

Ele lê a descrição textual da falha (usando uma ferramenta poderosa chamada SecureBERT).
Ele captura um "ID do Pai" da árvore genealógica (como saber que a pista pertence ao ramo "Base").
Ele combina a leitura do texto com a localização no mapa para fazer um palpite final.

Os Resultados:
Este novo detetive não precisou de nenhuma pista falsa. Ele alcançou um F1-score ponderado de 0,76 sem qualquer aumento de dados (data augmentation).

Compare com o modelo BERT padrão, que pontuou 0,74.
Mais importante ainda, observe a categoria rara "Class". O modelo BERT padrão obteve um F1-score de apenas 0,49 para este grupo raro. O novo modelo Hierarchy-Aware elevou isso para 0,60.

A Conclusão

O artigo sugere que, quando você tem uma árvore genealógica estruturada de dados, tentar "fingir" mais dados misturando partes existentes (oversampling) é uma má ideia. Funciona razoavelmente para modelos simples, mas quebra os mais avançados.

Em vez disso, a melhor abordagem é ensinar o modelo a respeitar a estrutura da árvore genealógica desde o início. Ao dar ao modelo um "mapa" das relações de pai e filho, ele consegue entender os casos raros e complicados muito melhor do que apenas encher os dados de treinamento com ruído sintético.

No entanto, os autores fazem questão de notar que mesmo o seu melhor detetive ainda tem dificuldades com as categorias mais raras, como "Compound" e "Pillar", que tinham apenas 8 e 5 amostras, respectivamente. Para esses grupos extremamente raros, o F1-score permaneceu em 0,00 em todos os modelos, sugerindo que, quando há quase nenhum dado, nem mesmo um mapa de árvore genealógica é suficiente para resolver o mistério.

Resumo Técnico: Mitigando o Efeito do Desbalanceamento de Classes em Dados com Estrutura Hierárquica e Dependente

Declaração do Problema

A classificação de vulnerabilidades de cibersegurança utilizando a taxonomia Common Weakness Enumeration (CWE) apresenta dois desafios primários: um desbalanceamento de classes extremo e fortes dependências hierárquicas entre as categorias de fraquezas. A taxonomia CWE organiza as fraquezas em níveis de abstração (Base, Classe, Pilar, Variante, Composto), onde os nós de nível superior representam conceitos amplos e os nós de nível inferior representam detalhes específicos. Na prática, um pequeno número de tipos de fraquezas domina o corpus, enquanto categorias raras, porém de alto impacto, permanecem significativamente sub-representadas.

Embora codificadores baseados em Transformers, como BERT e RoBERTa, tenham se estabelecido como bases sólidas para a classificação de texto CWE, eles têm dificuldade com categorias raras devido ao desbalanceamento de classes. Além disso, os rótulos CWE possuem dependências explícitas de pai-filho (por exemplo, uma "Variante" é sempre filha de uma "Base"), o que significa que erros de classificação nos níveis superiores cascateiam para baixo. Abordagens tradicionais para o desbalanceamento, como sobreamostragem aleatória, subamostragem e técnicas de geração sintética como o Synthetic Minority Oversampling Technique (SMOTE) e o Adaptive Synthetic Sampling (ADASYN), são amplamente adotadas, mas sua eficácia em embeddings de texto estruturados e hierárquicos permanece amplamente inexplorada. Especificamente, não está claro se a interpolação linear em espaços de embedding de alta dimensão respeita as restrições estruturais da hierarquia CWE.

Metodologia

O estudo avalia uma gama de modelos sob diferentes condições de aumento de dados e propõe uma nova arquitetura que integra a estrutura hierárquica diretamente no processo de aprendizado.

1. Baselines Experimentais e Sobreamostragem

Os autores avaliaram empiricamente modelos de Aprendizado de Máquina (Random Forest, SVM), Aprendizado Profundo (CNN, BiGRU) e baseados em Transformer (BERT) em um conjunto de dados CWE hierárquico desbalanceado.

Sobreamostragem: SMOTE e ADASYN foram aplicados exclusivamente ao conjunto de treinamento. O SMOTE equalizou todas as classes para 393 amostras usando $k$ -vizinhos=2, enquanto o ADASYN concentrou a síntese em regiões de fronteira mais difíceis para alcançar contagens de quase paridade.
Modelos:
- ML Clássico: Random Forest (100 árvores) e SVM (kernel linear).
- Aprendizado Profundo: CNN (128 filtros, tamanhos de kernel [4,6,6]) e BiGRU (dimensão oculta de 128).
- Transformers: BERT-base (uncased) e o proposto Hierarchy-Aware RoBERTa.
- Treinamento: Todos os modelos de aprendizado profundo foram treinados com um tamanho de lote (batch size) de 8 por 15 épocas.

2. Abordagem Proposta: Hierarchy-Aware RoBERTa

O artigo introduz um framework Hierarchy-Aware RoBERTa que incorpora explicitamente a informação estrutural da CWE através de embeddings de classe-pai aprendíveis.

Arquitetura: O modelo utiliza um codificador SecureBERT pré-treinado para gerar uma representação [CLS] de 768 dimensões a partir do texto de entrada.
Injeção Hierárquica: Um embedding de categoria-pai aprendível (24 dimensões) é introduzido para capturar relações estruturais de grão grosso. Este embedding é treinado conjuntamente com a rede.
Fusão: A representação semântica ( $h_{cls}$ ) e o contexto hierárquico ( $h_p$ ) são fundidos via concatenação: $h_f = [h_{cls}, h_p]$ .
Classificação: A representação fundida é regularizada com dropout (0.3) e passada por uma cabeça de classificação linear para gerar os logits.
Formulação: A tarefa é formulada não como uma predição independente $P(Y_{filho}|X_{texto})$ , mas como um problema de probabilidade condicional $P(Y_{filho}|X_{texto}, Y_{pai})$ , utilizando o "ID do Pai" como um prior estrutural.

Principais Contribuições

Avaliação Empírica: O estudo fornece uma avaliação abrangente de modelos de ML, DL e Transformer sob resamostragem SMOTE e ADASYN em um conjunto de dados CWE hierárquico desbalanceado.
Análise de Interpolação Sintética: Os autores demonstram que a interpolação sintética em espaços de embedding de alta dimensão viola as restrições inerentes de pai-filho. Embora ofereça benefícios marginais para modelos de ML clássico, esses métodos consistentemente degradam o desempenho de arquiteturas de aprendizado profundo.
Modelo Consciente de Hierarquia (Hierarchy-Aware): A introdução de um modelo Hierarchy-Aware RoBERTa que injeta priors estruturais da CWE via embeddings de classe-pai aprendíveis, permitindo o modelamento conjunto end-to-end de conteúdo semântico e estrutura hierárquica.
Ganhos de Desempenho: O modelo proposto atinge um F1-score ponderado de 0.76 sem aumento de dados, superando todos os baselines. Notavelmente, ele melhora o F1-score para a categoria "Classe" de 0.49 (baseline BERT) para 0.60.

Resultados

Impacto da Sobreamostragem:
- ML Clássico: SMOTE e ADASYN forneceram melhorias fracas, mas positivas, para Random Forest (a acurácia aumentou de 0.65 para 0.69) e SVM (a acurácia permaneceu estável em torno de 0.71–0.72).
- Aprendizado Profundo: A sobreamostragem consistentemente degradou o desempenho. A acurácia da CNN vanilla caiu de 0.71 para 0.55 (SMOTE) e 0.51 (ADASYN). A BiGRU caiu de 0.70 para 0.53 e 0.44, respectivamente.
- Transformers: O BERT alcançou 0.74 de acurácia sem aumento. O proposto Hierarchy-Aware RoBERTa alcançou a maior acurácia de 0.76.
Desempenho por Classe:
- O modelo proposto alcançou o maior F1-score ponderado (0.76) comparado ao BERT (0.73), CNN (0.68 baseline) e BiGRU (0.69 baseline).
- Ganhos significativos foram observados nas classes minoritárias; por exemplo, o F1-score da categoria "Classe" melhorou de 0.49 (BERT) para 0.60 (Hierarchy-Aware RoBERTa).
- Categorias extremamente esparsas (Composto e Pilar) permaneceram com F1 de 0.00 em todos os modelos, destacando os limites do aprendizado supervisionado com severa esparsidade de dados.

Significância e Alegações

O artigo argumenta que o aprendizado de representação consciente da hierarquia é uma alternativa mais fundamentada à sobreamostragem para a classificação de vulnerabilidades estruturadas. Os autores alegam que as técnicas de interpolação sintética (SMOTE/ADASYN) falham neste domínio porque:

Elas produzem amostras que carecem de coerência linguística em espaços contextuais de alta dimensão.
Elas violam as dependências estruturais da taxonomia CWE (por exemplo, uma "Variante" não pode existir sem uma "Base"), criando embeddings estruturalmente inválidos que confundem o modelo.
Elas tratam as amostras como entidades independentes em um espaço de características plano, ignorando a natureza de grafo em árvore das CWEs, onde os erros cascateiam do pai para o filho.

Ao modelar explicitamente a relação pai-filho através de embeddings aprendíveis, o framework proposto impõe consistência estrutural e melhora a discriminação entre classes minoritárias e semanticamente dependentes sem o ruído introduzido pela geração de dados sintéticos.

Limitações

Os autores reconhecem modestamente algumas limitações:

Dependência de Inferência: O modelo assume que os metadados de nível pai estão disponíveis durante a inferência, o que se alinha a pipelines de grosso para fino (coarse-to-fine), mas pode não se adequar a todos os cenários.
Hierarquia Estática: A hierarquia é tratada como fixa; o modelo pode não generalizar para novos nós ou nós rearranjados sem retreinamento, dada a atualização contínua da taxonomia CWE.
Escopo da Hierarquia: Apenas a informação direta do pai é capturada, desconsiderando ancestrais de múltiplos saltos (multi-hop), relações de irmãos e profundidade da árvore, o que limita o desempenho em classes profundamente aninhadas como Composto e Pilar.
Sobrecarga de Parâmetros: Os embeddings de classe-pai aprendíveis adicionam uma modesta sobrecarga de parâmetros, o que pode dificultar a escala para taxonomias muito grandes.
Especificidade de Domínio: A abordagem foi avaliada apenas dentro do domínio CWE, deixando sua generalização para outras tarefas hierárquicas empiricamente não validada.