Resumo Técnico: SemiScope: Desvinculando o Ajuste de Classificador e a Otimização Conjunta na Classificação de Segurança Semisupervisionada

1. Definição do Problema

As tarefas de classificação de segurança (ex: detecção de malware, detecção de intrusão, phishing) enfrentam um gargalo crítico: dados rotulados confiáveis são escassos e caros de produzir devido à necessidade de perícia no domínio, enquanto dados não rotulados são abundantes. O aprendizado semisupervisionado (SSL) é comumente empregado para propagar rótulos de um pequeno conjunto rotulado para um conjunto não rotulado maior.

No entanto, as aplicações de segurança atuais frequentemente tratam o SSL como uma etapa de pré-processamento de "caixa preta", utilizando hiperparâmetros padrão, classificadores de jusante fixos e carecendo de mecanismos explícitos para lidar com o desequilíbrio de classes que é frequentemente exacerbado pela rotulagem pseudo-anotada (pseudo-labeling). Embora estudos recentes relatem ganhos de desempenho da otimização de pipelines de SSL (via busca conjunta de hiperparâmetros, AutoML ou ajuste de componentes), esses ganhos são difíceis de atribuir. Permanece incerto se as melhorias decorrem de interações complexas entre o SSL e o classificador (otimização conjunta) ou simplesmente do passo mais simples e padrão de ajuste dos hiperparâmetros do classificador de jusante. Além disso, muitas avaliações anteriores utilizam protocolos assimétricos (ex: ajustando limiares para alguns métodos, mas não para outros) ou orçamentos computacionais desiguais, o que pode inflar o valor aparente da otimização conjunta.

2. Metodologia

Os autores introduzem o SemiScope, um instrumento de análise projetado não como uma recomendação de implantação, mas como um framework controlado para desvincular os efeitos da otimização conjunta do ajuste do classificador.

2.1 O Pipeline SemiScope

O SemiScope formula o processo de SSL como um pipeline configurável onde a Otimização Bayesiana (usando o Estimador de Parzen Estruturado por Árvore via Optuna) busca conjuntamente por:

• Método de SSL: Propagação de Rótulos (LP), Espalhamento de Rótulos (LS) ou Autotreinamento (ST).
• Hiperparâmetros de SSL: Tipos de kernel, larguras de banda, fatores de amortecimento (clamping factors) e limites de iteração específicos para o método escolhido.
• Filtragem de Confiança: Um limiar ($t$) para filtrar pseudo-rótulos com base em escores de confiança, abordando o risco de propagar rótulos ruidosos.
• Sobreamostragem (Oversampling): Uma estratégia SMOTE direcionada a uma proporção alvo (inspirada em SMOTUNED) que é ativada apenas quando a fração da classe minoritária cai abaixo de um limiar (30%), com contagens de vizinhos e proporções de minoritários alvo ajustáveis.
• Seleção e Ajuste de Classificador: Escolha de classificadores baseados em árvores (Random Forest, XGBoost, LightGBM) e seus hiperparâmetros específicos.
• Limiar de Decisão: Ajuste do limiar de classificação no conjunto de validação para otimizar o $g$-measure.

2.2 O Protocolo de Decomposição

Para isolar a fonte dos ganhos de desempenho, o estudo emprega um protocolo de controle estrito:

1. SemiScope (Busca Conjunta): Utiliza um orçamento de 100 tentativas para otimizar todo o pipeline (SSL + Classificador + Limiar).
2. Tuned-Clf (Controle): Utiliza o mesmo orçamento de 100 tentativas e o mesmo ajuste de limiar de validação, mas fixa o componente de SSL em suas configurações padrão (ex: LP Padrão ou ST Padrão). Ele pesquisa apenas sobre a família de classificadores e seus hiperparâmetros.
3. Ajuste de Limiar Simétrico: Crucialmente, cada tratamento (incluindo baselines) ajusta seu limiar de decisão nos dados de validação antes da avaliação final. Isso evita que o desempenho do modelo seja confundido com artefatos de limiares fixos, o que é vital para conjuntos de dados desbalanceados (12–20% de classe minoritária).

O estudo avalia este framework em cinco conjuntos de dados de segurança tabulares binários (CIC-IDS-2017, Drebin, NSL-KDD, Phishing, UNSW-NB15) usando o $g$-measure (média harmônica de recall e especificidade) como métrica primária.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Decomposição Controlada: Um protocolo que separa os ganhos devidos à otimização conjunta SSL–classificador dos ganhos devidos ao ajuste de hiperparâmetros do classificador (HPO) isoladamente, utilizando orçamentos computacionais iguais e ajuste de limiar simétrico.
2. Protocolo de Limiar Simétrico: Um padrão de avaliação rigoroso onde todos os métodos ajustam seus limiares de decisão nos dados de validação, evitando a distorção causada por limiares fixos em dados de segurança desbalanceados.
3. Receita Acionável: Um fluxo de trabalho empiricamente derivado, mais simples, que alcança desempenho próximo ao ótimo sem a complexidade da busca conjunta completa.

4. Resultados

4.1 Eficácia (RQ1)

O SemiScope supera todos os baselines de SSL padrão (incluindo LP Padrão, LS, ST e suas variantes com SMOTE) em todos os cinco conjuntos de dados a uma taxa de 10% de rótulos. A melhoria sobre o baseline padrão mais forte (ST Padrão + Random Forest) varia de +0,7 a +12,7 pontos de $g$-measure.

4.2 Decomposição (RQ2)

Quando comparado ao controle Tuned-Clf (que otimiza apenas o classificador sobre a saída padrão do SSL):

• Equivalência Estatística: Em 4 de 5 conjuntos de dados (CIC-IDS-2017, Drebin, NSL-KDD, UNSW-NB15), o pipeline conjunto completo (SemiScope) é estatisticamente equivalente ao controle ajustado do classificador em um Menor Tamanho de Efeito de Interesse (SESOI) de $\pm 1,0$ ponto de $g$-measure. O conjunto de dados Phishing permanece inconclusivo.
• Ganho Recuperado: O HPO do classificador sozinho recupera um mediano de 86% do ganho total do SemiScope sobre o baseline padrão.
• Implicação: A maior parte da melhoria observada em pipelines conjuntos é atribuível ao ajuste do classificador de jusante e do limiar de decisão, não à busca conjunta dos parâmetros de SSL.

4.3 Ablação (RQ3)

A remoção de componentes do pipeline completo revela:

• Seleção de Classificador: O componente de maior alavancagem. Removê-lo causa as maiores quedas de desempenho.
• Seleção de Método de SSL: Tem um efeito negligenciável na pontuação média, mas reduz significativamente a variância (melhora a robustez entre sementes/seeds).
• Filtragem de Confiança: Tem um efeito médio quase neutro; o otimizador frequentemente desativa-a (define o limiar $\approx 0,5$) quando ela não ajuda, sugerindo que limiares fixos são subótimos.

4.4 Eficiência de Rótulos (RQ4)

O SemiScope chega a dentro de 1 ponto de $g$-measure de uma referência de Random Forest totalmente supervisionada com 20–30% de rótulos em quatro conjuntos de dados e 40% no Drebin. Isso ocorre na mesma taxa ou em taxa inferior ao baseline de ST Padrão + RF, com os maiores ganhos de eficiência (reduzindo a necessidade de rótulos em 20–30 pontos percentuais) observados no CIC-IDS-2017 e UNSW-NB15.

4.5 Custo-Benefício (RQ5)

O custo de otimização é de 13–28 minutos por configuração. Os autores argumentam que este custo é mais justificado em conjuntos de dados onde os baselines padrão performam mal (ex: CIC-IDS-2017), onde a otimização conjunta gera ganhos significativos e um cruzamento precoce com o desempenho supervisionado. Em conjuntos de dados onde os padrões já são fortes (ex: NSL-KDD), o benefício marginal da busca conjunta completa é menor.

5. Significância e Alegações

O artigo alega modestamente que sua principal contribuição não é um novo otimizador, mas uma decomposição empírica de onde originam os ganhos de pipelines de SSL.

• Reavaliando Ganhos: O estudo demonstra que os ganhos relatados de "pipelines de SSL conjuntos" na literatura de segurança podem ser mal atribuídos. Sem controles correspondentes (orçamentos iguais, ajuste de limiar simétrico), as melhorias do ajuste do classificador são frequentemente confundidas com os benefícios de uma otimização complexa de SSL conjunto.
• Recomendação Prática: Para profissionais, os autores propõem uma receita mais simples e suficiente:
  1. Usar Autotreinamento (Self-Training) como o método de SSL padrão.
  2. Aplicar Otimização Bayesiana para ajustar o classificador de jusante.
  3. Ajustar o limiar de decisão nos dados de validação.
     Esta receita alcança um desempenho dentro de 1 ponto de $g$-measure da referência supervisionada em baixas taxas de rótulos, igualando ou superando o desempenho de pipelines de SSL padrão com significativamente menos complexidade.

Os autores concluem que a otimização conjunta completa deve ser reservada para cenários onde os rótulos são extremamente caros ou onde o SSL padrão deixa uma lacuna de desempenho substancial, em vez de ser uma estratégia de implantação padrão.