🤖 machine learning

SemiScope: Disentangling Classifier Tuning and Joint Optimization in Semi-Supervised Security Classification

Dit artikel introduceert SemiScope om aan te tonen dat de prestatiewinsten die vaak worden toegeschreven aan complexe gezamenlijke optimalisatie van semi-supervised leerpipelines bij binaire tabulaire beveiligingsclassificatie, primair worden gedreven door het afstemmen van de downstream classifier en de beslissingsdrempel, wat suggereert dat een eenvoudiger recept van Self-Training gecombineerd met hyperparameteroptimalisatie van de classifier voldoende is om prestaties die bijna gelijk zijn aan supervised learning te bereiken.

Oorspronkelijke auteurs: Rui Shu, Tianpei Xia, Jingzhu He

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rui Shu, Tianpei Xia, Jingzhu He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingsbeambte bent die indringers probeert te spotten in een enorm gebouw. Je hebt een paar vertrouwde collega's die de boeven duidelijk kunnen identificeren (gelabelde data), maar je hebt duizenden onbewaakte camera's die mensen laten zien die je nog niet kent (ongelabelde data).

Semi-Supervised Learning (SSL) is als een systeem dat je vertrouwde collega's vraagt om het systeem te leren hoe ze de boeven moeten herkennen, en dan probeert het systeem te raden wie de boeven zijn in de onbewaakte camera's. Het gebruikt die gissingen vervolgens om zichzelf nog meer te leren.

Een tijdlang behandelden experts dit systeem als een "black box". Ze zetten het gewoon aan met de standaardinstellingen, in de hoop dat het zou werken. Maar onlangs begonnen onderzoekers te zeggen: "Als we alle knoppen en regelaars van dit systeem tegelijkertijd bijstellen, krijgen we veel betere resultaten!"

De Grote Vraag:
De auteurs van dit paper stelden een zeer specifieke vraag: Komt de verbetering doordat we het hele systeem samen bijstellen (het SSL-gedeelte + het classifier-gedeelte), of komt het vooral doordat we de uiteindelijke "rechter" (de classifier) heel goed hebben afgesteld?

Denk aan het bakken van een cake.

Het SSL-gedeelte is het recept (het mengen van de ingrediënten).
Het Classifier-gedeelte is de oven en de timer (het bakken en afwerken).
De "Joint Optimization"-claim is dat je zowel het perfecte recept als de perfecte oventemperatuur tegelijkertijd nodig hebt om de beste cake te krijgen.

De auteurs wilden weten: Is de cake beter omdat we een magisch nieuw recept hebben gevonden, of simpelweg omdat we eindelijk de perfecte oventemperatuur hebben ontdekt?

Het Experiment: "SemiScope" vs. "Tuned-Clf"

Om dit te beantwoorden, bouwden de onderzoekers een hulpmiddel genaamd SemiScope. Zie SemiScope als een super slimme robotchef die 100 verschillende combinaties van recepten en oeverinstellingen probeert om de absoluut beste cake te vinden.

Maar om te zien of het "recept" (SSL) echt het zware werk deed, creëerden ze een controlegroep genaamd Tuned-Clf.

Tuned-Clf gebruikt exact dezelfde 100 pogingen en exact dezelfde slimme robot.
Echter, het houdt het recept vast op de "standaard", saaie instellingen.
Het besteedt al zijn energie aan het afstellen van de oven (de classifier).

Ze vergeleken vervolgens de cakes gemaakt door de volledige robot (SemiScope) met de cakes gemaakt door de alleen-oven-afsteller (Tuned-Clf).

De Resultaten: De Oven was de Ster

Dit is wat ze vonden, vertaald naar alledaagse termen:

De Volledige Robot wint (maar nauwelijks): Wanneer ze de volledige robot (SemiScope) vergeleken met de "standaardinstellingen" (geen afstelling op zich), maakte de volledige robot veel betere cakes. Het was een enorme verbetering. Dit bevestigt dat afstellen helpt.
De Oven-afsteller doet het zware werk: Wanneer ze de volledige robot (SemiScope) vergeleken met de alleen-oven-afsteller (Tuned-Clf), waren de resultaten bijna identiek. In 4 van de 5 testgevallen was het verschil zo klein dat het er niet toe deed.
- De Analogie: Het blijkt dat 86% van de "magische" verbetering kwam door simpelweg de oven (de classifier) af te stellen, en niet door een nieuw recept (het SSL-gedeelte) te vinden.
De "Drempelwaarde"-truc: Een van de grootste geheimen die ze ontdekten, ging over de "beslissingsdrempel" (decision threshold). Dit is als de regel die de bewaker gebruikt om te beslissen: "Is deze persoon verdacht genoeg om te arresteren?"
- De meeste mensen gebruiken een standaardregel: "Als je voor 50% verdacht bent, arresteer je diegene."
- De onderzoekers ontdekten dat de beste regel voor beveiligingsdata vaak veel lager is (zoals 20%). Als je deze regel niet afstelt, mis je bijna alle boeven. De "oven-afsteller" was erg goed in het vinden van deze lagere, betere regel.

Het Simpele Recept voor Praktijkgebruikers

De auteurs concluderen dat je geen complexe, dure robot nodig hebt om een magisch nieuw recept te vinden. In plaats daarvan suggereren ze een eenvoudigere, goedkopere aanpak die net zo goed werkt:

Gebruik het standaard recept: Houd vast aan een basismethode genaamd "Self-Training" (dit is de standaard).
Stem de oven af: Gebruik een slim hulpmiddel om de beste instellingen voor je uiteindelijke classifier (de "rechter") te vinden.
Pas het alarm aan: Gebruik niet de standaard "50% verdacht" regel. Stem de beslissingsdrempel af op basis van je specifieke data om meer boeven te vangen zonder te veel valse alarmen te generen.

De Kern van het Verhaal

Het paper beargumenteert dat wanneer mensen beweren dat "Joint Optimization" (alles samen afstellen) een wondermiddel is voor beveiligingsproblemen, ze misschien de eer aan het verkeerde deel van het systeem geven.

De echte held is simpelweg het afstellen van de uiteindelijke classifier en de beslissingsdrempel. Je kunt 99% van het voordeel behalen door alleen dat te doen, zonder het complexe, dure proces van het vanaf nul afstellen van de gehele semi-supervised pipeline.

Kortom: Maak het recept niet te ingewikkeld. Zorg er alleen voor dat je precies weet hoe je de cake bakt en wanneer je hem uit de oven haalt. Daar zitten de echte winsten.

Technische Samenvatting: SemiScope: Het ontleden van Classifier Tuning en Joint Optimization in Semi-Supervised Security Classificatie

1. Probleemstelling

Security classificatietaken (bijv. malware detectie, intrusiedetectie, phishing) kampen met een kritieke flessenhals: betrouwbare gelabelde data is schaars en duur om te produceren vanwege de noodzaak van domeinexpertise, terwijl ongelabelde data overvloedig aanwezig is. Semi-supervised learning (SSL) wordt veelvuldig toegepast om labels te propageren van een kleine gelabelde pool naar een grotere ongelabelde pool.

Echter, huidige security-toepassingen behandelen SSL vaak als een "black box" preprocessing-stap, waarbij gebruik wordt gemaakt van standaard hyperparameters, vaste downstream classifiers en een gebrek aan expliciete mechanismen om de klasse-imbalans aan te pakken die vaak wordt verergerd door pseudo-labeling. Hoewel recente studies prestatiewinsten rapporteren door SSL-pipelines te optimaliseren (via joint hyperparameter search, AutoML of component tuning), zijn deze winsten moeilijk toe te schrijven. Het blijft onduidelijk of verbeteringen voortkomen uit complexe interacties tussen SSL en de classifier (joint optimization) of simpelweg uit de eenvoudigere, meer standaard stap van het tunen van de hyperparameters van de downstream classifier. Bovendien gebruiken veel eerdere evaluaties asymmetrische protocollen (bijv. het tunen van drempelwaarden voor sommige methoden maar niet voor andere) of ongelijke computationele budgetten, wat de schijnbare waarde van joint optimization kan opblazen.

2. Methodologie

De auteurs introduceren SemiScope, een analyse-instrument dat niet is ontworpen als een deployment-aanbeveling, maar als een gecontroleerd framework om de effecten van joint optimization te onderscheiden van classifier tuning.

2.1 De SemiScope Pipeline

SemiScope formuleert het SSL-proces als een configureerbare pipeline waarbij Bayesian Optimization (met behulp van Tree-structured Parzen Estimator via Optuna) gezamenlijk zoekt over:

SSL Methode: Label Propagation (LP), Label Spreading (LS), of Self-Training (ST).
SSL Hyperparameters: Kernel types, bandbreedtes, clamping factoren en iteratie-limieten specifiek voor de gekozen methode.
Confidence Filtering: Een drempelwaarde ( $t$ ) om pseudo-labels te filteren op basis van confidence scores, om het risico van het propageren van ruisende labels aan te pakken.
Oversampling: Een ratio-targeted SMOTE-strategie (geïnspireerd door SMOTUNED) die alleen wordt geactiveerd wanneer de fractie van de minderheidsklasse onder een drempelwaarde (30%) valt, met instelbare buurman-aantallen en doelstellingen voor de minderheidratio.
Classifier Selectie & Tuning: Keuze van tree-based classifiers (Random Forest, XGBoost, LightGBM) en hun specifieke hyperparameters.
Beslissingsdrempel (Decision Threshold): Het tunen van de classificatiedrempel op de validatieset om de $g$ -measure te optimaliseren.

2.2 Het Decompositie Protocol

Om de bron van de prestatiewinsten te isoleren, hanteert de studie een strikt controleprotocol:

SemiScope (Joint Search): Gebruikt een budget van 100 trials om de volledige pipeline (SSL + Classifier + Threshold) te optimaliseren.
Tuned-Clf (Controle): Gebikt op hetzelfde budget van 100 trials en dezelfde validatie-drempel tuning, maar fixeert de SSL-component op de standaardinstellingen (bijv. Default LP of Default ST). Het zoekt alleen over de classifier-familie en hyperparameters.
Symmetrische Drempel Tuning: Cruciaal is dat elke behandeling (inclusief baselines) de beslissingsdrempel op de validatiedata afstemt vóór de definitieve evaluatie. Dit voorkomt dat modelprestaties worden verward met fixed-threshold artefacten, wat essentieel is voor imbalanced datasets (12–20% minderheidsklasse).

De studie evalueert dit framework op vijf binaire tabelvormige security datasets (CIC-IDS-2017, Drebin, NSL-KDD, Phishing, UNSW-NB15) met de $g$ -measure (harmonisch gemiddelde van recall en specificiteit) als primaire metriek.

3. Belangrijkste Bijdragen

Het paper levert drie primaire bijdragen:

Gecontroleerde Decompositie: Een protocol dat de winsten door joint SSL–classifier optimalisatie scheidt van winsten door enkel classifier hyperparameter optimalisatie (HPO), gebruikmakend van gelijke computationele budgetten en symmetrische drempel tuning.
Symmetrisch Drempel Protocol: Een rigoureuze evaluatiestandaard waarbij alle methoden hun beslissingsdrempels tunen op de validatiedata, waardoor de verstoring door vaste drempels op imbalanced security data wordt vermeden.
Actiegericht Recept: Een empirisch afgeleid, eenvoudiger workflow die bijna optimale prestaties bereikt zonder de complexiteit van een volledige joint search.

4. Resultaten

4.1 Effectiviteit (RQ1)

SemiScope presteert beter dan elke standaard SSL baseline (inclusief Default LP, LS, ST, en hun SMOTE varianten) over alle vijf de datasets bij een labelrate van 10%. De verbetering ten opzichte van de sterkste standaard baseline (Default ST + Random Forest) varieert van +0.7 tot +12.7 $g$ -measure punten.

4.2 Decompositie (RQ2)

Wanneer vergeleken met de Tuned-Clf controle (die enkel de classifier optimaliseert op de default SSL output):

Statistische Equivalentie: Op 4 van de 5 datasets (CIC-IDS-2017, Drebin, NSL-KDD, UNSW-NB15) is de volledige joint pipeline (SemiScope) statistisch equivalent aan de classifier-getunede controle bij een Smallest Effect Size of Interest (SESOI) van $\pm 1.0$ $g$ -measure punt. De Phishing dataset blijft inconclusief.
Teruggewonnen Winst: Classifier HPO alleen herstelt een mediane 86% van de totale winst van SemiScope ten opzichte van de standaard baseline.
Implicatie: Het grootste deel van de geobserveerde verbetering in joint pipelines is toe te schrijven aan het tunen van de downstream classifier en de beslissingsdrempel, en niet aan de joint search van SSL-parameters.

4.3 Ablatie (RQ3)

Het verwijderen van componenten uit de volledige pipeline laat het volgende zien:

Classifier Selectie: De component met de hoogste impact. Het verwijderen hiervan veroorzaakt de grootste prestatiedalingen.
SSL Methode Selectie: Heeft een verwaarloosbaar effect op de gemiddelde score, maar vermindert de variantie aanzienlijk (verbetert de robuustheid over verschillende seeds).
Confidence Filtering: Heeft een bijna neutraal gemiddeld effect; de optimizer schakelt het vaak uit (zet threshold $\approx 0.5$ ) wanneer het niet helpt, wat suggereert dat vaste drempels suboptimaal zijn.

4.4 Label Efficiëntie (RQ4)

SemiScope bereikt binnen 1 $g$ -measure punt van een volledig gesuperviseerde Random Forest referentie bij 20–30% labels op vier datasets en 40% op Drebin. Dit is bij hetzelfde of een lager labelpercentage dan de Default ST + RF baseline, waarbij de grootste efficiëntiewinsten (reductie van vereiste labels met 20–30 procentpunten) worden gezien op CIC-IDS-2017 en UNSW-NB15.

4.5 Kosten-Baten (RQ5)

De optimalisatiekosten zijn 13–28 minuten per configuratie. De auteurs stellen dat deze kosten het meest gerechtvaardigd zijn op datasets waar standaard baselines slecht presteren (bijv. CIC-IDS-2017), waar joint optimization significante winsten oplevert en een eerdere crossover naar supervised performance mogelijk maakt. Op datasets waar defaults al sterk zijn (bijv. NSL-KDD), is het marginale voordeel van een volledige joint search zwakker.

5. Betekenis en Claims

Het paper claimt bescheiden dat de primaire bijdrage niet een nieuwe optimizer is, maar een empirische decompositie van waar de winsten in SSL pipelines vandaan komen.

Herwaardering van Winsten: De studie demonstreert dat gerapporteerde winsten uit "joint SSL pipelines" in de security literatuur mogelijk verkeerd zijn toegeschreven. Zonder gematchte controles (gelijke budgetten, symmetrische drempel tuning), worden verbeteringen door classifier tuning vaak verward met de voordelen van complexe joint SSL optimalisatie.
Praktische Aanbeveling: Voor beoefenaars stellen de auteurs een eenvoudiger, voldoende recept voor:
1. Gebruik Self-Training als de standaard SSL methode.
2. Pas Bayesian Optimization toe om de downstream classifier te tunen.
3. Tune de beslissingsdrempel op de validatiedata.
  Dit recept bereikt prestaties binnen 1 $g$ -measure punt van de gesuperviseerde referentie bij lage label rates, waarbij het de prestaties van standaard SSL pipelines evenaart of overtreft met aanzienlijk minder complexiteit.

De auteurs concluderen dat volledige joint optimization gereserveerd moet blijven voor scenario's waarin labels extreem duur zijn of waar de default SSL een aanzienlijk prestatiegat achterlaat, in plaats van een standaard deployment strategie te zijn.