🤖 machine learning

Reliable Hierarchical Operating System Fingerprinting via Conformal Prediction

Dit artikel introduceert en evalueert twee gestructureerde Conformal Prediction-strategieën, Level-wise CP en Projection-based CP, om de beperkingen van platte classificatie bij OS-fingerprinting aan te pakken door een fundamentele afweging aan te tonen tussen de nauwere, mensvriendelijke voorspellingssets van de eerste en de structureel consistente, beleidsgereedheid-georiënteerde sets van de tweede.

Oorspronkelijke auteurs: Rubén Pérez-Jove, Osvaldo Simeone, Alejandro Pazos, Jose Vázquez-Naya

Gepubliceerd 2026-07-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rubén Pérez-Jove, Osvaldo Simeone, Alejandro Pazos, Jose Vázquez-Naya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale detective bent die probeert uit te zoeken wat voor soort computer er met je praat op het internet. Is het een Windows-laptop, een Android-telefoon of een Linux-server? Dit detectivewerk wordt "OS fingerprinting" genoemd. Meestal kijken detectives naar kleine, unieke eigenaardigheden in de manier waarop deze computers berichten versturen—zoals de specifieke manier waarop ze een handdruk beginnen of hoe groot hun datapakketjes zijn. Maar dit is het probleem: het internet is een chaotische plek. Soms zijn de aanwijzingen wazig en kan een standaarddetective vol zelfvertrouwen roepen: "Het is absoluut Android!" terwijl het eigenlijk een iPhone is. In scenario's met hoge inzet kan dat soort zelfverzekerde fouten rampzalig zijn.

Om dit op te lossen, gebruiken wetenschappers een wiskundig hulpmiddel genaamd "Conformal Prediction". Denk hier niet aan als een kristallen bol die één enkel antwoord geeft, maar als een vangnet. In plaats van te zeggen "Het is X," zegt het: "Het is bijna zeker een van deze drie dingen: X, Y of Z." Dit geeft een garantie: als je je vangnet zo instelt dat het 95% van de gevallen vangt, zal het ook daadwerkelijk 95% van de tijd vangen, ongeacht hoe vreemd de data ook is. Maar er is een addertje onder het gras: besturingssystemen zijn niet zomaar een platte lijst met namen; ze zijn een stamboom. Windows is de grootouder, Windows 10 is de ouder, en Windows 10 22H2 is het kind. Als je vangnet zegt "Het is een Mac," maar ook "Het is Windows 10," dan is dat een logische puinhoop. Dit artikel onderzoekt hoe je een vangnet kunt bouken dat de stamboom respecteert, zodat als je een kind raadt, je ook de juiste ouder raadt.

Het Stamboomprobleem

In de wereld van netwerkbeveiliging is het identificeren van een besturingssysteem (OS) als het proberen te identificeren van een persoon in een menigte aan de hand van alleen het geluid van hun voetstappen. Je hoort misschien een zware laars (Windows), een lichte sneaker (Linux) of een specifiek merk hardloopschoen (Android). Traditioneel gedragen beveiligingssystemen zich als een eenduidige detective die naar iemand wijst en zegt: "Dat is de verdachte!" Maar als de detective het mis heeft, faalt het hele beveiligingsplan.

De auteurs van dit paper realiseerden zich dat OS'en een natuurlijke hiërarchie hebben, zoals een stamboom. Bovenaan heb je brede families zoals "Windows" of "Linux." Daaronder staan belangrijke versies zoals "Windows 10" of "Ubuntu 20.04." Helemaal onderaan zijn de specifieke minder belangrijke versies, zoals "Windows 10 22H2." Het probleem is dat standaard "vangnet"-methoden (Conformal Prediction) elk OS meestal behandelen als een apart, ongerelateerd item op een lijst. Als je hen om een voorspelling vraagt, kunnen ze een lijst geven die wel "Windows 10" en "Android 11" bevat, maar de "Windows"-familie vergeet, of erger nog, ze kunnen zeggen dat "Android" de familie is maar "Windows 10" de specifieke versie. Dat is alsof je zegt: "Dit dier is een hond, maar het is ook een kat." Het slaat nergens op.

Twee manieren om het vangnet te bouwen

De onderzoekers testten twee verschillende strategieën om deze logische puinhoop op te lossen, met behulp van een dataset van meer dan 100.000 echte netwerkverkeergegevens van een universiteit. Ze wilden zien welke methode een veilige, logische lijst met mogelijkheden kon geven zonder te vaag te worden.

Strategie 1: De Onafhankelijke Gissers (Level-wise CP)
Stel je voor dat je drie verschillende detectives hebt die aan dezelfde zaak werken. De ene detective kijkt alleen naar de familienaam, een andere alleen naar de hoofdversie, en de derde alleen naar de minder belangrijke versie. Ze praten niet met elkaar.

Hoe het werkt: Elke detective bouwt zijn eigen vangnet onafhankelijk.
Het resultaat: Deze methode is zeer scherp. Het geeft je zeer kleine, specifiek lijsten. Als de familie-detective er zeker van is dat het "Windows" is, is de lijst heel klein.
De tekortkoming: Omdat ze niet met elkaar praten, spreken ze elkaar soms tegen. De familie-detective kan zeggen "Het is Linux," terwijl de minder belangrijke versie-detective zegt "Het is Windows 10." Dit creëert een "Hierarchical Inconsistency Rate" (HIR) van ongeveer 30% tot 40% in hun tests. Het is efficiënt, maar logisch gezien kapot.

Strategie 2: De Opwaartse Projector (Projection-based CP)
Stel je nu voor dat je slechts één detective hebt die naar het kleinste detail kijkt (de minder belangrijke versie) en vervolgens omhoog werkt in de stamboom.

Hoe het werkt: De detective vindt het specifieke blad (bijv. "Windows 10 22H2") en zegt dan: "Oké, als het dit is, moet het ook 'Windows 10' en 'Windows' zijn." Hij projecteert het antwoord omhoog om de gaten in te vullen.
Het resultaat: Deze methode is perfect logisch. De "Hierarchical Inconsistency Rate" is exact nul. Je krijgt nooit een "Windows"-familie met een "Android"-kind.
De tekortkoming: Het is een beetje voorzichtiger. Omdat het elke mogelijke ouder van een specifieke gok moet bevatten, worden de lijsten aan de bovenkant (het familieniveau) groter. Als de detective onzeker is over de specifieke versie, wordt de hele stamboom opgenomen in het vangnet, waardoor de lijst op de hogere niveaus minder precies wordt.

De Grote Afweging

Het belangrijkste ontdekking van het paper is een fundamentele afweging tussen efficiëntie (kleine, precieze lijsten) en consistentie (logisch perfecte lijsten).

Als je een mens nodig hebt om de resultaten te lezen: Zijn de "Onafhankelijke Gissers" (Level-wise CP) beter. Een menselijke analist kan naar een lijst kijken die zegt "Familie: Windows, Versie: Android 11" en beseffen: "Oh, de machine is in de war over de versie, maar het is definitief Windows." Ze kunnen hun brein gebruiken om de fout te herstellen.
Als je een computer nodig hebt om een beslissing te nemen: Is de "Opwaartse Projector" (Projection-based CP) de winnaar. Geautomatiseerde systemen kunnen niet omgaan met tegenstrijdigheden. Als een computer de opdracht krijgt "Blokkeer Android", maar de lijst zegt "Familie: Windows", dan komt de computer vast te zitten. De Projectie-methode garandeert dat de lijst altijd logisch is, zelfs als de lijst wat langer is.

Wat ze vonden

De onderzoekers hebben hun tests 50 keer uitgevoerd om er zeker van te zijn. Ze vonden dat beide methoden het juiste antwoord minstens 95% van de tijd vingen (wanneer dat als doel was ingesteld), wat bewijst dat de vangnetten werken. Echter, de "Onafhankelijke" methode produceerde lijsten die ongeveer 10-20% kleiner waren op het familieniveau, maar ze waren logisch rommelig. De "Projectie"-methode produceerde perfect logische lijsten, maar de lijsten op het familieniveau waren iets groter omdat ze rekening moesten houden met elke mogelijkheid.

Uiteindelijk suggereert het paper dat er niet één enkele "beste" methode is. Het hangt ervan af wie het antwoord gebruikt. Als een mens het forensische werk doet, is de rommelige maar precieze methode prima. Maar als een robot toegang tot een netwerk blokkeert, heeft hij de perfect logische, iets grotere lijst nodig om een domme fout te voorkomen. De auteurs hebben hun code en data beschikbaar gesteld zodat anderen deze methoden op hun eigen netwerken kunnen proberen, wat helpt om het internet een veiligere plek te maken waar we precies weten waarmee we te maken hebben.

Technische Samenvatting: Betrouwbare Hiërarchische Besturingssysteem-fingerprinting via Conformal Prediction

Probleemstelling
Besturingssysteem (OS) fingerprinting is een cruciaal onderdeel van netwerkbeveiliging, assetbeheer en incidentrespons. Conventionele fingerprinting-methoden vertrouwen echter doorgaans op puntvoorspellingen (het outputen van één enkele OS-label), wat kwetsbaar is onder omstandigheden van ernstige klassenimbalans en de open-set natuur van netwerkverkeer. In omgevingen met hoge inzet, zoals Bring-Your-Own-Device (BYOD) handhaving, kan een zelfverzekerde maar onjuiste voorspelling leiden tot beveiligingslekken. Bovendien behandelen standaardbenaderingen OS-identificatie als een plat classificatieprobleem, waarbij de inherente taxonomische hiërarchie van besturingssystemen (bijv. Familie $\to$ Major Versie $\to$ Minor Versie) wordt genegeerd. Deze vereenvoudiging faalt in het onderscheiden van de operationele ernst van het verwarren van twee versies van dezelfde OS-familie versus het foutief classificeren van de familie zelf. Daarnaast ontbreken bestaande methoden aan formele mechanismen voor onzekerheidskwantificering.

Methodologie
De auteurs stellen voor om OS-fingerprinting te formuleren als een hiërarchisch classificatieprobleem en Conformal Prediction (CP) toe te passen om voorspellingssets te genereren met gegarandeerde marginale dekking. De studie maakt gebruik van een dataset van 109.663 passieve netwerkflow-records uit een universitaire omgeving, met 112 kenmerken over de IP-, TCP-, TLS- en HTTP-lagen. De grondwaarheid-labels zijn gestructureerd in drie niveaus: OS-familie, major versie en minor versie.

De kern van de methodologie bestaat uit het trainen van onafhankelijke Multi-Layer Perceptron (MLP) classifiers voor elk hiërarchisch niveau en het inkapselen van deze met twee verschillende gestructureerde CP-strategieën:

Level-wise CP (L-CP): Deze benadering past Conformal Prediction onafhankelijk toe op elk hiërarchisch niveau. Elk niveau (familie, major, minor) wordt afzonderlijk gekalibreerd met zijn eigen non-conformity scores en kalibratieset. Dit levert afzonderlijke voorspellingssets op met marginale dekkingsgaranties die specifiek zijn voor dat niveau.
Projection-based CP (P-CP): Deze benadering past CP alleen toe op het bladniveau (minor versie). De resulterende voorspellingsset wordt vervolgens omhoog geprojecteerd naar grovere niveaus door alle voorouders van elke behouden blad toe te voegen. Dit zorgt ervoor dat de voorspellingssets hiërarchisch consistent en genest zijn (d.w.z. een voorspeld kind impliceert dat de ouder ook voorspeld is).

De evaluatie maakt gebruik van een rigoureus framework met 50 Monte Carlo-iteraties en introduceert een nieuwe metriek, de Hierarchical Inconsistency Rate (HIR), om logische schendingen te kwantificeren (bijv. "orphan" schendingen waar een kind wordt voorspeld zonder zijn ouder, of "sterile" schendingen waar een ouder wordt voorspeld zonder enige kinderen).

Belangrijkste Bijdragen

Eerste Hiërarchische CP-toepassing: Het artikel presenteert de eerste toepassing van Conformal Prediction op hiërarchische OS-fingerprinting, waarbij de specifieke uitdagingen van taxonomische consistentie en multi-level onzekerheid worden geadresseerd.
Gestructureerde CP-strategieën: De introductie en evaluatie van L-CP en P-CP, die verschillende afwegingen bieden tussen lokale efficiëntie en globale structurele consistentie.
Nieuwe Evaluatiemetriek: De voorstel van de Hierarchical Inconsistency Rate (HIR) om de logische coherentie in hiërarchische voorspellingen te meten, reikend voorbij standaard dekking en setgrootte-metrieken.
Reproduceerbaarheid: De vrijgave van een volledige, open-source implementatie van het framework en de experimentele pipeline.

Resultaten
De experimentele resultaten, geëvalueerd over significantieniveaus ( $\alpha$ ) van 0,02 tot 0,20, onthullen een fundamentele afweging tussen level-wise efficiëntie en structurele consistentie:

Validiteit: Beide methoden voldoen aan de marginale dekkingsgaranties. L-CP bereikt dekking die dicht bij de nominale doelstelling ( $1-\alpha$ ) ligt op alle niveaus. P-CP vertoont systematische overdekking op grovere niveaus (bijv. het bereiken van ~96% familie-niveau dekking wanneer de doelstelling 90% is) omdat de familie-set wordt geconstrueerd als de unie van voorouders van geldige bladeren.
Efficiëntie (Setgrootte): L-CP produceert nauwere voorspellingssets op familieniveau (bijv. gemiddelde setgrootte $\approx$ 0,92 bij $\alpha=0,10$ ) vergeleken met P-CP ( $\approx$ 1,06). De sets van L-CP kunnen onder de grootte 1,0 zakken door frequente lege sets, wat duidt op hoge onzekerheid of out-of-distribution samples.
Structurele Consistentie (HIR): P-CP bereikt een HIR van exact 0,0 voor alle $\alpha$ , wat geneste, coherente sets garandeert. In tegen tegenstelling hiertoe lijdt L-CP onder frequente taxonomische schendingen, met een HIR die piekt rond 37% bij $\alpha=0,25$ . De HIR voor L-CP is niet-monotoon, gedreven door desynchronisatie tussen niveaus (bijv. een ouder die een singleton teruggeeft terwijl een kind een lege set teruggeeft).
Bruikbaarheid: L-CP bereikt hogere singleton-percentages (precieze voorspellingen) op familieniveau sneller dan P-CP. Echter, P-CP produceert minder lege sets op grovere niveaus, aangezien een familie pas wordt verworpen als al haar blad-afstammelingen zijn afgewezen.

Betekenis en Operationele Implicaties
Het artikel concludeert dat de keuze tussen L-CP en P-CP afhangt van het specifieke operationele scenario:

Geautomatiseerde Beleidsafdwinging: De auteurs bevelen P-CP aan. Geautomatiseerde systemen vereisen logische coherentie om beleid uit te voeren (bijv. "Blokkeer alle Android-versies behalve 11+"). Een inconsistente L-CP output (bijv. het voorspellen van "Android 11" terwijl de familie-voorspelling "Windows" is) is niet-actieerbaar voor automatische logica. De garantie van P-CP voor geneste sets zorgt ervoor dat elke voorspelling overeenkomt met een geldig pad in de OS-taxonomie.
Forensische Triage: De auteurs suggereren dat L-CP de voorkeur kan hebben voor menselijke analisten. Analisten geven vaak prioriteit aan de OS-familie om incidenten te routeren en kunnen domeinkennis gebruiken om structurele inconsistenties op te lossen. Een nauwere, gekalibreerde familie-voorspelling van L-CP is waardevoller dan een set die is opgeblazen door blad-niveau ruis, zelfs als de minor-versie voorspellingen inconsistent zijn.

Het werk vormt een fundamentele stap naar meer betrouwbare netzichtbaarheid door verder te gaan dan breekbare puntvoorspellingen naar gekalibreerde hiërarchische sets, waardoor operators expliciet de afweging kunnen maken tussen voorspellingssetgrootte en betrouwbaarheid. Toekomstig werk wordt voorgesteld om efficiëntieverlies in consistente methoden te mitigeren door middel van hybride kalibratie of hiërarchische loss-functies, en om Mondrian CP te verkennen voor het afhandelen van extreme klassenimbalans.

Het Stamboomprobleem

Twee manieren om het vangnet te bouwen

De Grote Afweging

Wat ze vonden

Meer zoals dit