Technische Samenvatting: Toepassing van Tabulaire Transformer-architecturen voor Operating System Fingerprinting

Probleemstelling

Operating System (OS) fingerprinting is cruciaal voor netwerkbeheer, inventarisatie en cybersecurity, maar traditionele regelgebaseerde tools (bijv. Nmap, p0f) hebben moeite met moderne, dynamische omgevingen. Ve frequent voorkomende OS-updates, obfuscatietechnieken en de heterogeniteit van verbonden apparaten verslechteren de nauwkeurigheid van statische regelgebaseerde signatures. Hoewel Machine Learning (ML) al is toegepast in dit domein, leunt bestaand onderzoek grotendeels op klassieke algoritmen (bijv. Decision Trees, Random Forests, k-Nearest Neighbors). Deep Learning (DL) benaderingen, met name Transformer-architecturen, blijven grotendeels onbenut voor OS fingerprinting, ondanks hun bewezen succes in Natural Language Processing (NLP) en Computer Vision. De kernuitdaging die wordt aangepakt, is het verbeteren van de nauwkeurigheid en robuustheid van OS-identificatie in complexe, evoluerende netwerkomstandigheden door gebruik te maken van geavanceerde DL-architecturen die zijn ontworpen voor gestructureerde tabulaire data.

Methodologie

De studie onderzoekt de toepassing van Tabular Transformer-architecturen voor OS fingerprinting, waarbij netwerkflowdata wordt behandeld als gestructureerde tabulaire inputs.

Datasets

Drie publiekelijk beschikbare datasets werden gebruikt om diversiteit in datatypen, featureverdelingen en classificatiegranulariteit te waarborgen:

1. DAT1 (lastovicka_2019): IPFIX flow-records van een universiteitsbackbone (2019), gericht op OS-familieclassificatie (5 klassen) met behulp van TLS en flow-features.
2. DAT2 (lastovicka_2023): IPFIX webverkeerdata (2023) die ondersteuning biedt voor classificatie op familie- (12 klassen), major- (50 klassen) en minor-niveau (88 klassen).
3. DAT3 (nmap-7.94_2023): Actieve signatures verzameld via Nmap-probes, bevattende 263 features voor familie- (7 klassen) en minor-classificatie (91 klassen).

Datapreparatie

• Preprocessing: Afhandeling van ontbrekende waarden (NaN/Null), verwijdering van irrelevante features (bijv. tijdstempels) en deduplicatie.
• Feature Engineering: Categorische features (bijv. protocoltypen) en numerieke features (bijv. TTL, window size) werden gestandaardiseerd. Hexadecimale strings werden gesplitst in bytes.
• Class Imbalance: Aangepakt via random undersampling voor meerderheidsklassen en de Synthetic Minority Over-sampling Technique (SMOTE) voor minderheidsklassen.
• Encoding: One-Hot Encoding toegepast op categorische targets; class weights berekend als de inverse van genormaliseerde frequenties.

Modellen

De studie vergeleek twee specifieke Tabular Transformer-architecturen met drie klassieke ML-baselines:

• Baselines: k-Nearest Neighbors (kNN), Random Forest (RF) en Multi-Layer Perceptron (MLP).
• TabTransformer (TabT): Vervangt traditionele categorische embeddings door context-bewuste representaties met behulp van Transformer-lagen, waarbij self-attention primair wordt toegepast op categorische features.
• FT-Transformer (FT-T): Generaliseert het self-attention mechanisme naar zowel categorische als numerieke features, waarbij ze uniform worden behandeld om interacties over heterogene data heen te vangen.

Experimentele Opstelling

• Hyperparameter Optimalisatie: Uitgevoerd met Optuna met een NSGA-II sampler en Stratified 10-Fold Cross-Validation.
• Training: Modellen werden getraind op de FinisTerrae III supercomputer (CESGA) met behulp van CUDA-enabled GPU's. Early stopping en AdamW optimalisatie werden toegepast.
• Evaluatie: Metrics omvatten Accuracy, Balanced Accuracy, Precision, Recall en F1-score (gewogen gemiddelde om class imbalance te behandelen). Confusion matrices werden gegenereerd voor gedetailleerde foutanalyse.

Belangrijkste Resultaten

De experimenten toonden aan dat Transformer-gebaseerde modellen over het algemeen traditionele ML-methoden overtreffen, waarbij FT-Transformer de meest robuuste architectuur van alle kwam bovendrijven.

• DAT1 (Familieniveau): FT-Transformer behaalde de hoogste F1-score (90,80%), waarmee het TabTransformer (89,46%), MLP (89,45%) en RF (87,93%) versloeg.
• DAT2 (Familie, Major, Minor):
  • Familie: FT-Transformer (95,09%) presteerde iets beter dan RF (95,33% accuracy, maar lagere F1) en presteerde aanzienlijk beter dan andere baselines.
  • Major: FT-Transformer behaalde de beste prestatie (F1: 79,32%), waarmee het RF (75,64%) en TabTransformer (74,99%) overtrof.
  • Minor: FT-Transformer (F1: 69,76%) en TabTransformer (F1: 68,28%) presteerden beter dan klassieke baselines, hoewel de taak uitdagend bleef.
• DAT3 (Familie, Minor):
  • Familie: FT-Transformer leidde met een F1-score van 92,23%.
  • Minor: TabTransformer behaalde het beste resultaat (F1: 75,90%), waarmee het FT-Transformer (F1: 75,74%) en de RF-baseline (F1: 75,66%) licht overtrof.

Vergelijking met Voorgaand Werk

De voorgestelde methoden zetten nieuwe benchmarks in vergelijking met eerdere studies op dezelfde datasets:

• Op DAT1 verbeterde FT-Transformer de F1-score met ongeveer 12% ten opzichte van de vorige state-of-the-art (Decision Tree).
• Op DAT2 behaalde FT-Transformer een F1-score van 95,09% voor familieclassificatie, wat aanzienlijk beter is dan het beste vorige model (Decision Tree op 81,60%). Het leverde ook de eerste gerapporteerde resultaten voor het "major" classificatieniveau op deze dataset.
• Op DAT3 presteerde FT-Transformer beter dan de MLP-baseline in familieclassificatie, terwijl TabTransformer de RF-baseline overtrof bij minor-classificatie.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Eerste toepassing van Transformers op OS Fingerprinting: Deze studie introduceert attention-gebaseerde Deep Learning-modellen (specifiek Tabular Transformers) in het domein van OS-identificatie, wat een verschuiving markeert van klassieke ML en regelgebaseerde systemen.
2. Uitgebreide Evaluatie: Het onderzoek biedt een rigoureuze beoordeling over drie diverse datasets en meerdere classificatie-granulariteiten (familie, major, minor), waarmee een robuuste baseline wordt gevestigd voor toekomstig onderzoek.
3. Reproduceerbaarheid: De auteurs benadrukken transparantie door de volledige experimentele code, preprocessing-pipelines en modelimplementaties vrij te geven onder een GNU GPL v3.0 licentie.

De auteurs concluderen dat het self-attention mechanisme deze modellen in staat stelt om complexe feature-afhankelijkheden binnen heterogene netwerkverkeer te leren, wat leidt tot verbeterde adaptiviteit en nauwkeurigheid. Zij stellen dat met name FT-Transformer een aanzienlijk voordeel biedt bij het vastleggen van complexe interacties tussen numerieke en categorische features, waarmee een nieuwe benchmark wordt gezet voor DL-gebaseerde OS fingerprinting.

Toekomstige Richtingen

Het artikel schetst bescheiden toekomstig werk, waaronder:

• Het uitbreiden van de evaluatie naar aanvullende real-world datasets om generaliseerbaarheid te valideren.
• Het onderzoeken van hybride benaderingen, zoals het combineren van Transformers met Graph Neural Networks (GNNs) om temporele-spatiële relaties te vangen.
• Het evalueren van prestaties van nieuw uitgebrachte of gewijzigde OS-versies tegenover traditionele tools zoals Nmap.
• Het verkennen van transfer learning door voor-training op grotere, gerelateerde datasets.
• Het integreren van de ontwikkelde modellen in praktische cybersecurity-tools (bijv. Nmap, Intrusion Detection Systems) om de operationele effectiviteit te vergroten.