DNS-GT: A Graph-based Transformer Approach to Learn Embeddings of Domain Names from DNS Queries

Dit paper introduceert DNS-GT, een op grafen gebaseerde transformer-architectuur die via zelftoezicht leert contextuele embeddings van domeinnamen uit DNS-query-sequenties te genereren, waardoor de prestaties van netwerkintrusiedetectiesystemen bij taken zoals botnet-detectie en domeinklassificatie significant verbeteren ten opzichte van bestaande methoden.

De kern

Stel je voor dat het internet een enorme, drukke stad is. In deze stad zijn er miljarden telefoongesprekken (de DNS-query's) die elke seconde worden gevoerd. Mensen bellen om een adres te vinden: "Hoe kom ik bij Google?" of "Waar vind ik Facebook?".

Normaal gesproken kijken beveiligingssystemen (de politie) alleen naar de nummers die gebeld worden. Als ze een nummer zien dat ze niet kennen, bellen ze misschien. Maar hackers zijn slim. Ze gebruiken vaak heel normale nummers, maar op een heel rare manier, of ze bellen duizenden mensen in een fractie van een seconde om een gevaarlijk plan te uitvoeren (zoals een botnet).

De oude systemen kijken vaak alleen naar het nummer op zichzelf. Ze zeggen: "Oh, dit nummer staat op de zwarte lijst, dus het is slecht." Maar wat als een normaal nummer plotseling wordt gebruikt om een gevaarlijk plan te smeden? Dan zien de oude systemen het niet.

DNS-GT is een nieuwe, slimme "detective" die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Detective die niet alleen kijkt, maar luistert

Stel je voor dat je een gesprek meemaakt tussen twee mensen.

• De oude methode (Word2Vec): Kijkt alleen naar het woord dat iemand zegt. Als iemand zegt "Bank", denkt de detective: "Dat klinkt veilig."
• De nieuwe methode (DNS-GT): Luistert naar het hele gesprek. Als iemand zegt "Bank", maar de vorige zinnen waren "Ik ga een pistool kopen" en "Ik ga de kluis openbreken", dan begrijpt de detective dat "Bank" hier in een gevaarlijke context staat.

DNS-GT doet precies dit met internetverkeer. Het kijkt niet alleen naar één domeinnaam (zoals google.com), maar naar de rijtjes van vragen die een computer stelt. Het leert de "grammatica" van het internetverkeer.

2. De Super-Brain (Transformer & Graph)

Deze detective heeft twee superkrachten:

• De "Aandacht" (Transformer): Net zoals jij in een gesprek beter luistert naar wat de persoon direct naast je zegt dan naar wat iemand in de verte roept, kijkt DNS-GT naar de vragen die direct voor en na een bepaalde vraag komen. Het weet welke vragen belangrijk zijn voor de context.
• Het Netwerk (Graph): Stel je voor dat alle telefoongesprekken verbonden zijn met een web van draden. Als iemand A vraagt naar B, en B vraagt naar C, dan zijn ze verbonden. DNS-GT gebruikt dit web om te zien hoe informatie stroomt. Het ziet patronen die een gewone lijst niet kan zien.

3. De Oefening (Pre-training)

Voordat deze detective de stad kan bewaken, moet hij eerst leren hoe het internet normaal werkt.

• De makers geven de detective een boek met duizenden gesprekken, maar ze verbergen soms een woord (een domeinnaam).
• De detective moet raden welk woord er ontbreekt, puur op basis van de rest van de zin.
• Door dit miljoenen keren te doen, leert de detective hoe mensen normaal gesproken internetten. Hij leert wat "normaal" is, zonder dat iemand hem hoeft te vertellen wat "slecht" is. Dit heet zelf-supervised learning.

4. De Proef (Finetuning)

Nu de detective de basisregels kent, kan hij worden ingezet voor specifieke taken:

• Het vinden van kwaadaardige sites: Hij kijkt naar een gesprek en zegt: "Hé, deze combinatie van vragen komt nooit voor bij normale mensen. Dit is waarschijnlijk een hacker."
• Het vinden van botnets: Hij ziet dat honderd computers allemaal op precies hetzelfde moment naar dezelfde vreemde plek bellen. Dat is verdacht!

Waarom is dit zo cool?

• Het leert van niets: Het heeft geen duizenden voorbeelden van hackers nodig om te leren. Het leert uit de "normale" chaos van het internet.
• Het is flexibel: Omdat het de context begrijpt, kan het nieuwe soorten aanvallen ontdekken die nog nooit eerder zijn gezien.
• Het is snel: Het kan in real-time beslissingen nemen, net als een goede agent die direct ziet dat er iets mis is.

Kort samengevat:
DNS-GT is als een super-slimme vertaler die niet alleen woorden vertaalt, maar de bedoeling achter de zin begrijpt. Waar andere systemen zeggen "Dit woord staat op de zwarte lijst", zegt DNS-GT: "Dit woord staat op een normale lijst, maar in deze specifieke zin is het gevaarlijk." En dat maakt het een krachtig wapen tegen cybercriminelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DNS-GT: A Graph-based Transformer Approach to Learn Embeddings of Domain Names from DNS Queries", geschreven in het Nederlands.

1. Het Probleem

Netwerk-intrusiedetectiesystemen (NIDS) zijn cruciaal voor cybersecurity, maar de huidige machine learning (ML) methoden hebben aanzienlijke beperkingen:

• Afhankelijkheid van gelabelde data: Traditionele ML-modellen vereisen grote hoeveelheden gelabelde data om effectief te zijn, wat in cybersecurity vaak schaars, duur en privacygevoelig is.
• Beperkte generalisatie: Bestaande methoden, zoals varianten van Word2Vec voor domeinnamen, missen diep semantisch begrip en context. Ze aggregen lokaal co-voorkomende patronen zonder rekening te houden met de complexe afhankelijkheden binnen een DNS-querysequentie.
• Gebrek aan context: Bestaande embedding-methoden behandelen domeinnamen vaak als geïsoleerde entiteiten, terwijl de betekenis van een query sterk afhankelijk is van de context van andere queries in dezelfde sessie (bijv. van dezelfde host).

2. Methodologie: DNS-GT

De auteurs stellen DNS-GT voor, een nieuw model dat Transformer-architecturen combineert met Graph Neural Networks (GNN) om embeddings te leren van domeinnamen op basis van DNS-query's.

Kerncomponenten:

• Self-Supervised Pre-training: Het model wordt vooraf getraind op ruwe, ongelabelde DNS-data met behulp van Masked Language Modeling (MLM). Het doel is om gemaskerde domeinnamen in een sequentie te voorspellen op basis van de omringende queries. Dit leert het model de "grammatica" en het gedrag van DNS-activiteit zonder menselijke labels.
• Graph Attention Network (GAT) in plaats van standaard Attention:
  • In tegenstelling tot standaard Transformers die een vaste volgorde aannemen, gebruikt DNS-GT een permutatie-equivariante Graph Attention Network.
  • De input is een sequentie van queries, waarbij elke query bestaat uit een host-token en een domein-token.
  • Een kennisgebaseerde topologie (adjacentiematrix) wordt gebruikt om de relaties tussen tokens te definiëren. Dit zorgt ervoor dat het model alleen aandacht besteedt aan relevante, verbonden tokens en onbelangrijke tokens (zoals <PAD> tokens) negeert.
  • Dit maakt het model robuust tegen kleine verstoringen in de tijdsvolgorde van netwerkverkeer.
• Dual Representatie: Het model leert gezamenlijke embeddings voor zowel hosts als domeinen, die kunnen worden gemengd via een weegcoëfficiënt ($\omega$). Dit biedt flexibiliteit voor privacy (host-data kan worden uitgesloten) en specifieke use-cases.
• Fine-tuning: Na de pre-training kan het model worden aangepast (fine-tuned) voor specifieke downstream-taken zoals domeinclassificatie of botnet-detectie, zelfs met beperkte gelabelde data.

Data Verwerking:

• DNS-traffic wordt omgezet in sequenties per host.
• Drie strategieën voor het vormen van sequenties worden geëvalueerd:
  1. Fixed-length: Een vaste venstergrootte.
  2. Greedy time-based: Query's worden toegevoegd zolang ze binnen een bepaalde tijdsdrempel vallen.
  3. Clustering time-based: Gebruik van DBScan om temporale clusters van gerelateerde queries te vinden (de meest effectieve strategie in de experimenten).

3. Belangrijkste Bijdragen

1. DNS-GT Architectuur: Introductie van een Transformer-model met geïntegreerde graph-neurale modellering specifiek ontworpen voor cybersecurity, dat contextuele afhankelijkheden tussen DNS-query's leert.
2. Uitgebreide Experimenten: Evaluatie op een real-world dataset met meer dan 4.000 hosts en ongeveer 13 miljoen query's voor training.
3. Generaliseerbaarheid: Demonstratie dat het model effectief werkt voor verschillende downstream-taken, waaronder domeinclassificatie (detectie van kwaadaardige domeinen) en botnet-detectie.
4. Open Source: Beschikbaarheid van de code en de methodologie voor verdere research.

4. Resultaten

De experimenten zijn uitgevoerd op een dataset van het TI-2016 project en vergeleken met baselines zoals Word2Vec (CBOW en Skip-Gram).

• Domeinclassificatie:
  • DNS-GT presteerde consistent beter dan baselines in alle sequentiestrategieën (Fixed, Time, Density).
  • In de End-to-End setting (waarbij het model direct wordt gefine-tuned) behaalde DNS-GT een ROC-AUC van 0.848 (met de Density-strategie), vergeleken met 0.779 voor de beste Word2Vec-baseline.
  • DNS-GT behaalde ook de hoogste F1-scores.
• Botnet-detectie:
  • DNS-GT presteerde gelijkwaardig aan de beste baselines (Word2Vec-SkipGram) met een nauwkeurigheid van 0.877 en een AUC van 0.970.
  • Hoewel de prestaties hier vergelijkbaar waren, is het belangrijk dat DNS-GT geen prestatieverlies toonde ondanks de complexere architectuur.
• Ablatie-studie:
  • Het verwijderen van het attentie-mechanisme leidde tot een drastische daling in prestaties (AUC daalde van 0.848 naar 0.410), wat aantoont dat contextuele informatie essentieel is.
  • Het verwijderen van host-informatie had een kleiner, maar nog steeds negatief effect (AUC daalde naar 0.762).
• Contextgevoeligheid:
  • Visualisaties (t-SNE) tonen een duidelijke scheiding tussen kwaadaardige en goedaardige domeinen in de embedding-ruimte.
  • Het model toont aan dat het de betekenis van een domein dynamisch kan interpreteren op basis van de context (bijv. een normaal domein dat verdacht wordt in een sequentie met bekende malware-domeinen).

5. Betekenis en Toekomstperspectief

Dit paper markeert een belangrijke stap in de evolutie van netwerkbeveiliging:

• Van Rules naar Foundation Models: Het toont aan dat grote taalmodellen (LLM-achtige architecturen) succesvol kunnen worden toegepast op netwerkdata, wat de weg vrijmaakt voor robuustere en schaalbare intrusiedetectiesystemen.
• Ongecontroleerd Leren: Door gebruik te maken van self-supervised learning op ruwe data, omzeilt het model het probleem van het gebrek aan gelabelde datasets, wat een grote bottleneck is in cybersecurity.
• Contextuele Intelligente Detectie: In plaats van alleen te kijken naar individuele IP's of domeinen, begrijpt het systeem het gedrag en de relaties tussen entiteiten, wat essentieel is voor het detecteren van geavanceerde, dynamische aanvallen zoals botnets.

De auteurs concluderen dat DNS-GT een veelbelovende basis vormt voor toekomstige foundation-modellen in cybersecurity en pleiten voor verdere onderzoek naar schaalbaarheid en toepassing op andere datatypen.