ThreatQwen: Domain-Adaptive Fine-Tuning of a 1.7B LLM for Security Event Classification and SOC Triage

Elke dag worden beveiligingsteams in banken, ziekenhuizen en overheidsinstanties geconfronteerd met een vloedgolf aan digitale alarmen. Deze meldingen worden getriggerd door geautomatiseerde systemen die zoeken naar verdachte patronen in computerlogs, zoals ongebruikelijke bestandsverplaatsingen of vreemde netwerkverbindingen. Hoewel deze systemen uitstekend zijn in het opsporen van potentiële dreigingen, kunnen ze niet beslissen of een melding een echt gevaar is of een onschuldige fout. Dat uiteindelijke oordeel, bekend als triage, vereiste traditioneel een menselijke analist die de ruwe gegevens leest en de situatie beoordeelt. Dit handmatige proces is traag en wordt vaak overweldigd door de enorme hoeveelheid meldingen. In de afgelopen jaren hebben krachtige kunstmatige intelligentiemodellen laten zien dat ze dit soort redeneren kunnen uitvoeren, maar de organisaties die deze hulp het hardst nodig hebben, kunnen ze vaak niet gebruiken. Strikte beveiligingsregels en privacywetgeving verhinderen dat deze teams hun gevoelige logs naar externe servers sturen waar deze grote modellen verblijven. Ze hebben een oplossing nodig die kan denken als een expert, maar die volledig binnen hun eigen veilige muren blijft.

Een nieuwe studie introduceert een oplossing genaamd ThreatQwen, een klein, gespecialiseerd model voor kunstmatige intelligentie dat is ontworpen om lokaal te draaien op standaard computerhardware zonder dat er een internetverbinding nodig is. De onderzoeker nam een compact taalmodel, een type software dat is getraind om menselijke taal te begrijpen en te genereren, en leerde het specif으로 hoe het beveiligingsmeldingen moet analyseren. De onderzoeker voedde het model met een enorme collectie echte detectieregels en synthetische voorbeelden van normale computeractiviteit, waardoor het model leerde onderscheid te maken tussen echte dreigingen en onschuldige gebeurtenissen. Het resultaat is een hulpmiddel dat op een enkele computer in een beveiligde kantooromgeving kan staan, een melding kan lezen en de menselijke operator onmiddellijk kan vertellen of deze kwaadaardig of onschuldig is. Deze aanpak stelt strikt gereguleerde organisaties in staat om geavanceerde redeneringen van kunstmatige intelligentie te gebruiken zonder ooit hun privédata aan de buitenwereld bloot te stellen.

De kernuitdaging die de onderzoeker aanpakte, was dat de meeste bestaande modellen voor kunstmatige intelligentie te groot zijn om op lokale machines te draaien en niet zijn getraind op de specifieke taal van beveiligingslogs. Om dit op te lossen, bouwde het team een trainingsdataset door duizenden echte detectieregels uit open-source projecten te combineren met duizenden nieuwe voorbeelden van normaal computergedrag. Ze gebruikten een krachtige externe kunstmatige intelligentie om deze normale voorbeelden te genereren, waardoor het model een gebalanceerde mix van gevaarlijke en veilige gebeurtenissen zag. Dit was cruciaal omdat de oorspronkelijke data sterk vertekend was richting dreigingen; zonder de toegevoegde voorbeelden van normale activiteit zou het model simpelweg alles als gevaarlijk hebben bestempeld. Door de trainingsdata zorgvuldig te balanceren en bepaalde velden te verwijderen die fungeerden als gemakkelijke afkortingen, dwong de onderzoeker het model om daadwerkelijk de patronen van de gebeurtenissen te leren, in plaats van te gokken op basis van oppervlakkige aanwijzingen.

Het model werd vervolgens verfijnd met een techniek waarmee het nieuwe taken kan leren zonder dat het volledig opnieuw gebouwd hoeft te worden, een proces dat slechts enkele uren duurde op een standaard grafische kaart. Bij het testen op een set van 882 voorbeelden, die evenredig verdeeld waren tussen echte dreigingen en normale gebeurtenissen, bereikte het nieuwe model een nauwkeurigheid van 95,1 procent. Het identificeerde 96,1 procent van de werkelijke dreigingen correct en 94,2 procent van de normale gebeurtenissen. In een directe vergelijking presteerde dit kleine, lokaal draaiende model aanzienlijk beter dan twee van de meest geavanceerde, cloudgebaseerde kunstmatige intelligentiesystemen ter wereld, die op dezelfde taken een score van minder dan 52 procent nauwkeurigheid behaalden. De cloudmodellen hadden de neiging om bijna alles als een dreiging aan te nemen, waarbij ze er niet in slaagden normale activiteit te herkennen, terwijl het nieuwe model de subtiele verschillen leerde die belangrijk zijn voor beveiligingsexperts.

Wat deze ontwikkeling bijzonder significant maakt, is de praktische toepasbaarheid voor echte beveiligingsoperaties. Het volledige model, inclusief de gespecialiseerde training, past in slechts 3,1 gigabyte aan computermemory, wat klein genoeg is om te draaien op een enkele consumentengrafische kaart die in veel kantoren te vinden is. Het vereist geen netwerkverbinding, wat betekent dat het kan worden ingezet in 'air-gapped' omgevingen waar computers fysiek geïsoleerd zijn van het internet voor veiligheidsredenen. Dit stelt banken, defensiecontractanten en inlichtingendiensten in staat om de initiële beoordeling van miljoenen meldingen te automatiseren zonder de privacyregelgeving te schenden. De onderzoeker merkte ook op dat het lokaal draaien van dit model vele malen goedkoper is dan het betalen voor cloudgebaseerde diensten, waarbij het minder dan twee dollar per dag kost voor hoogwaardige verwerking, vergeleken met bijna twintig dollar voor hetzelfde werk op een cloudplatform.

De studie heeft echter beperkingen die de auteur openlijk erkent. De trainingsdata en de testvoorbeelden voor normaal gedrag werden gegenereerd door computers in plaats van rechtstreeks te worden overgenomen uit live, reële netwerken. Hoewel de detectieregels gebaseerd waren op werkelijke aanvallerstechnieken die in de praktijk zijn waargenomen, is het model nog niet getest op de complexe, chaotische datastromen van een live beveiligingscentrum. De onderzoeker stelt dat de volgende cruciale stap is om het model te valideren tegen real-world telemetrie om te waarborgen dat het goed generaliseert buiten de synthetische voorbeelden die in de studie zijn gebruikt. Daarnaast begrijpt het model momenteel alleen Engels, waardoor niet-Engelse bronnen van dreigingsinformatie worden uitgesloten. Ondanks deze kanttekeningen toont het werk aan dat een klein, open-source model, wanneer het zorgvuldig is getraind op de juiste data, gespecialiseerde beveiligingstaken beter kan uitvoeren dan enorme, algemene systemen, wat een levensvatbaar pad biedt voor veilige, lokale kunstmatige intelligentie in kritieke infrastructuur.