🤖 AI

Toward Cybersecurity-Expert Small Language Models

Het artikel introduceert CyberPal 2.0, een familie van kleine taalmodellen voor cybersecurity-experts (4B–20B parameters) die zijn getraind op een verrijkte dataset via de SecKnowledge 2.0-pipeline, die frontier-modellen zoals GPT-4o en o1 evenaart of overtreft op cruciale taken binnen dreigingsonderzoek en inlichtingen, terwijl ze een aanzienlijk kleinere omvang behouden.

Oorspronkelijke auteurs: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche

Gepubliceerd 2026-07-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliotheek hebt van gigantische, superintelligente robots (Large Language Models, of LLM's) die poëzie kunnen schrijven, wiskundige problemen kunnen oplossen en over bijna alles kunnen chatten. Maar als je hen vraagt om op te treden als een cybersecurity-expert — het opsporen van digitale dreigingen, het begrijpen van complexe hacktechnieken of het repareren van beveiligingslekken — dan struikelen ze vaak. Ze kunnen gokken, feiten hallucineren of missen de diepe, specifieke training die nodig is voor werk met hoge inzet binnen de beveiliging.

Dit artikel introduceert CyberPal 2.0, een nieuwe familie van "kleinere" maar hooggespecialiseerde robots, ontworpen specifiek voor cybersecurity-experts. Dit is hoe ze het hebben gedaan, eenvoudig uitgelegd:

1. Het Problek: De "Generalist" versus de "Specialist"

Denk aan de grote, beroemde AI-modellen (zoals GPT-4 of o1) als huisartsen in een ziekenhuis. Ze zijn ongelooflijk slim en kunnen bijna elke medische vraag beantwoorden. Echter, voor een complexe, zeldzame ziekte (zoals een specifiek type cyberaanval), wil je echt een specialistisch chirurg die jarenlang alleen dat ene ding heeft bestudeerd.

Het probleem is dat grote modellen duur zijn om te draaien, en het versturen van gevoelige bedrijfsgegevens naar hen vaak in strijd is met privacyregels. Daarom wilden de auteurs een "chirurg" bouwen die klein genoeg is om in de eigen kelder van een ziekenhuis te passen (on-premises), maar slim genoeg om de moeilijkste beveiligingsgevallen aan te kunnen.

2. Het Geheime Recept: "SecKnowledge 2.0" (Het Trainingskamp)

Je kunt een robot niet zomaar leren een security-expert te zijn door hem een stapel tekstboeken te geven. De auteurs bouwden een speciaal trainingskamp genaamd SecKnowledge 2.0.

De Oude Manier: Stel je een leraar voor die een leerling vraat om een beveiligingsconcept uit te leggen, en de leerling geeft een kort, vaag antwoord.
De Nieuwe Manier (Expert-in-the-loop): De auteurs creëerden een systeem waarbij menselijke beveiligingsexperts optreden als coaches. Zij schrijven niet alleen de vragen; zij ontwerpen de exacte stappen die de robot moet nemen om het antwoord te vinden.
- Analogie: In plaats van alleen te vragen "Hoe repareer ik dit lek?", zegt de coach: "Controleer eerst het materiaal van de pijp. Kijk daarna naar de drukmeter. Raadpleeg vervolgens de handleiding voor die specifieke klep. Pas daarna geef je het antwoord."
De Factcheckers: Om te voorkomen dat de robot dingen verzint (hallucineert), dwingt het systeem de robot om naar buiten te gaan en echt bewijs te vinden (zoals het doorzoeken van een database of het lezen van een specifiek beveiligingsrapport) voordat hij antwoordt. Het is als een detective die zijn bewijsstukkenbord moet laten zien voordat hij de zaak oplost.

3. Het Resultaat: De CyberPal 2.0 Familie

Het resultaat is een familie van modellen variërend van 4 miljard tot 20 miljard "neuronen" (parameters).

Klein maar Krachtig: Zelfs het kleinste model (4B) is minuscuul vergeleken met de gigantische modellen (die honderden miljarden parameters kunnen hebben), maar het presteert ver boven zijn gewichtsklasse.
De Prestaties: Bij tests op moeilijke beveiligingsexamens (zoals het koppelen van een bugrapport aan een specifieke zwakte of het identificeren van hacker-tactieken), presteren deze kleine modellen:
- Veel beter dan hun eigen "niet-getrainde" versies (7–14% verbetering).
- Ze verpletterden andere open-source beveiligingsmodellen.
- Ze evenaren of verslaan de grootste, duurste "frontier" modellen (zoals Google's Sec-Gemini v1 en OpenAI's o1) op kerntaken, ondanks dat ze een fractie van hun omvang hebben.

4. Waarom dit ertoe doet (Volgens het artikel)

Het artikel beweert dat deze aanpak drie grote hoofdpijndossiers voor bedrijven oplost:

Privacy: Je kunt deze modellen op je eigen servers draaien zonder gevoelige gegevens naar de cloud te sturen.
Kosten: Ze zijn veel goedkoper in gebruik dan de gigantische modellen.
Betrouwbaarheid: Omdat ze getraind zijn met menselijke experts en gedwongen worden om echt bewijs te vinden, is de kans kleiner dat ze gevaarlijke fouten maken of "dingen verzinnen".

Samenvattende Analogie

Als de grote AI-modellen Olympische atleten zijn die kunnen rennen, zwemmen en springen, dan is CyberPal 2.0 een gespecialiseerde reddingshond. Hij kan misschien niet alles wat een Olympische atleet kan, maar als je iemand moet vinden in een ingestort gebouw (een specifieke cyberdreiging), dan is deze hond sneller, goedkoper in onderhoud en beter getraind voor die exacte taak dan de atleet.

De auteurs hebben hun trainingsmethoden en het beste model (de 20B versie) open source gemaakt, zodat andere bedrijven hun eigen "reddingshonden" kunnen bouwen zonder vanaf nul te hoeven beginnen.

Technische Samenvatting: Naar Cybersecurity-Expert Small Language Models

Probleemstelling

Hoewel Large Language Models (LLM's) transformaties teweegbrengen in algemene toepassingen, blijven ze achter in gespecialiseerde domeinen zoals cybersecurity door een tekort aan hoogwaardige, domeinspecifieke modellen en trainingsdatasets. Het adopteren van commerciële frontier-modellen voor security operations brengt aanzienlijke uitdagingen met zich mee: strikte veiligheidsrestricties (guardrails) beperken vaak hun nut in real-world workflows, compliance-vereisten beperken de integratie van gevoelige organisatorische gegevens, en de kosten voor het verwerken van enorme volumes aan security-telemetrie zijn prohibitief. Bijgevolg is er een kritieke behoefte aan domeinspecifieke Small Language Models (SLM's) die on-premises kunnen opereren, gegevensprivacy kunnen waarborgen en diepgaande technische redenering kunnen leveren op het gebied van netwerk-, cloud- en applicatiebeveiliging zonder de overhead van frontier-schaal modellen.

Methodologie

De auteurs stellen CyberPal 2.0 voor, een familie van cybersecurity-expert SLM's variërend van 4B tot 20B parameters. De kerninnovatie ligt in de trainingsdatapipeline, SecKnowledge 2.0, die de oorspronkelijke SecKnowledge-dataset verbetert via een proces van meerfasige herformattering en verrijking.

De SecKnowledge 2.0 Pipeline

De pipeline gaat verder dan standaard data-herformattering door integratie van expert-in-the-loop sturing met LLM-gestuurde automatisering:

Expert-in-the-Loop Formaatdefinitie: In plaats van generieke sjablonen gebruikt het systeem een semi-geautomatiseerde workflow waarbij experts specifieke redeneerstructuren (formaten) definiëren voor onderscheidende cybersecurity-taken. Een LLM genereert kandidaat-formaten op basis van taakbeschrijvingen en illustratieve voorbeelden, die experts vervolgens evalueren en verfijnen. Dit zorgt ervoor dat de redeneersporen (reasoning traces) overeenkomen met de intentie van de expert en de domeinlogica.
Multi-Step Grounding en Retrieval: Om hallucinaties te mitigeren en feitelijke nauwkeurigheid te garanderen, bevat de pipeline een retrieval-augmented generation (RAG) component. Voor elke taak genereert het systeem zoekopdrachten, filtert deze op relevantie, haalt resultaten op uit vector databases of het web, en parseert deze om de redeneringsstappen te verankeren in extern bewijs.
Adaptieve Redeneerdiepte: De trainingsdata wordt gecureerd om zowel langere, stapsgewijze chain-of-thought (CoT) voorbeelden voor complexe redenering te bevatten als beknopte, snelle instructies voor lichtere taken. Deze mix leert de modellen hun redeneerinspanning aan te passen aan de moeilijkheidsgraad van de taak.

Trainingsstrategie

De modellen worden gefinetuned met behulp van de Qwen3 base modellen (4B, 8B, 14B) en gpt-oss-20b als startpunten. Opvallend genoeg ontdekten de auteurs dat het initialiseren vanaf base modellen (pre-trained maar niet post-trained/aligned) aanzienlijk betere prestaties opleverde dan starten vanaf post-trained tegenhangers, met name op redeneer-zware benchmarks. De training maakt gebruik van een learning rate van $4 \times 10^{-5}$ , een contextlengte van 8192, en een batch size van 3072 voor twee epochs.

Belangrijkste Bijdragen

SecKnowledge 2.0 Pipeline: Een innovatieve data-verrijkingspipeline die schema-gestuurde, door experts gedefinieerde redeneerformaten combineert met document-grounding uit meerdere bronnen. Deze aanpak levert hogere-getrouwheid, taak-geankerde redeneersporen op vergeleken met standaard herformatteringsmethoden.
CyberPal 2.0 Model Suite: Een familie van open-source SLM's (4B–20B parameters) die gespecialiseerd zijn in cybersecurity-operaties, in staat om detectie, onderzoek, threat hunting en dataclassificatie af te handelen.
Uitgebreide Evaluatie: De modellen werden geëvalueerd tegen een rigoureuze suite van benchmarks die governance, threat intelligence, incident response en veilige codegeneratie beslaan, inclusief vergelijkingen met state-of-the-art frontier-modellen (bijv. GPT-4o, o1, o3-mini, Sec-Gemini v1).

Resultaten

De evaluatie toont aan dat CyberPal 2.0 modellen consequent beter presteren dan hun baselines en concurreren met of zelfs superieur zijn aan veel grotere frontier-modellen:

Baseline Prestaties: Over diverse benchmarks heen behaalden de CyberPal 2.0 modellen gemiddelde winsten van 7–14% ten opzichte van hun respectieve base modellen. Bij specifieke taken zoals CTIBench-RCM (Root Cause Mapping), bereikten de winsten 16–31%.
Frontier Model Vergelijking:
- Root Cause Mapping (RCM): Het 20B parameter model nam de eerste plaats in en presteerde beter dan Sec-Gemini v1, o1, o3-mini en GPT-4o. Het 4B model nam de tweede plaats in.
- Cyber Threat Intelligence (CTI) Kennis: De modellen namen de tweede plaats in, direct na Sec-Gemini v1, en presteerden beter dan bijna alle andere geteste frontier-modellen, inclusief o1.
- Efficiëntie: Ondanks dat ze een fractie van de grootte van frontier-modellen hebben, evenaarde of overtrof het 20B model hun prestaties, terwijl het 4B model significant grotere modellen zoals Mistral Large en DeepSeek-v3 overtrof.
Real-World Use Cases: In toegepaste workflows, zoals het mappen van threat reports naar MITRE ATT&CK technieken en het herbeoordelen van CVE severity scores onder specifieke deployment-beperkingen, lieten de modellen consistente verbeteringen zien ten opzichte van baselines (bijv. +8.75% nauwkeurigheid op threat-to-TTP mapping voor het 4B model).
Secure Code Generation: Hoewel gespecialiseerd in security-redenering, behielden de modellen robuuste capaciteiten voor veilige codegeneratie, waarbij de pass rates dicht bij hun instruction-tuned baselines bleven, wat aangeeft dat specialisatie de code-veiligheid niet heeft aangetast.

Betekenis en Claims

Het paper claimt dat CyberPal 2.0 aantoont dat compacte, domeinspecifieke SLM's frontier-niveau capaciteiten kunnen leveren voor security-operaties zonder de bijbehorende frontier-kosten. Door gebruik te maken van de SecKnowledge 2.0 pipeline — specifiek de combinatie van expert-gedefinieerde redeneerstructuren en bewijsvoering (evidence grounding) — laten de auteurs zien dat hoogwaardige, gespecialiseerde data impactvoller is dan simpelweg het schalen van de modelgrootte.

Het werk adresseert de praktische beperkingen van enterprise security door modellen aan te bieden die:

On-premises Inzetbaar Zijn: Voldoen aan privacy- en data-residency verplichtingen.
Kostenefficiënt Zijn: Efficiënt grote volumes aan security-data kunnen verwerken.
Actiegericht Zijn: Verdedigbare, op bewijs gebaseerde conclusies bieden voor threat investigatie en respons.

De auteurs benadrukken dat hun aanpak de prioriteit geeft aan datakwaliteit en domeinspecifieke alignment boven pure parameter-aantallen, waarmee zij een levensvatbaar pad bieden voor ondernemingen om geavanceerde AI te adopteren voor defensieve security-operaties. De modellen, de pipeline en de benchmarks worden als open source vrijgegeven om reproduceerbaarheid en praktische adoptie te bevorderen.