🤖 AI

Toward Cybersecurity-Expert Small Language Models

Das Papier stellt CyberPal 2.0 vor, eine Familie von spezialisierten kleinen Sprachmodellen für Cybersicherheit (4B–20B Parameter), die mittels der SecKnowledge 2.0-Pipeline auf einem angereicherten Datensatz trainiert wurden und bei zentralen Aufgaben der Bedrohungsanalyse und -recherche führende Modelle wie GPT-4o und o1 übertreffen oder mit ihnen gleichziehen, während sie gleichzeitig eine signifikant geringere Größe beibehalten.

Ursprüngliche Autoren: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Matan Levi, Daniel Ohayon, Ariel Blobstein, Ravid Sagi, Ian Molloy, Yair Allouche

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine Bibliothek aus riesigen, hochintelligenten Robotern (Large Language Models oder LLMs), die Gedichte schreiben, mathematische Probleme lösen und über fast alles plaudern können. Wenn Sie sie jedoch bitten würden, wie ein Cybersicherheitsexperte zu agieren – also digitale Bedrohungen aufzuspüren, komplexe Hacking-Techniken zu verstehen oder Sicherheitslücken zu schließen –, würden sie oft stolpern. Sie könnten raten, Fakten halluzinieren oder es ihnen an der tiefen, spezifischen Ausbildung mangeln, die für hochsensible Sicherheitsaufgaben erforderlich ist.

Dieses Paper stellt CyberPal 2.0 vor, eine neue Familie von „kleineren“, aber hochspezialisierten Robotern, die speziell als Cybersicherheitsexperten entwickelt wurden. Hier ist die Erklärung, wie sie das geschafft haben, vereinfacht dargestellt:

1. Das Problem: Der „Generalist“ vs. der „Spezialist“

Betrachten Sie die großen, berühmten KI-Modelle (wie GPT-4 oder o1) als Hausärzte in einem Krankenhaus. Sie sind unglaublich klug und können fast jede medizinische Frage beantworten. Aber für eine komplexe, seltene Krankheit (wie eine spezifische Art von Cyberangriff) wollen Sie wirklich einen Fachchirurgen, der jahrelang nur dieses eine Thema studiert hat.

Das Problem ist, dass große Modelle teuer im Betrieb sind und das Senden sensibler Unternehmensdaten an sie oft gegen Datenschutzregeln verstößt. Deshalb wollten die Autoren einen „Chirurgen“ bauen, der klein genug ist, um im eigenen Keller eines Krankenhauses (On-Premise) zu arbeiten, aber klug genug, um die schwierigsten Sicherheitsfälle zu bewältigen.

2. Das Geheimrezept: „SecKnowledge 2.0“ (Das Trainingslager)

Man kann einen Roboter nicht einfach dazu bringen, ein Sicherheitsexperte zu werden, indem man ihm einen Stapel Lehrbücher gibt. Die Autoren bauten ein spezielles Trainingslager namens SecKnowledge 2.0.

Der alte Weg: Stellen Sie sich vor, ein Lehrer bittet einen Schüler, ein Sicherheitskonzept zu erklären, und der Schüler gibt eine kurze, vage Antwort.
Der neue Weg (Expert-in-the-Loop): Die Autoren schufen ein System, in dem menschliche Sicherheitsexperten als Coaches fungieren. Sie schreiben nicht nur die Fragen, sondern entwerfen die exakten Schritte, die der Roboter unternehmen muss, um die Antwort zu finden.
- Analogie: Anstatt nur zu fragen: „Wie repariere ich dieses Leck?“, sagt der Coach: „Prüfe zuerst das Material des Rohrs. Zweitens: Schau auf das Manometer. Drittens: Konsultiere das Handbuch für genau dieses Ventil. Erst dann gib die Antwort aus.“
Die Faktenchecker: Um den Roboter daran zu hindern, Dinge zu erfinden (zu halluzinieren), zwingt das System den Roboter dazu, nach echten Beweisen zu suchen (wie etwa einer Datenbank zu durchsuchen oder einen spezifischen Sicherheitsbericht zu lesen), bevor er antwortet. Es ist wie ein Detektiv, der seine Beweiswand zeigen muss, bevor er den Fall löst.

3. Das Ergebnis: Die CyberPal 2.0-Familie

Das Ergebnis ist eine Modellfamilie, die von 4 Milliarden bis 20 Milliarden „Neuronen“ (Parametern) reicht.

Klein, aber oho: Selbst das kleinste Modell (4B) ist winzig im Vergleich zu den riesigen Modellen (die hunderte Milliarden Parameter haben können), aber es schlägt weit über seiner Gewichtsklasse.
Die Leistung: Bei Tests auf schwierigen Sicherheitsprüfungen (wie dem Abgleichen eines Fehlerberichts mit einer spezifischen Schwachstelle oder der Identifizierung von Hacker-Taktiken) erreichten diese kleinen Modelle:
- Sie waren deutlich besser (7–14 % besser) als ihre eigenen „untrainierten“ Versionen.
- Sie übertrafen andere Open-Source-Sicherheitsmodelle bei weitem.
- Sie glichen den größten, teuersten „Frontier“-Modellen (wie Googles Sec-Gemini v1 und OpenAIs o1) bei Kernaufgaben, oder übertrafen diese sogar, obwohl sie nur einen Bruchteil ihrer Größe haben.

4. Warum das wichtig ist (laut dem Paper)

Das Paper behauptet, dass dieser Ansatz drei große Probleme für Unternehmen löst:

Datenschutz: Sie können diese Modelle auf Ihren eigenen Servern ausführen, ohne sensible Daten in die Cloud zu senden.
Kosten: Sie sind viel günstiger im Betrieb als die riesigen Modelle.
Zuverlässigkeit: Da sie mit menschlichen Experten trainiert werden und gezwungen sind, echte Beweise zu finden, neigen sie weniger dazu, gefährliche Fehler zu machen oder „Dinge zu erfinden“.

Zusammenfassende Analogie

Wenn die großen KI-Modelle wie Olympia-Athleten sind, die laufen, schwimmen und springen können, dann ist CyberPal 2.0 wie ein spezialisierter Rettungshund. Er mag vielleicht nicht alles können, was ein Olympia-Athlet kann, aber wenn Sie eine bestimmte Person in einem eingestürzten Gebäude finden müssen (eine spezifische Cyberbedrohung), ist dieser Hund schneller, kostengünstiger in der Ernährung und besser auf genau diese Aufgabe trainiert als der Athlet.

Die Autoren haben ihre Trainingsmethoden und das beste Modell (die 20B-Version) Open Source zur Verfügung gestellt, damit andere Unternehmen ihre eigenen „Rettungshunde“ bauen können, ohne bei Null anfangen zu müssen.

Technisches Resümee: Auf dem Weg zu Cybersicherheits-Experten-Small Language Models

Problemstellung

Während Large Language Models (LLMs) allgemeine Anwendungen transformieren, hinken sie in spezialisierten Domänen wie der Cybersicherheit hinterher, was auf einen Mangel an hochwertigen, domänenspezifischen Modellen und Trainingsdatensätzen zurückzuführen ist. Die Nutzung kommerzieller Frontier-Modelle für Sicherheitsoperationen stellt erhebliche Herausforderungen dar: Strenge Sicherheitsbeschränkungen (Guardrails) schränken oft deren Nutzen in realen Arbeitsabläufen ein, Compliance-Anforderungen verhindern die Integration sensibler Organisationsdaten, und die Kosten für die Verarbeitung massiver Volumina an Sicherheits-Telemetrie sind prohibitiv hoch. Folglich besteht ein kritischer Bedarf an domänenspezifischen Small Language Models (SLMs), die vor Ort (on-premises) betrieben werden können, die Datensicherheit gewährleisten und tiefgreifende technische Argumentation über Netzwerk-, Cloud- und Anwendungssicherheit bieten können, ohne den Overhead von Frontier-Scale-Modellen zu verursachen.

Methodik

Die Autoren schlagen CyberPal 2.0 vor, eine Familie von Cybersicherheits-Experten-SLMs mit einer Größe von 4B bis 20B Parametern. Die Kerninnovation liegt in der Trainingsdaten-Pipeline, SecKnowledge 2.0, welche den ursprünglichen SecKnowledge-Datensatz durch einen mehrstufigen Reformatting- und Anreicherungsprozess verbessert.

Die SecKnowledge 2.0 Pipeline

Die Pipeline geht über das standardmäßige Daten-Reformatting hinaus, indem sie Expert-in-the-Loop-Steuerung mit LLM-gestützter Automatisierung integriert:

Expert-in-the-Loop Formatdefinition: Anstatt generische Templates zu verwenden, nutzt das System einen semi-automatisierten Workflow, bei dem Experten spezifische Argumentationsstrukturen (Formate) für unterschiedliche Cybersicherheitsaufgaben definieren. Ein LLM generiert Kandidaten-Formate basierend auf Aufgabenbeschreibungen und illustrativen Beispielen, welche die Experten dann evaluieren und verfeinern. Dies stellt sicher, dass die Argumentationspfade (Reasoning Traces) mit der Intention der Experten und der Domänenlogik übereinstimmen.
Mehrstufige Fundierung und Abruf (Grounding and Retrieval): Um Halluzinationen zu minimieren und die faktische Genauigkeit zu gewährleisten, integriert die Pipeline eine Retrieval-Augmented Generation (RAG)-Komponente. Für jede Aufgabe generiert das System Suchanfragen, filtert diese nach Relevanz, ruft Ergebnisse aus Vektordatenbanken oder dem Web ab und parst diese, um die Argumentationsschritte in externen Belegen zu verankern.
Adaptive Argumentationstiefe: Die Trainingsdaten werden so kuratiert, dass sie sowohl lang angelegte, schrittweise Chain-of-Thought (CoT)-Beispiele für komplexe Argumentationen als auch prägnante, schnelle Antwort-Instruktionen für leichtere Aufgaben enthalten. Diese Mischung lehrt die Modelle, ihren Argumentationsaufwand basierend auf der Schwierigkeit der Aufgabe anzupassen.

Trainingsstrategie

Die Modelle werden unter Verwendung der Qwen3 Base-Modelle (4B, 8B, 14B) und gpt-oss-20b als Ausgangspunkte feinjustiert. Bemerkenswerterweise stellten die Autoren fest, dass die Initialisierung von Base-Modellen (vor-trainiert, aber nicht nach-trainiert/ausgerichtet) signifikant bessere Leistungen erzielte als der Start von Post-Trained-Counterparts, insbesondere bei argumentationsintensiven Benchmarks. Das Training nutzt eine Lernrate von $4 \times 10^{-5}$ , eine Kontextlänge von 8192 und eine Batch-Größe von 3072 über zwei Epochen.

Zentrale Beiträge

SecKnowledge 2.0 Pipeline: Eine neuartige Datenanreicherungspipeline, die schema-gesteuerte, von Experten definierte Argumentationsformate mit mehrquellenbasierten Dokumenten-Fundierungen kombiniert. Dieser Ansatz liefert im Vergleich zu Standard-Reformatting-Methoden höherwertige, aufgabenbezogene Argumentationspfade.
CyberPal 2.0 Modell-Suite: Eine Familie von Open-Source-SLMs (4B–20B Parameter), die auf Cybersicherheitsoperationen spezialisiert sind und in der Lage sind, Detektion, Untersuchung, Threat Hunting und Datenklassifizierung zu handhaben.
Umfassende Evaluierung: Die Modelle wurden gegen eine rigorose Suite von Benchmarks evaluiert, die Governance, Threat Intelligence, Incident Response und sichere Codegenerierung abdecken, einschließlich Vergleiche mit State-of-the-Art Frontier-Modellen (z. B. GPT-4o, o1, o3-mini, Sec-Gemini v1).

Ergebnisse

Die Evaluierung zeigt, dass die CyberPal 2.0 Modelle ihre Baselines konsistent übertreffen und mit oder sogar besser als wesentlich größere Frontier-Modelle abschneiden:

Baseline-Performance: Über diverse Benchmarks hinweg erzielten die CyberPal 2.0 Modelle durchschnittliche Gewinne von 7–14 % gegenüber ihren jeweiligen Base-Modellen. Bei spezifischen Aufgaben wie CTIBench-RCM (Root Cause Mapping) erreichten die Gewinne 16–31 %.
Vergleich mit Frontier-Modellen:
- Root Cause Mapping (RCM): Das 20B-Parameter-Modell belegte den ersten Platz und übertraf damit Sec-Gemini v1, o1, o3-mini und GPT-4o. Das 4B-Modell belegte den zweiten Platz.
- Cyber Threat Intelligence (CTI) Wissen: Die Modelle belegten den zweiten Platz nur hinter Sec-Gemini v1 und übertrafen fast alle anderen getesteten Frontier-Modelle, einschließlich o1.
- Effizienz: Trotz eines Bruchteils der Größe von Frontier-Modellen entsprach das 20B-Modell deren Leistung oder übertraf sie, während das 4B-Modell signifikant größere Modelle wie Mistral Large und DeepSeek-v3 übertraf.
Reale Anwendungsfälle: In angewandten Workflows, wie der Zuordnung von Threat Reports zu MITRE ATT&CK-Techniken und der Neubewertung von CVE-Schweregraden unter spezifischen Deployment-Constraints, zeigten die Modelle konsistente Verbesserungen gegenüber den Baselines (z. B. +8,75 % Genauigkeit beim Threat-to-TTP Mapping für das 4B-Modell).
Sichere Codegenerierung: Obwohl auf Sicherheitsargumentation spezialisiert, behielten die Modelle robuste Fähigkeiten zur sicheren Codegenerierung bei, wobei die Pass-Raten nahe an ihren Instruction-Tuned-Baselines blieben, was darauf hindeutet, dass die Spezialisierung die Codesicherheit nicht beeinträchtigt hat.

Bedeutung und Ansprüche

Das Paper behauptet, dass CyberPal 2.0 zeigt, dass kompakte, domänenspezifische SLMs Frontier-Level-Fähigkeiten für Sicherheitsoperationen liefern können, ohne die damit verbundenen Frontier-Level-Kosten zu verursachen. Durch die Nutzung der SecKnowledge 2.0 Pipeline – insbesondere der Kombination aus Experten-definierten Argumentationsstrukturen und evidenzbasierten Fundierungen – zeigen die Autoren, dass die Qualität der spezialisierten Daten entscheidender ist als die bloße Skalierung der Modellgröße.

Die Arbeit adressiert die praktischen Einschränkungen von Unternehmen im Sicherheitsbereich und bietet Modelle an, die:

On-Premises einsetzbar sind: Um Datenschutz- und Datenresidenzverpflichtungen zu erfüllen.
Kosteneffizient sind: Um massive Mengen an Sicherheitsdaten effizient zu verarbeiten.
Handlungsorientiert sind: Um fundierte, evidenzbasiert begründete Schlussfolgerungen für die Bedrohungsinvestigation und -reaktion zu liefern.

Die Autoren betonen, dass ihr Ansatz die Datenqualität und die domänenspezifische Ausrichtung über die reine Parameteranzahl priorisiert und somit einen gangbaren Weg für Unternehmen aufzeigt, fortgeschrittene KI für defensive Sicherheitsoperationen einzusetzen. Die Modelle, die Pipeline und die Benchmarks werden als Open Source veröffentlicht, um Reproduzierbarkeit und praktische Anwendung zu fördern.