Technisches Resümee: KI-Slop und Halluzinationen in der Schwachstellenanalyse

1. Problemstellung

Die Integration von Large Language Models (LLMs) in die Cybersicherheits-Schwachstellenanalyse hat eine „Vertrauenswürdigkeitskrise“ ausgelöst, die durch die Proliferation von „KI-Slop“ (KI-Müll) vorangetrieben wird. Im Gegensatz zu herkömmlichen False Positives, die aus konservativen regelbasierten Static Application Security Testing (SAST)-Verfahren resultieren, besteht KI-Slop aus Sicherheitsartefakten (Berichten, Proof-of-Concepts, Patches), die eine hohe linguistische Flüssigkeit und strukturelle Plausibilität aufweisen, aber keine semantische Validität oder ausführbare Fundierung besitzen.

Diese Artefakte umfassen:

• Halluzinierte Schwachstellen: Fabrizierte Common Vulnerabilities and Exposures (CVEs), nicht existierende APIs und unzusammenhängende Ausführungspfade.
• Inkorrekte Patch-Synthese: Korrekturen, die oberflächliche Symptome adressieren, während sie die Ursachen ignorieren, oder Patches, die neue Regressionen einführen.
• Semantische Umverpackung: Die Transformation von bestehendem Wissen oder „silent“ (nicht veröffentlichten) Fixes in scheinbar neuartige, autoritative Berichte.

Dieses Phänomen erzeugt eine kognitive Belastung für menschliche Triage-Pipelines, die einem Denial-of-Service (DoS)-Angriff gleicht. Das Kernproblem ist eine fundamentale Argumentationslücke (Reasoning Gap): Menschliche Sicherheitsexperten verlassen sich auf kausale, mehrstufige deduktive Logik, die auf Systembeschränkungen basiert, während autoregressive LLMs über statistische Korrelationen mittels probabilistischer Token-Generierung operieren. Wenn Informationen die Argumentationshorizonte eines LLM überschreiten, weicht das Modell auf statistisch plausible Fortsetzungen aus statt auf verifizierte Fakten zurück.

2. Methodik

Die Arbeit verwendet eine systematische Literaturrecherche und konzeptionelle Analyse, um empirische Belege zu sammeln und das Problem zu formalisieren.

• Literaturrecherche: Die Autoren durchsuchten IEEE Xplore, ACM Digital Library und arXiv unter Verwendung von LLM- und sicherheitsbezogenen Schlüsselwörtern. Zwei unabhängige Reviewer screenten die Ergebnisse und behielten Studien mit empirischen Belegen für LLM-Fehlermodi im Sicherheitskontext ein.
• Taxonomie-Konstruktion: Die Fehler wurden basierend auf der Art des Argumentationsfehlers in drei Hauptzweige kategorisiert.
• Gap-Analyse: Die Arbeit kontrastiert menschliche kognitive Modelle (deduktiv, invarianten-bewahrend) mit den architektonischen Beschränkungen von LLMs (probabilistisch, kontextfenster-limitiert).
• Metrik-Vorschlag: Die Autoren operationalisieren die Argumentationslücke durch einen messbaren Proxy, den Deductive Coverage Score (DCS), und schlagen neue Evaluierungsinstrumente (CVE-Bench, Slop-Score) vor.
• Architektur-Review: Bestehende Minderungsstrategien (passive Detektion, Watermarking) werden überprüft und kritisiert, gefolgt von einem Vorschlag für aktive neuro-symbolische Verifizierungsarchitekturen.

3. Zentrale Beiträge

A. Formalisierung und Taxonomie von KI-Slop

Das Paper definiert KI-Slop im Kontext der Cybersicherheit und etabliert eine Taxonomie, die aus drei distinkten Fehlermodi besteht:

1. Halluzinierte Schwachstellen: Das Modell erfindet Mängel (z. B. fabrikierte CVEs, nicht existierende APIs), um den Erwartungen des Prompts zu entsprechen. Dies beinhaltet sycophantische Halluzination (das Finden von Bugs in sicherem Code) und Token-Bias Confounding (die Verschiebung des Urteils basierend auf oberflächlichen Syntaxänderungen).
2. Inkorrekte Patch-Synthese: Modelle generieren Patches, die kompilieren und oberflächliche Prüfungen bestehen, aber das zugrunde liegende Problem nicht lösen oder neue Sicherheitsregressionen einführen (z. B. den Austausch einer CWE gegen eine andere).
3. Semantische Umverpackung: Modelle formen bestehende Informationen (einschließlich „silent fixes“ aus Open-Source-Commits) in „neuartige“ Berichte um. Dies nutzt das Fehlen öffentlicher Ground Truth für nicht veröffentlichte Fixes aus, wodurch die umverpackten Behauptungen durch auf Nachschlagen basierende Validierung unentdeckbar werden.

B. Analyse der Argumentationslücke (Reasoning Gap)

Das Paper identifiziert die Ursache als die Divergenz zwischen menschlicher deduktiver Logik und LLM-probabilistischer Generierung:

• Menschliche Experten: Bauen mentale Modelle auf, verfolgen den Datenfluss über prozedurale Grenzen hinweg und verifizieren Constraints. Sie begegnen Befunden mit Skepsis, bis diese bewiesen sind.
• LLMs: Schätzen Token-Wahrscheinlichkeiten basierend auf Trainingsverteilungen. Sie fügen bekannte Muster (API-Aufrufe, Variablennamen) zusammen, ohne einen einzigen Ausführungspfad zu verifizieren.
• Limitierungen aktueller Minderungsstrategien: Die Autoren argumentieren, dass Chain-of-Thought (CoT) Prompting und Tool-nutzende Agenten die Lücke zwar verengen, aber nicht schließen. CoT führt oft zu längeren, aber ebenso inkorrekten Argumentationsketten, und die Nutzung von Tools führt oft zu „Tool-Use Confabulation“, bei der Agenten Tool-Outputs fehlinterpretieren.

C. Kritik an passiver Detektion und Watermarking

Das Paper argumentiert, dass aktuelle Minderungsstrategien, die auf die Provenienz (Bestimmung, ob ein Text von einer Maschine geschrieben wurde) abzielen, nicht mit der Anforderung der Korrektheit übereinstimmen.

• Statistische Detektion: Scheitert, da Sicherheitsberichte inhärent formelhaft sind (geringe lexikalische Diversität), was zu hohen False Positives bei von Menschen geschriebenen Berichten führt.
• Watermarking: Ist inkompatibel mit Sicherheitslogik; das Erzwingen von wassermarkierten Token-Selektionen in beschränkten Code-Domänen bricht oft die Logik oder erzeugt ungültige Payloads.

D. Vorgeschlagene Lösungen und Evaluierungsinstrumente

• Neuro-symbolische Verifizierung: Die Autoren plädieren für eine Architektur, in der LLMs als Hypothesengeneratoren fungend, deren Outputs einer deterministischen Verifizierung (Statische Analyse, Dynamisches Fuzzing, Symbolische Ausführung) unterzogen werden, bevor sie menschliche Analysten erreichen.
• Deductive Coverage Score (DCS): Eine Metrik, die quantifiziert, inwiewem eine Schwachstellenbehauptung in expliziten, verifizierbaren Belegen (z. B. spezifische Code-Referenzen, Ausführungstraces) gegenüber statistischer Interpolation fundiert ist.
• CVE-Bench: Ein Benchmark, der darauf ausgelegt ist, die Fähigkeit von Triage-Systemen zu testen, fundierte Berichte von flüssigen, Phantom-Exploit-Pfaden zu trennen, unter Verwendung von ausführungsvalidierter Ground Truth.
• Slop-Score: Eine kontinuierliche Metrik, die die Lücke zwischen linguistischer Flüssigkeit und verifizierbarer Substanz quantifiziert und Artefakte bestraft, die zwar flüssig sind, aber eine geringe Evidenzdichte oder mangelnde Constraint-Erfüllung aufweisen.

4. Ergebnisse und Erkenntnisse

• Empirische Belege: Die Untersuchung hebt hervor, dass etwa 20 % der Berichte in einigen Bug-Bounty-Programmen (z. B. HackerOne Mitte 2025) als qualitativ minderwertiger KI-Slop identifiziert wurden, was zur Einstellung bestimmter Programme (z. B. des cURL-Bounty-Programms im Jahr 2026) führte, da eine Unterscheidung zwischen validen Berichten und KI-generiertem Rauschen nicht mehr möglich war.
• Fundierungsdefizit: Eine Überprüfung repräsentativer Arbeiten (Tabelle 1) zeigt, dass keine Studie eine Validierung auf Ausführungsebene der LLM-Outputs bereitstellt. Die stärkste Fundierung, die gefunden wurde, ist die Kompilierprüfung oder statische Analyse, welche weit unter den Anforderungen strenger Sicherheitsargumentation liegt.
• Versagen partieller Brücken: Während Werkzeuge wie ReAct und Retrieval-Augmented Generation (RAG) faktische Halluzinationen (z. B. Erfindung nicht existenter CVEs) reduzieren, scheitern sie an logischen Halluzinationen (dem Ziehen kausal inkorrekter Schlüsse aus korrekten Fakten).

5. Bedeutung und Ansprüche

Das Paper positioniert sich als Survey, konzeptionelle Analyse und Roadmap. Seine primäre Bedeutung liegt in der Verschiebung des Evaluationsparadigmas von linguistischer Flüssigkeit hin zu mathematischer Verifizierbarkeit.

• Strukturelles Versagen: Die Autoren behaupten, dass KI-Slop nicht bloß ein Performance-Problem ist, sondern ein strukturelles Versagen, bei dem probabilistische Generierung die Stelle von kausaler Verifizierung einnimmt.
• Vertrauenswürdigkeit: Vertrauen in KI-gestützte Triage kann nicht allein durch besseres Prompting oder Provenance-Tracking erreicht werden. Es bedarf einer aktiven neuro-symbolischen Verifizierung, die jede Pipeline-Komponente auf Systeme mit dokumentierten Limits abbildet (z. B. die Pfadexplodierungs-Limits der symbolischen Ausführung).
• Zukünftige Ausrichtung: Das Paper schließt mit dem Argument, dass vertrauenswürdige KI in der Cybersicherheit aus Systemen entstehen wird, die die Generierung als Ausgangspunkt einer Verifizierungspipeline betrachten und sicherstellen, dass das menschliche Urteil erst nach dem Überstehen deterministischer Tests angewendet wird. Die vorgeschlagenen Metriken (DCS, Slop-Score) und Benchmarks (CVE-Bench) sollen die notwendige Infrastruktur bereitstellen, um dieses strukturelle Versagen aus dem System zu eliminieren.