Seclens: Role-specific Evaluation of LLM's for security vulnerablity detection
Die Arbeit stellt SecLens-R vor, ein Evaluierungsframework, das die Leistung von KI-Modellen bei der Erkennung von Sicherheitslücken nicht durch eine einzelne Metrik, sondern durch rollenspezifische Gewichtungen verschiedener Stakeholder (wie CISO oder Engineering-Leiter) bewertet und dabei erhebliche Unterschiede in den Ergebnissen je nach Perspektive aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie müssen ein neues Auto für Ihre Firma kaufen. Die Hersteller geben Ihnen eine einzige Zahl: „Dieses Auto hat 95 Punkte." Klingt toll, oder?
Aber warten Sie mal.
- Der Leiter der Sicherheitsabteilung fragt: „Ist es sicher genug, um bei Eis und Schnee nicht zu rutschen?"
- Der Flottenmanager fragt: „Wie viel Benzin verbraucht es und kostet es nicht zu viel?"
- Der Marketing-Chef fragt: „Sieht es cool aus und ist es schnell?"
Wenn das Auto 95 Punkte hat, aber auf Eis rutscht, ist es für den Sicherheitsleiter ein Totalverlust. Wenn es aber super sicher, aber extrem langsam und teuer ist, ist es für den Marketing-Chef nutzlos.
Genau dieses Problem lösen die Autoren des Papers „SecLens" (Sicherheits-Linse).
Das Problem: Der eine falsche „Gesamtpunktzahl"
Bisher haben Tests für künstliche Intelligenz (KI), die Sicherheitslücken in Computercode finden, immer nur eine einzige Zahl ausgegeben. Das ist wie der Gesamtpunktschnitt eines Schülers. Er sagt Ihnen, ob der Schüler „gut" ist, aber nicht, ob er gut in Mathe (für den Ingenieur) oder gut in Geschichte (für den Sicherheitschef) ist.
Für Unternehmen ist das verwirrend. Ein KI-Modell, das in der Rangliste ganz oben steht, könnte für den Sicherheitschef katastrophal sein, weil es die gefährlichsten Fehler übersieht, aber für den Ingenieur perfekt, weil es keine falschen Alarme auslöst.
Die Lösung: SecLens – Die „Brille" für jeden Blickwinkel
Die Autoren haben eine neue Methode namens SecLens-R entwickelt. Statt einer einzigen Zahl geben sie fünf verschiedene Bewertungen ab, je nachdem, wer die KI nutzt. Sie stellen sich vor, dass fünf verschiedene Personen durch eine spezielle Brille auf die KI schauen:
- Der Sicherheitschef (CISO): Sein Fokus liegt auf Sicherheit. Er will keine einzigen schweren Fehler übersehen, auch wenn die KI dabei viele falsche Alarme macht. Er fragt: „Kann ich dieser KI mein Leben (oder das Firmengeheimnis) anvertrauen?"
- Der KI-Chef (CAIO): Er denkt an Kosten und Nutzen. „Lohnt sich das Geld? Kann die KI Aufgaben automatisch erledigen?"
- Der Sicherheitsforscher: Er ist ein Detektiv. Er will wissen, ob die KI wirklich versteht, warum etwas unsicher ist, und nicht nur zufällig Glück hat.
- Der Ingenieur-Chef: Er will Ruhe im Team. Er hasst falsche Alarme. Wenn die KI sagt „Hier ist ein Fehler", muss es einer sein. Er will, dass die Arbeit schnell geht und nicht durch unnötige Warnungen gestoppt wird.
- Der „KI als Agent": Hier wird geprüft, ob die KI zuverlässig ist. Stürzt sie ab? Versteht sie Anweisungen? Kann sie allein arbeiten?
Was haben sie herausgefunden? (Die überraschenden Ergebnisse)
Die Forscher haben 12 der besten aktuellen KI-Modelle getestet. Das Ergebnis war schockierend: Dasselbe Modell kann je nach Brille völlig unterschiedlich bewertet werden.
Beispiel 1: Qwen3-Coder
- Für den Ingenieur-Chef: Eine A (76 Punkte). Er ist glücklich, weil die KI kaum falsche Alarme macht.
- Für den Sicherheitschef: Eine D (45 Punkte). Der Chef ist wütend, weil die KI die wirklich gefährlichen Fehler einfach ignoriert.
- Unterschied: 31 Punkte! Das ist wie der Unterschied zwischen einem „Sehr gut" und einem „Durchschnitt".
Beispiel 2: GPT-5.4
- Für den Ingenieur: Eine A.
- Für den Sicherheitschef: Eine D.
- Warum? Diese KI ist sehr vorsichtig. Sie sagt lieber „Alles gut", als einen Fehler zu riskieren. Das ist für Ingenieure toll (wenig Arbeit), aber für Sicherheitschefs fatal (gefährliche Lücken bleiben offen).
Beispiel 3: Claude Haiku 4.5
- Diese KI landete in der allgemeinen Rangliste nur auf Platz 8. Aber für den Sicherheitschef war sie die Zweite! Warum? Weil sie sehr gründlich nach Fehlern sucht, auch wenn sie manchmal etwas langsamer ist.
Die Metapher: Der Werkzeugkasten
Stellen Sie sich die KI-Modelle wie verschiedene Werkzeuge vor:
- Ein Hammer ist perfekt, um Nägel einzuschlagen (gut für den Ingenieur, der klare Ergebnisse will).
- Ein Mikroskop ist perfekt, um winzige Risse zu finden (gut für den Sicherheitschef, der nichts übersehen will).
Früher sagten die Tests: „Der Hammer ist das beste Werkzeug (95 Punkte)."
SecLens sagt: „Halt! Wenn Sie Risse finden wollen, ist der Hammer schlecht. Wenn Sie Nägel einschlagen wollen, ist das Mikroskop zu langsam. Wählen Sie das Werkzeug passend zum Job!"
Was bedeutet das für die Zukunft?
Die Botschaft des Papers ist einfach: Es gibt nicht „die eine beste KI" für Sicherheit.
Wenn eine Firma eine KI kaufen will, muss sie sich fragen: „Wer wird sie nutzen?"
- Brauchen wir jemanden, der alles findet (auch wenn es viele Fehlalarme gibt)? -> Sicherheitschef-Modell.
- Brauchen wir jemanden, der schnell und präzise ist, ohne das Team zu nerven? -> Ingenieur-Modell.
Die Autoren haben ihre Methode als Open-Source-Software veröffentlicht. Das bedeutet, jede Firma kann ihre eigene „Brille" (Gewichtung) einstellen, um genau das Modell zu finden, das zu ihren spezifischen Bedürfnissen passt.
Kurz gesagt: Hören Sie auf, auf eine einzige Zahl zu schauen. Schauen Sie durch die richtige Brille, um das richtige Werkzeug für Ihren Job zu finden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.