Evaluating Large Language Models for Multilingual Vulnerability Detection at Dual Granularities

Diese Studie zeigt, dass durch Instruction Tuning und Few-Shot-Prompting optimierte Large Language Models (LLMs) wie GPT-4o bei der Erkennung von Sicherheitslücken in mehreren Programmiersprachen und auf unterschiedlichen Granularitätsebenen (Funktion und Zeile) deutlich besser abschneiden als bisherige Pre-trained Language Models (PLMs).

Das Wesentliche

🕵️‍♂️ Die große Jagd nach digitalen Löchern: Wie KI Software sicher macht

Stellen Sie sich vor, Software ist wie ein riesiges Schloss mit Millionen von Türen. Manche dieser Türen sind sicher, aber andere haben versteckte Risse oder Schlösser, die leicht zu knacken sind. Diese Risse nennen wir Sicherheitslücken (Vulnerabilities). Hacker lieben diese Lücken, um ins Schloss einzubrechen.

Früher haben Menschen diese Lücken mühsam gesucht. Später kamen Computerprogramme (KI-Modelle), die wie Schulabgänger waren: Sie hatten viel gelernt, aber nur aus einem einzigen Fachbuch (z. B. nur C++). Wenn sie dann plötzlich auf ein Buch in einer anderen Sprache (wie Python oder Java) stießen, waren sie oft ratlos.

Diese neue Studie fragt sich: Was passiert, wenn wir den "Super-Schüler" (eine moderne große KI, ein LLM) nehmen und ihn in allen Sprachen gleichzeitig testen?

🧪 Das Experiment: Ein riesiger Testlauf

Die Forscher haben sich nicht auf eine einzige Programmiersprache beschränkt. Sie haben einen riesigen Datensatz mit über 30.000 echten Sicherheitslücken aus sieben verschiedenen Sprachen (C, C++, Java, Python, Go, JavaScript, C#) gesammelt.

Sie haben zwei Arten von KI-Modellen getestet:

1. Die "Spezialisten" (PLMs): Das sind wie gut ausgebildete Handwerker, die seit Jahren an einem bestimmten Werkzeug arbeiten. Sie kennen ihre Sprache gut, aber sie sind stur.
2. Die "Genies" (LLMs): Das sind wie die neuen Super-KIs (z. B. GPT-4o), die alles gelesen haben, was im Internet über Code existiert. Sie sind sehr schlau, aber man muss sie manchmal erst richtig anleiten.

Die Forscher haben die KIs auf zwei Arten getestet:

• Auf der "Funktions-Ebene": "Ist dieses ganze Zimmer (die Funktion) unsicher?" (Grob).
• Auf der "Zeilen-Ebene": "Wo genau in diesem Zimmer ist das Loch?" (Fein).

🏆 Die Ergebnisse: Wer gewinnt?

Hier kommt das Überraschungsergebnis:

1. Der Spezialist ist okay, aber der Genie-Schüler ist besser.
Die alten "Spezialisten" (wie CodeT5P) waren solide, aber sie hatten Schwierigkeiten, wenn die Sprache wechselte. Sie waren wie ein Koch, der nur Pizza macht. Wenn man ihn bittet, Sushi zu kochen, wird es chaotisch.

Der GPT-4o (der "Genie-Schüler") hat jedoch alle anderen Modelle geschlagen – aber nur unter einer Bedingung.

2. Der Trick: "Anleitung" und "Beispiele"
Wenn man dem Genie-Schüler einfach nur sagt: "Suche nach Fehlern!" (das nennt man Zero-Shot), ist er oft verwirrt und macht viele Fehler. Er ist wie ein Genie, das gerade aufgewacht ist und noch nicht weiß, was es tun soll.

Aber wenn man ihm zwei Dinge gibt, wird er zum Superhelden:

• Anleitung (Instruction Tuning): Man sagt ihm genau, wie er denken soll.
• Beispiele (Few-Shot): Man zeigt ihm drei Beispiele: "Schau, hier ist ein Fehler, hier ist kein Fehler."

Mit diesen beiden Tricks hat GPT-4o nicht nur alle anderen KIs besiegt, sondern auch die alten Spezialisten. Er konnte Fehler in allen sieben Sprachen finden und sogar genau sagen, in welcher Zeile das Loch sitzt.

🧠 Was haben wir noch gelernt? (Die kleinen Details)

• Größe ist nicht alles: Man dachte vielleicht, eine riesige KI (mit 70 Milliarden Parametern) wäre automatisch besser als eine kleinere. Das stimmt hier nicht ganz. Manchmal ist die "richtige Anleitung" wichtiger als die reine Größe des Gehirns.
• Denken hilft, aber nicht immer: Es gibt neue KIs, die "nachdenken" (Reasoning Models), bevor sie antworten. Das ist wie jemand, der erst eine Checkliste durchgeht. Das war bei der groben Suche (Funktions-Ebene) etwas besser, aber bei der feinen Suche (Zeilen-Ebene) brachte es keinen großen Vorteil.
• Kosten: Die "Genie-KIs" kosten Geld (man muss sie über die Cloud nutzen). Die "Spezialisten" kann man auf einem normalen Computer laufen lassen. Für große Firmen lohnt sich die teure KI oft, aber für kleine Firmen mit wenig Budget sind die günstigeren Spezialisten immer noch eine gute Wahl.

💡 Die große Lektion

Die Studie zeigt uns, dass wir für die Sicherheit unserer Software in der Zukunft nicht mehr nur auf einen Spezialisten setzen sollten.

Stellen Sie sich vor, Sie haben ein Haus mit vielen verschiedenen Räumen (verschiedene Programmiersprachen). Früher hatten Sie einen Wächter, der nur den Keller kannte. Jetzt haben wir einen Wächter (GPT-4o mit Anleitung), der alle Räume kennt und genau weiß, wo das Schloss klemmt.

Fazit: Wenn wir den modernen KI-Robotern die richtigen Anweisungen geben und ein paar Beispiele zeigen, können sie unsere Software viel besser vor Hackern schützen als alles, was wir bisher hatten. Sie sind wie ein Meisterdetektiv, der plötzlich alle Sprachen der Welt fließend spricht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Evaluating Large Language Models for Multilingual Vulnerability Detection at Dual Granularities" auf Deutsch:

1. Problemstellung und Motivation

Software-Schwachstellen stellen ein erhebliches Risiko für die Sicherheit von Systemen dar. Während automatisierte Schwachstellenerkennung (AVD) bereits mit regelbasierten, maschinellen Lern- und Deep-Learning-Ansätzen (insbesondere Pre-trained Language Models, PLMs) untersucht wurde, bestehen in der aktuellen Forschung drei kritische Lücken:

1. Spracheinschränkung: Die meisten Studien konzentrieren sich ausschließlich auf einzelne Sprachen (hauptsächlich C/C++), obwohl moderne Software-Systeme oft polyglott sind (z. B. Python, Go, Java).
2. Granularitätsmangel: Die Evaluierung erfolgt meist nur auf Funktionsebene. Eine präzise Lokalisierung auf Zeilenebene (Line-Level) ist für Entwickler jedoch essenziell, bleibt aber im multilingualen Kontext weitgehend unerforscht.
3. Unzureichende Generalisierung: Es ist unklar, ob die in großen multilingualen Korpora vortrainierten Large Language Models (LLMs) tatsächlich Schwachstellen-Semantik über verschiedene Paradigmen hinweg verstehen oder lediglich Syntaxmuster auswendig gelernt haben.

Ziel der Studie ist es, die Effektivität von State-of-the-Art PLMs und LLMs für die Erkennung von Schwachstellen in sieben Programmiersprachen (C, C#, C++, Go, Java, JavaScript, Python) auf zwei Granularitätsebenen (Funktions- und Zeilenebene) systematisch zu bewerten.

2. Methodik und Studiendesign

Datensatz:
Die Autoren nutzen den REEF-Datensatz, der 30.987 Patches zu 4.466 CVEs umfasst.

• Funktionslevel: 20.165 Funktionen (vulnerabel vs. nicht-vulnerabel).
• Zeilenebene: 8.134 vulnerable Funktionen, bei denen spezifische Zeilen durch Differenzanalyse (Diff) identifiziert wurden.
• Die Daten wurden in Trainings-, Validierungs- und Testsets (8:1:1) stratifiziert aufgeteilt, um die Sprachverteilung zu erhalten.

Modell-Architekturen:

• PLMs (Pre-trained Language Models): CodeBERT, CodeT5, CodeT5P, UniXCoder, LineVul sowie OpenAI Text-Embedding-Modelle. Diese wurden überwiegend für die binäre Klassifizierung feinabgestimmt (Fine-Tuning).
• LLMs (Large Language Models):
  • Open-Source: DeepSeek-Coder (6.7B), Code Llama (7B), Llama 3 (8B).
  • Closed-Source: GPT-3.5-Turbo, GPT-4o.
  • Strategien: Zero-Shot Prompting, Few-Shot Prompting (mit BM25-basierter Beispielwahl) und Instruction Tuning (mittels LoRA/Parameter-Efficient Fine-Tuning).

Experimenteller Aufbau:
Die Studie vergleicht die Modelle unter verschiedenen Bedingungen (ohne Feinabstimmung, mit Instruction Tuning, kombiniert mit Prompting). Als Metriken dienen Accuracy, Precision, Recall, F1-Score, FPR, FNR, MCC und AUC. Zusätzlich wurden Analysen zur Einzigartigkeit der Erkennung (Orthogonalität), zur Detektion der Top-25 gefährlichsten CWEs und zur Schweregradverteilung (CVSS) durchgeführt.

3. Wichtige Beiträge

1. Umfassende Evaluierung: Erster systematischer Vergleich von PLMs und LLMs über sieben Sprachen hinweg auf zwei Granularitätsebenen.
2. Strategie-Vergleich: Detaillierte Analyse des Einflusses von Zero-Shot, Few-Shot und Instruction Tuning auf die Leistung.
3. Feingranulare Analyse: Untersuchung der Stärken und Schwächen der Modelle hinsichtlich einzigartiger korrekter/fehlerhafter Detektionen, spezifischer CWE-Typen und Schweregrade.
4. Kosten-Nutzen-Analyse: Bewertung der Deploymentskosten (TCO) von API-basierten LLMs gegenüber lokal gehosteten PLMs.
5. Open Source: Bereitstellung eines vollständigen Replikationspakets mit Daten und Code.

4. Ergebnisse

Funktionslevel-Erkennung (RQ1):

• PLMs: CodeT5P erzielte die beste Leistung unter den PLMs (Accuracy: 0,6037), übertraf aber nur geringfügig andere Modelle.
• LLMs ohne Anpassung: Reines Zero-Shot oder Few-Shot Prompting führte bei den meisten LLMs zu Ergebnissen nahe dem Zufallsniveau (Accuracy ~0,50).
• LLMs mit Anpassung: GPT-4o in Kombination mit Instruction Tuning und Few-Shot Prompting erzielte mit Abstand die besten Ergebnisse (Accuracy: 0,7196, F1-Score: 0,7069). Dies war ein signifikanter Sprung gegenüber CodeT5P (+19,20% Accuracy) und allen anderen LLMs.
• GPT-4o zeigte die robusteste Leistung über alle sieben Sprachen hinweg.

Zeilenebenen-Erkennung (RQ2):

• Aufgrund des Klassenungleichgewichts (viele nicht-vulnerable Zeilen) ist der F1-Score die primäre Metrik.
• CodeT5P war der beste PLM (F1-Score: 0,4841).
• GPT-4o mit Instruction Tuning und Few-Shot Prompting erreichte erneut die Spitzenleistung mit einem F1-Score von 0,6641.
• Besonders hervorzuheben ist die hohe Präzision von GPT-4o (0,7012), was bedeutet, dass es deutlich weniger False Positives produziert als PLMs, während es dennoch eine hohe Trefferquote bei den vulnerablen Zeilen hat.

Tiefenanalyse (RQ3):

• Einzigartige Erkennung: GPT-4o (IT+FSP) detektierte viele Schwachstellen, die von PLMs übersehen wurden, und machte dabei kaum eigene Fehler (insbesondere auf Zeilenebene: 0 einzigartige falsche Detektionen).
• Gefährliche CWEs: Das Modell erkannte die Top-25 gefährlichsten CWEs (z. B. SQL Injection, Out-of-bounds Write) signifikant besser als alle anderen Modelle.
• Schweregrad: GPT-4o war besonders effektiv bei der Erkennung von High- und Critical-Schwachstellen.
• Modellgröße & Reasoning: Größere Modelle (70B Parameter) oder Reasoning-LLMs (wie DeepSeek-R1) brachten keine signifikanten Verbesserungen im Vergleich zu kleineren, gut abgestimmten Modellen wie GPT-4o. Reasoning-LLMs waren nur marginal besser als Zufall und rechtfertigten den höheren Inferenzaufwand nicht.

Kosten und Deployment:

• PLMs sind bei lokaler Bereitstellung (Consumer-GPUs) kosteneffizienter für große Skalierungen.
• LLMs (via API) haben höhere operative Kosten, bieten aber eine bessere Skalierbarkeit und Leistung, insbesondere für die Zeilenebenen-Erkennung. Der Break-Even-Point für lokale Hardware liegt nach ca. 58 Fine-Tuning-Läufen.

5. Bedeutung und Fazit

Diese Studie belegt, dass Large Language Models, wenn sie durch Instruction Tuning und Few-Shot Prompting angepasst werden, die bestehenden Pre-trained Language Models (PLMs) bei der multilingualen Schwachstellenerkennung deutlich übertreffen.

• Praktische Relevanz: GPT-4o ist nicht nur genauer, sondern auch präziser (weniger False Positives), was für die Integration in Entwickler-Workflows entscheidend ist.
• Paradigmenwechsel: Die Ergebnisse zeigen, dass LLMs in der Lage sind, Schwachstellen-Semantik über verschiedene Programmiersprachen hinweg zu generalisieren, was bisherige Annahmen in Frage stellt.
• Empfehlung: Für Organisationen mit Ressourcen und Datenschutzanforderungen ist ein hybrides Vorgehen oder der Einsatz von PLMs (wie CodeT5P) sinnvoll. Für maximale Genauigkeit, insbesondere bei der Lokalisierung von Schwachstellen auf Zeilenebene in heterogenen Codebasen, sind angepasste LLMs (GPT-4o) die überlegene Wahl.

Die Arbeit liefert damit eine fundierte Grundlage für die Weiterentwicklung von Sicherheitswerkzeugen und hebt die Notwendigkeit hervor, über reine Funktionsklassifizierung hinaus zur feingranularen Zeilenerkennung zu wechseln.