Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning

Diese Studie stellt eine hybride, konfidenzbasierte selektive Replay-Methode (Hybrid-CASR) vor, die das katastrophale Vergessen bei der zeitlichen Feinabstimmung von LLMs zur Software-Schwachstellenerkennung effektiv reduziert und dabei eine überlegene Genauigkeit sowie Recheneffizienz im Vergleich zu herkömmlichen Ansätzen bietet.

Das Wesentliche

Stell dir vor, du bist ein digitaler Detektiv, dessen Aufgabe es ist, versteckte Fallen (Schwachstellen) in Computerprogrammen zu finden, bevor Hacker sie ausnutzen können. Das Problem ist: Die Welt der Computerprogramme verändert sich ständig. Neue Programme entstehen, alte werden aktualisiert, und Hacker erfinden jeden Tag neue Tricks.

Dieser wissenschaftliche Artikel beschreibt ein Experiment, bei dem Forscher einen sehr klugen, aber noch nicht perfekten KI-Assistenten (eine sogenannte "Large Language Model" oder LLM, ähnlich wie ein super-intelligenter Chatbot) trainieren, um diese Fallen zu erkennen.

Hier ist die Geschichte, wie sie funktioniert, einfach erklärt:

1. Das Problem: Der "Vergessliche Schüler"

Stell dir vor, du hast einen Schüler, der sehr gut darin ist, Fallen in alten Programmen zu finden. Aber wenn du ihm neue, aktuelle Programme zeigst, um ihn zu verbessern, vergisst er plötzlich alles, was er über die alten Programme wusste.

In der KI-Welt nennt man das "katastrophales Vergessen".

• Die alte Methode: Man trainiert den Schüler nur auf den neuesten Daten. Er wird gut darin, heute zu arbeiten, aber er verliert sein Wissen über gestern.
• Die teure Methode: Man lässt den Schüler alle Daten von Anfang an (seit 2018) immer wieder durchgehen. Das funktioniert gut, ist aber so langsam und teuer, als würde man versuchen, ein ganzes Bibliotheksbuch jeden Tag neu zu lesen, nur um eine neue Seite zu verstehen.

2. Die Lösung: Der "Hybride Gedächtnis-Trainer" (Hybrid-CASR)

Die Forscher haben eine neue, clevere Methode entwickelt, die sie Hybrid-CASR nennen. Stell dir das wie einen sehr erfahrenen Trainer vor, der den Schüler nicht einfach nur mit neuen Aufgaben überflutet, sondern strategisch vorgeht:

• Der "Zweifel-Filter": Der Trainer schaut sich an, bei welchen Aufgaben der Schüler unsicher ist oder Fehler macht. Diese schwierigen Fälle werden besonders oft geübt. (Wie ein Lehrer, der sich auf die Aufgaben konzentriert, bei denen der Schüler hakt).
• Der "Ausgewogenheit-Check": In der Welt der Software gibt es viel mehr "sichere" Programme als "unsichere" (mit Fehlern). Wenn der Trainer nur die unsicheren Fälle übt, vergisst der Schüler, wie ein sicherer Code aussieht. Der Trainer sorgt also dafür, dass immer eine ausgewogene Mischung aus sicheren und unsicheren Beispielen geübt wird.

Die Analogie:
Stell dir vor, du lernst Autofahren.

• Die alte Methode wäre, nur auf einer neuen, rutschigen Straße zu üben. Du wirst gut darin, auf Rutschbahn zu fahren, aber du vergisst, wie man auf trockener Straße sicher bremst.
• Die teure Methode wäre, jeden Tag die gesamte Fahrlehrer-Ausbildung von vorne bis hinten zu wiederholen.
• Die neue Methode (Hybrid-CASR) ist wie ein Coach, der sagt: "Du hast auf der Rutschbahn Probleme, also üben wir das. Aber wir üben auch ein paar Mal auf trockener Straße, damit du nicht vergisst, wie sich normales Fahren anfühlt."

3. Was haben die Forscher herausgefunden?

• Zeit ist nicht alles: Es war überraschend, dass es fast egal ist, ob man den Schüler wöchentlich, monatlich oder alle zwei Monate trainiert. Die Leistung war in allen Fällen fast gleich gut. Es ist also nicht nötig, ständig zu trainieren; ein guter Rhythmus reicht.
• Qualität vor Quantität: Die Methode, bei der der Coach nur die wichtigsten und schwierigsten Beispiele aus der Vergangenheit aussucht (Hybrid-CASR), war besser als das ständige Wiederholen aller alten Daten. Sie war auch schneller und günstiger.
• Kein Wundermittel: Die KI wird zwar besser, aber sie ist nicht perfekt. Sie findet etwa 66 % der Fallen richtig. Das ist eine Verbesserung, aber es bedeutet immer noch, dass Menschen (Sicherheitsexperten) die Ergebnisse überprüfen müssen. Die KI ist ein Assistent, kein Ersatz für den Menschen.

4. Warum ist das wichtig?

In der echten Welt werden Software-Updates ständig veröffentlicht. Wenn Sicherheits-Tools nicht mit dieser Geschwindigkeit mithalten können und dabei das alte Wissen vergessen, werden sie nutzlos.

Diese neue Methode zeigt, wie man einen KI-Assistenten kontinuierlich und effizient weiterbilden kann, ohne dass er vergisst, was er schon gelernt hat, und ohne dass es die ganze Firma an Geld kostet. Es ist wie ein lernfähiger Mitarbeiter, der jeden Monat ein paar Stunden Fortbildung macht, aber dabei sein gesamtes Erfahrungswissen behält.

Zusammenfassend:
Die Forscher haben einen cleveren Weg gefunden, wie eine KI im Bereich Cybersicherheit "mitwachsen" kann, ohne zu vergessen, was sie gelernt hat. Sie nutzen einen "intelligenten Gedächtnis-Trainer", der genau weiß, was geübt werden muss, und sparen dabei Zeit und Rechenleistung. Es ist ein wichtiger Schritt hin zu sichereren Software-Systemen in einer sich ständig verändernden digitalen Welt.

Technische Zusammenfassung

1. Problemstellung

Software-Schwachstellen stellen eine kritische Bedrohung dar, wobei die Anzahl der gemeldeten CVEs (Common Vulnerabilities and Exposures) von ca. 400 pro Monat im Jahr 2018 auf über 2.000 im Jahr 2024 angestiegen ist. Herkömmliche statische Analysewerkzeuge leiden unter hohen False-Positive-Raten (>80 %).

Zwar zeigen Large Language Models (LLMs) vielversprechende Ergebnisse bei der Erkennung von Schwachstellen, doch die meisten bisherigen Evaluierungen nutzen zufällige Train-Test-Splits, die den zeitlichen Aspekt ignorieren. Dies führt zu Datenlecks und einer Überschätzung der Leistung in der realen Welt. In der Praxis müssen Detektoren auf sich ständig weiterentwickelnden Codebasen eingesetzt werden, was zu Konzeptdrift (Änderung der Datenverteilung über die Zeit) führt.

Das Hauptproblem ist das katastrophale Vergessen (Catastrophic Forgetting) beim kontinuierlichen Lernen (Continual Learning, CL): Wenn Modelle nur auf neuen Daten trainiert werden, verlieren sie oft das Wissen über frühere Schwachstellenmuster. Zudem bestehen Herausforderungen durch starke Klassenungleichgewichte (viele „gefixte" vs. wenige „verwundbare" Funktionen) und Rechenbeschränkungen, die ein vollständiges Neutrainieren auf allen historischen Daten oft unpraktisch machen.

2. Methodik

Datensatz und Zeitrahmen:

• Der Datensatz basiert auf CVE-Einträgen von 2018 bis 2024, verknüpft mit Fix-Commits über die Datenbank CVEfixes.
• Die Daten sind in zwei-monatliche Fenster (bi-monthly windows) unterteilt, was insgesamt 42 aufeinanderfolgende Perioden ergibt.
• Es werden nur Funktionen in C/C++ betrachtet, um Homogenität zu gewährleisten.
• Ein striktes Forward-Chaining-Protokoll wird angewendet: Modelle werden nur auf Daten trainiert, die zum Zeitpunkt $t$ bekannt waren, um Vorhersagen für $t+1$ zu treffen. Dies verhindert zeitliche Datenlecks.

Modellarchitektur:

• Als Basis dient das microsoft/phi-2 Modell (2,7 Mrd. Parameter, Decoder-only Architektur).
• Zur effizienten Anpassung wird LoRA (Low-Rank Adaptation) verwendet, wobei nur die LoRA-Adapter trainiert werden, während die Hauptparameter eingefroren bleiben.
• Das Problem wird als binäre Klassifizierung (verwundbar vs. gefixt) auf Funktionsebene formuliert.

Vergleichende Strategien (Continual Learning):
Das Paper evaluiert acht Strategien, darunter:

1. Window-only: Training nur auf dem aktuellen Fenster (Baseline für Vergessen).
2. Cumulative: Training auf allen historischen Daten (rechnerisch teuer, Upper Bound).
3. Replay-basierte Methoden: Wiederverwendung alter Daten (z. B. Replay-1P, Replay-3P).
4. Regularisierung: Methoden wie OLoRA (Orthogonalitätsbeschränkungen) und LB-CL (klassengewichteter Verlust).
5. Hybrid-CASR (Neuer Ansatz): Eine neu entwickelte Methode, die Confidence-Aware Selective Replay mit Klassenbalancierung kombiniert.

Hybrid-CASR im Detail:

• Unsicherheitsbasierte Selektion: Es werden Beispiele priorisiert, bei denen das Modell unsicher ist (niedrige Konfidenz) oder Fehler macht.
• Klassenbalancierung: Da die Klasse „FIXED" oft überrepräsentiert ist, wird sichergestellt, dass der Replay-Puffer ein ausgewogenes Verhältnis von „VULNERABLE" und „FIXED" Funktionen enthält.
• Hybrid-Strategie: 70 % des Puffers werden mit hoch-unsicheren Beispielen gefüllt, 30 % uniform, um die Abdeckung zu sichern.

3. Hauptbeiträge

1. Temporales Evaluierungsprotokoll: Entwicklung eines realistischen Protokolls mit forward-chaining und verzögerten Backward-Tests (IBR@1/3/5/6), das Datenlecks vermeidet.
2. Granularitätsanalyse: Systematische Untersuchung verschiedener Zeitfenster (1 bis 12 Monate), die zeigt, dass keine einzelne Granularität eindeutig überlegen ist.
3. Hybrid-CASR: Einführung einer neuen Replay-Methode, die Unsicherheit und Klassenungleichgewicht adressiert.
4. Ressourcenanalyse: Detaillierte Gegenüberstellung von Genauigkeit und Rechenaufwand (F1 pro Minute, Speichernutzung).

4. Ergebnisse

Leistung (Forward Prediction):

• Hybrid-CASR erreicht die beste durchschnittliche Macro-F1 von 0,667.
• Dies ist eine signifikante Verbesserung gegenüber der Window-only-Baseline (0,651) mit einem p-Wert von 0,026.
• Die Cumulative-Methode erreicht nur 0,661, erfordert aber 15,9-mal mehr Trainingszeit pro Fenster.

Wissenserhalt (Backward Retention):

• Gemessen durch Immediate Backward Retention (IBR): Hybrid-CASR behält 74,1 % der Leistung auf dem vorherigen Fenster bei (IBR@1).
• Interessanterweise zeigt die Cumulative-Methode zwar 0 % Zerfall (perfekte Stabilität), aber eine niedrigere absolute Leistung (0,661) als selektive Replay-Methoden, was darauf hindeutet, dass das Speichern aller Daten unter Drift zu Interferenzen führen kann.
• Replay-1P (nur das letzte Fenster) zeigt die höchste Retention (0,791), aber Hybrid-CASR bietet den besten Kompromiss zwischen Vorwärtsleistung und Stabilität.

Ressourcen-Effizienz:

• Hybrid-CASR ist effizienter als die Baseline: Es benötigt weniger Zeit (432 s vs. 520 s pro Fenster) und liefert eine höhere F1-Leistung pro Minute (0,093 vs. 0,075).
• Der Speicherbedarf ist höher (ca. 19,8 GB vs. 13,5 GB), bleibt aber auf einer einzigen GPU (NVIDIA A100) handhabbar.

Einfluss der Zeitfenster-Granularität:

• Die Leistung variiert nur geringfügig zwischen den Granularitäten (Macro-F1 zwischen 0,651 und 0,669).
• Quartalsweise Fenster (3 Monate) zeigen die beste durchschnittliche Leistung, aber der Unterschied zu monatlichen oder jährlichen Fenstern ist minimal. Dies deutet darauf hin, dass die Wahl des Fensters eher beeinflusst, welche Schwachstellen erkannt werden, als die Gesamtgenauigkeit.

5. Bedeutung und Schlussfolgerung

Das Paper zeigt, dass selektives Replay mit Klassenbalancierung (Hybrid-CASR) ein praktikabler Kompromiss für die zeitliche Schwachstellenerkennung mit LLMs ist. Es bietet eine signifikante Verbesserung gegenüber einfachen Baselines bei vertretbarem Rechenaufwand.

• Praktische Implikation: Da die Macro-F1-Werte im Bereich von 65–67 % liegen, sollten solche Modelle als Entscheidungsunterstützungstools und nicht als autonome Orakel eingesetzt werden; menschliche Überprüfung bleibt essenziell.
• Herausforderungen: Das Paper identifiziert, dass selbst fortschrittliche CL-Methoden bei starken Drifts (z. B. während großer Sicherheitsereignisse) an Leistung verlieren.
• Limitationen: Die Studie konzentriert sich auf eine Architektur (phi-2) und C/C++/Java. Zudem besteht die Gefahr, dass das Pre-Training des Modells bereits Daten aus dem Evaluierungszeitraum enthielt, was die Ergebnisse potenziell verzerrt.

Insgesamt etabliert diese Arbeit einen reproduzierbaren Rahmen für die Evaluation von LLMs unter nicht-stationären zeitlichen Bedingungen und zeigt, dass einfache, ressourcenschonende CL-Strategien oft besser skalieren als das vollständige Neutrainieren auf historischen Daten.