Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning

Deze paper introduceert Hybrid-CASR, een hybride, zelfvertrouwensgebaseerde selectieve replay-methode die catastrofaal vergeten effectief aanpakt en de prestaties van LLM's voor het voorspellen van softwarekwetsbaarheden in tijdgebonden scenario's verbetert ten opzichte van bestaande continuïteitsleerstrategieën.

De kern

Stel je voor dat je een super-slimme security-agent hebt die softwarecode controleert op gevaarlijke gaten (kwetsbaarheden). Deze agent is een kunstmatige intelligentie (een "Large Language Model" of LLM) die is getraind om te weten hoe hackers code kapotmaken.

Het probleem? Software verandert continu. Net als mode, taal of muziek, veranderen de manieren waarop hackers aanvallen elke maand. Wat gisteren een gevaarlijk gat was, is vandaag misschien al verholpen, en morgen komen er weer nieuwe, slimme trucs bij.

Deze paper onderzoekt hoe we deze AI-agent bijhouden zonder dat hij zijn oude kennis vergeet.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Grote Vergetelheid"

Stel je voor dat je een student bent die elke maand een nieuwe examenstof moet leren.

• De oude aanpak: De student stopt elke maand met leren en begint vanaf nul met de nieuwe stof. Hij vergeet alles wat hij in januari leerde zodra hij in februari begint. Dit noemen onderzoekers catastrophic forgetting (catastrofale vergetelheid).
• Het andere uiterste: De student probeert alles wat hij ooit heeft geleerd (van januari tot nu) in één keer te herhalen voor elk nieuw examen. Dit werkt wel goed voor de kennis, maar het kost zoveel tijd dat hij nooit meer aan het nieuwe examen toekomt. Het is te traag.

De onderzoekers wilden een manier vinden om de AI-agent te trainen op nieuwe kwetsbaarheden, zonder dat hij de oude kwetsbaarheden vergeet, en zonder dat het te lang duurt.

2. De Oplossing: De "Slimme Herhaling" (Hybrid-CASR)

De onderzoekers hebben een nieuwe methode bedacht die ze Hybrid-CASR noemen. Laten we dit vergelijken met een sportcoach die een team voorbereidt.

• Hoe werkt het?
  De coach (de AI) kijkt naar de nieuwe training (nieuwe code). Hij ziet dat sommige spelers (nieuwe kwetsbaarheden) het lastig hebben.
  • De slimme keuze: In plaats van alle oude trainingen te herhalen, pakt de coach alleen de moeilijkste oude situaties erbij. "Hoeveel spelers hebben we nodig om te oefenen op die ene lastige verdediging?" vraagt hij zichzelf af.
  • De balans: Hij zorgt er ook voor dat hij niet alleen de "gemakkelijke" fouten oefent, maar ook de "zeldzame" en "gevaarlijke" fouten. Hij houdt een evenwicht in zijn trainingsboekje.

Dit is precies wat Hybrid-CASR doet:

1. Het selecteert alleen de onzekere voorbeelden (waar de AI twijfelde) om te herhalen.
2. Het zorgt voor een evenwicht tussen "gevaarlijke code" en "veilige code" in de herhaling, zodat de AI niet alleen leert om veilige code te zien en de echte gevaren over het hoofd ziet.

3. De Resultaten: Wat bleek eruit?

De onderzoekers hebben dit getest op een enorme hoeveelheid data van 2018 tot 2024, verdeeld in blokjes van twee maanden.

• De winnaar: De methode met de "Slimme Herhaling" (Hybrid-CASR) deed het het beste. Hij vergeet minder snel dan de andere methoden en is sneller dan het "alles-herhalen"-methode.
• De verrassing: Het maakt niet echt uit of je de data in blokjes van 1 maand, 2 maanden of 6 maanden verdeelt. De AI presteert ongeveer even goed, zolang hij maar regelmatig update. Het is alsof het niet uitmaakt of je elke dag of elke week sportt, zolang je maar consistent bent.
• De kosten: De "alles-herhalen" methode (cumulatief trainen) kostte 16 keer zoveel tijd als de slimme methode, maar leverde nauwelijks betere resultaten op. Dat is alsof je urenlang je hele levensverhaal opschrijft om één nieuwe zin te leren, terwijl je dat in 5 minuten ook kunt.

4. Waarom is dit belangrijk voor de echte wereld?

In de echte wereld worden software-systemen nooit stilgelegd om een AI te trainen. Ze moeten continu werken.

• Deze paper laat zien dat je een AI kunt bijleren terwijl de software verandert, zonder dat je een supercomputer nodig hebt.
• Het is een praktische oplossing: je krijgt een betere AI die minder vergeet, maar die ook op een gewone computer (zoals een krachtige laptop of server) draait.

Samenvattend in één zin:

De onderzoekers hebben een manier gevonden om een slimme software-agent te trainen op nieuwe hackers-trucs, door alleen de belangrijkste oude fouten te herhalen en te zorgen dat hij niet vergeten raakt, zonder dat het proces te lang duurt of te duur wordt.

Het is de kunst van leren zonder te vergeten, met een beetje slimme selectie in plaats van brute kracht.

Technische samenvatting

Titel: Verbetering van Continue Learning voor Software Kwetsbaarheidsvoorspelling: Het Aanpakken van Catastrofaal Vergeten via Hybride Zekerheidsbewust Selectief Herhalen voor Temporele LLM-Finetuning

1. Probleemstelling

Softwarekwetsbaarheden vormen een kritieke bedreiging voor de infrastructuur, met een stijgende trend in openbaargemaakte fouten (CVE's) van ongeveer 400 per maand in 2018 naar meer dan 2.000 in 2024. Hoewel Large Language Models (LLMs) veelbelovend zijn voor het detecteren van kwetsbaarheden in broncode, lijden bestaande evaluaties aan twee fundamentele tekortkomingen:

1. Temporele Datalekken: De meeste studies gebruiken willekeurige train-test splits die de tijdsdimensie negeren. Dit leidt tot datalekken (toekomstige informatie in de trainingsset) en een overschatting van de prestaties in de echte wereld.
2. Concept Drift en Catastrofaal Vergeten: In de praktijk worden detectoren ingezet op evoluerende codebases waar de verdeling van kwetsbare en gefixte functies verandert (concept drift). Traditionele statische training wordt snel verouderd. Continue Learning (CL) is nodig om modellen bij te werken, maar dit introduceert het risico van "catastrofaal vergeten", waarbij het model kennis van eerdere taken verliest ten gunste van nieuwe data.

Daarnaast bestaat er een sterke class imbalance (ongelijke verdeling van klassen) tussen kwetsbare en gefixte functies, wat de training bemoeilijkt.

2. Methodologie

De auteurs hebben een strikt temporeel evaluatieprotocol ontworpen om realistische implementaties na te bootsen.

• Dataset: Een dataset gebaseerd op CVEfixes, gekoppeld aan CVE-records van 2018 tot 2024. De data is opgesplitst in tweemaandelijkse vensters (42 vensters in totaal).
  • Voorverwerking: Functies worden gepaard als "kwetsbaar" (voor de fix) en "gefixt" (na de fix). Er is strikte deduplicatie toegepast om te voorkomen dat dezelfde code in zowel train- als testvensters voorkomt.
  • Tijdstempel: Gebruik van de CVE-publicatiedatum in plaats van de commit-datum om informatielekken te voorkomen.
• Model: De microsoft/phi-2 decoder-LLM (2,7 miljard parameters) wordt gebruikt.
  • Fine-tuning: Er wordt gebruik gemaakt van LoRA (Low-Rank Adaptation) om de parameters efficiënt aan te passen zonder de volledige backbone te herschrijven.
• Evaluatieprotocol:
  • Forward-chaining: Het model wordt getraind op venster $W_t$ en getest op $W_{t+1}$.
  • Backward Retention: Het model wordt getest op eerdere vensters ($W_{t-k}$) om te meten hoeveel kennis behouden blijft (Immediate Backward Retention - IBR).
• Strategieën: Acht CL-strategieën werden vergeleken, waaronder:
  • Window-only: Alleen trainen op het huidige venster (gebaseleerd).
  • Cumulative: Trainen op alle historische data (computationeel duur).
  • Replay-methoden: Hergebruik van eerdere voorbeelden (Replay-1P, Replay-3P).
  • Regularisatie: OLoRA (orthogonaliteitsbeperkingen) en LB-CL (class-gewogen verlies).
  • Hybrid-CASR (Nieuw): Een hybride methode die zekerheidsbewust selectief herhalen combineert met class balancing.

3. Belangrijkste Bijdragen

1. Temporeel Protocol: Een implementatie-vriendelijk evaluatieprotocol voor CVE-gekoppelde code met forward-chaining en vertraagde backward-tests, wat datalekken voorkomt.
2. Granulariteitsanalyse: Een systematische studie naar de invloed van venstergrootte (maandelijks tot jaarlijks).
3. Hybrid-CASR: Een nieuwe replay-methode die onzekerheid (confidence) gebruikt om moeilijke voorbeelden te selecteren, maar tegelijkertijd zorgt voor een gebalanceerde verhouding tussen kwetsbare en gefixte functies in de replay-buffer. Dit lost het probleem op dat onzekerheid vaak leidt tot een oververtegenwoordiging van de meerderheidsklasse.
4. Resource-Performance Analyse: Een gedetailleerde analyse van de trade-off tussen nauwkeurigheid, stabiliteit en rekentijd.

4. Resultaten

• Prestaties van Hybrid-CASR:
  • Bereikte een Macro-F1 van 0,667 op de forward-evaluatie, wat een statistisch significant verbetering is ten opzichte van de window-only baseline (0,651; $p = 0,026$).
  • Toonde sterke backward retention (IBR@1 van 0,741), wat aangeeft dat het model goed in staat is om eerdere kennis te behouden.
  • Efficiëntie: Hybrid-CASR is ongeveer 17% sneller dan de window-only baseline (432s vs 520s per venster) en levert een 24% hogere efficiëntie (F1 per minuut).
• Vergelijking met andere methoden:
  • Cumulative training leverde slechts een marginale F1-toename (0,661) op, maar vereiste 15,9 keer meer rekentijd dan de baseline. Dit maakt het onpraktisch voor frequente updates.
  • Replay-1P had de hoogste backward retention (0,791), maar Hybrid-CASR bood de beste balans tussen forward- en backward-prestaties.
  • OLoRA (orthogonaliteitsbeperkingen) presteerde slecht (F1 0,599), wat suggereert dat te strikte beperkingen de aanpassing aan nieuwe kwetsbaarheidspatronen belemmeren.
• Invloed van Venstergrootte:
  • Er was geen enkele "optimale" venstergrootte. Maandelijks tot jaarlijks vensters leverden vergelijkbare gemiddelde F1-scores op (0,651 – 0,669). Dit suggereert dat organisaties kunnen kiezen op basis van beschikbare resources in plaats van alleen op prestatie.

5. Betekenis en Conclusie

De studie toont aan dat selectief herhalen met class balancing (Hybrid-CASR) een praktische en efficiënte oplossing biedt voor LLM-gebaseerde kwetsbaarheidsdetectie onder continue temporele drift.

• Praktische Implicatie: De resultaten suggereren dat huidige ML-gebaseerde detectoren het beste worden ingezet als beslissingsondersteunende tools (met een F1 van ~65-67%) waarbij menselijke verificatie essentieel blijft, vooral tijdens periodes van grote veranderingen in het kwetsbaarheidslandschap.
• Efficiëntie: Het is niet nodig om alle historische data opnieuw te trainen (cumulative training); een slimme selectie van eerdere voorbeelden (Hybrid-CASR) biedt een betere balans tussen nauwkeurigheid, stabiliteit en rekentijd.
• Beperkingen: De studie focust op één modelarchitectuur (phi-2) en voornamelijk C/C++/Java. Er is een risico op "pretraining contamination" omdat het model mogelijk al kwetsbaarheden uit de evaluatieperiode heeft gezien tijdens zijn training.

Kortom, Hybrid-CASR biedt een meetbare, statistisch significante verbetering ten opzichte van simpele baselines, maar benadrukt dat robuuste temporele kwetsbaarheidsdetectie nog steeds een uitdagend onderzoeksgebied is.