Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection

Technische Samenvatting: Persistente Menselijke Feedback, LLM's en Statische Analysers voor Veilige Codegeneratie en Kwetsbaarheidsdetectie

Probleemstelling
Het artikel behandelt de groeiende afhankelijkheid van Large Language Models (LLM's) voor veilige codegeneratie en kwetsbaarheidsdetectie, en wijst op een kritiek gat in de huidige evaluatiemethodologieën. Hoewel LLM's steeds vaker worden gebruikt in de softwareontwikkeling, genereren ze regelmatig onveilige code, zelfs wanneer ze expliciet de instructie krijgen om dat niet te doen. De bestaande literatuur evalueert deze modellen voornamelijk met behulp van geautomatiseerde statische analyse-instrumenten (bijv. CodeQL, Semgrep) als de enige grondwaarheid (ground truth). De auteurs stellen dat deze aanpak gebrekkig is omdat statische analysers een hoog aantal fout-positieven vertonen en vaak niet overeenstemmen met het oordeel van menselijke experts met betrekking tot werkelijke beveiligingskwetsbaarheden. Bov�aling ontbreken huidige frameworks mechanismen om expertfeedback persistent op te slaan en te hergebruiken, wat het vermogen van LLM's om te leren van eerdere correcties beperkt.

Methodologie
De studie hanteert een tweeledige methodologie: een uitgebreid literatuuronderzoek en een empirische validatiestudie.

1. Literatuuronderzoek: De auteurs hebben 2025 publicaties uit top-tier software engineering-conferenties (A/A*) onderzocht om huidige onderzoeks trends te karakteriseren. Ze analyseerden benchmarks, doelprogrammeertalen, modelfamilies en de gebruikte evaluatietools in studies naar veilige codegeneratie en kwetsbaarheidsdetectie.
2. Empirische Validatie:
   • Dataset Constructie: Met behulp van de Recursive Critiques Improvement (RCI) prompting-techniek met GPT-4o genereerden de auteurs 1.080 code-samples gebaseerd op 108 unieke taken die zijn gekoppeld aan de CWE Top 25.
   • Grondwaarheid Creatie: Twee getrainde beoordelaars (een promovendus en een masterstudent), onder supervisie van een faculteit, inspecteerden de samples handmatig om ze te labelen als kwetsbaar of veilig met betrekking tot hun specifieke doel-CWE. Meningsverschillen werden opgelost door discussie of deskundige arbitrage, waarbij een hoge inter-beoordelaarsovereenstemming werd bereikt (Cohen's $\kappa = 0.94$).
   • Tool Vergelijking: De handmatig gevalideerde grondwaarheid werd vergeleken met de outputs van twee veelgebruikte statische analyse-instrumenten, CodeQL en Semgrep.
   • Framework Voorstel: Op basis van de bevindingen stellen de auteurs een conceptueel framework voor dat menselijke feedback integreert in een Retrieval-Augmented Generation (RAG) pijplijn.

Belangrijkste Resultaten
De empirische studie onthulde significante discrepanties tussen geautomatiseerde tools en menselijke experts:

• Grondwaarheid: 61% van de gegenereerde samples was daadwerkelijk veilig, terwijl 39% kwetsbaarheden bevatte.
• Tool Prestaties: Semgrep classificeerde 60% van de samples als veilig, en CodeQL classificeerde 80% als veilig. Hoewel het geaggregeerde percentage van Semgrep dicht bij het menselijke oordeel lag, toonde analyse per sample aanzienlijke onovereenstemming.
• Nauwkeurigheidsmetrieken: Slechts 65% van de Semgrep-rapportages en 61% van de CodeQL-rapportages kwamen overeen met de grondwaarheid-labels.
• CWE Dekking: Beide tools faalden in het detecteren van doel-CWE's in een aanzienlijk deel van de grondwaarheid-gevallen en rapporteerden frequent bevindingen voor niet-doel-CWE's (wiens geldigheid onbekend bleef in deze studie).
• Zelfkritiek: De studie observeerde dat LLM's die "specifieke" zelfkritieken leverden (gerichte, actiegerichte feedback) meer veilige code produceerden (64% veilig) vergeleken met "algemene" kritieken (56% veilig).

Voorgesteld Framework: Persistente Menselijke Feedback
Om de beperkingen van statische tools en het vluchtige karakter van huidige feedbackloops aan te pakken, stellen de auteurs een conceptueel framework voor (geïllustreerd in Figuur 3) dat een Human-in-the-Loop (HIL) agent integreert in een dynamische RAG-pijplijn. Het framework bestaat uit vier agents:

1. Prompt Agent: Orquestreert codegeneratie door relevante beveiligingsrichtlijnen op te halen uit een Dual-Source RAG (Menselijke Feedback en Externe Kwetsbaarheidskennis) om de prompt van de ontwikkelaar te verfijnen.
2. Security Agent: Evalueert gegenereerde code met behulp van statische analysers en LLM's, en produceert machineleesbare en mensleesbare rapporten.
3. Human-in-the-Loop (HIL) Agent: Fungeert als de uiteindelijke beslisser. Experts beoordelen de rapporten van de Security Agent. In gevallen van onenigheid wordt de feedback van de expert persistent opgeslagen in de RAG.
   • Vertrouwensweging: Het systeem wijst dynamische vertrouwensgewichten toe aan feedback op basis van consensus tussen beoordelaars en historische empirische successen (met behulp van een Exponential Moving Average).
   • Dubbele Beoordeling: Om datapoisoning te voorkomen, vereist nieuwe feedback goedkeuring van twee verschillende beoordelaars voordat deze in de actieve retrieval-pool terechtkomt.
4. Dual-Source RAG: Een gedeelde kennisdienst die menselijk gevalideerde feedback (HF) prioriteert boven algemene externe kennis (EVK) met behulp van een samengestelde scorefunctie die tegenstrijdigheden tussen algemeen advies en expertfeedback bestraft.

Betekenis en Claims
Het artikel claimt dat het uitsluitend vertrouwen op statische analyse-instrumenten voor het evalueren van door LLM gegenereerde code onbetrouwbaar is en risico's vormt voor de geldigheid van beveiligingsonderzoek. De auteurs stellen dat expertfeedback niet alleen noodzakelijk is voor individuele instanties, maar ook kan generaliseren naar vergelijkbare toekomstige gevallen. Bijgevolg beoogt het voorgestelde framework LLM's in staat te stellen om eerdere menselijke feedback dynamisch te hergebruiken, wat zowel de veilige codegeneratie als de kwetsbaarheidsdetectie verbetert. De studie concludeert dat de software engineering-gemeenschap verder moet kijken dan enkel geautomatiseerde evaluatie en persistente, door experts gestuurde feedbackloops moet integreren om de betrouwbaarheid van LLM's in beveiligingskritische contexten te waarborgen.

Beperkingen (Bedreigingen voor de Validiteit)
De auteurs erkennen verschillende beperkingen:

• Constructvaliditeit: Het literatuuronderzoek was beperkt tot 2025-publicaties in software engineering-venues, wat potentieel patronen in security-specifieke venues (bijv. USENIX Security, CCS) kan missen.
• Interne Validiteit: Grondwaarheid-labels rusten op handmatige beoordeling, wat onderhevig is aan menselijke bias ondanks de hoge inter-beoordelaarsovereenstemming.
• Externe Validiteit: De experimenten richtten zich op Python-code gegenereerd door GPT-4o met behulp van RCI-prompting. De resultaten zijn mogelijk niet generaliseerbaar naar andere talen (met name laag-niveau talen zoals C/C++), andere domeinen of andere LLM's en statische analyse-instrumenten.