An Insight into Security Code Review with LLMs: Capabilities, Obstacles, and Influential Factors

Titel: Een Inzicht in Beveiligingscode Review met LLM's: Capaciteiten, Hindernissen en Invloedrijke Factoren

Probleemstelling
Beveiligingscode review is een kritiek maar arbeidsintensief proces dat essentieel is voor het voorkomen van datalekken en financiële verliezen. Hoewel organisaties beveiligingsanalyse steeds vaker integreren in code review, lijden bestaande geautomatiseerde hulpmiddelen (statische/dynamische/hybride analyse) aan slechte generalisatie, hoge rates van vals-positieven en grove detectiedetails. Bovendien missen datagedreven benaderingen op basis van traditioneel machine learning of deep learning vaak robuustheid door het gebrek aan realistische trainingsdatasets, waardoor ze slecht presteren op projecten uit de echte wereld. Hoewel Large Language Models (LLM's) veelbelovend hebben getoond in diverse software-engineeringtaken, blijven hun specifieke capaciteiten, beperkingen en de factoren die hun prestaties beïnvloeden in de fijnmazige context van beveiligingscode review grotendeels onontgonnen.

Methodologie
De auteurs voerden een empirische studie uit om het potentieel van LLM's te evalueren bij het detecteren van beveiligingsfouten tijdens code review. De studie gebruikte een handmatig samengestelde dataset van 534 codebestanden (258 Python, 276 C/C++), afkomstig van vier open-source projecten (OpenStack Nova/Neutron en Qt Base/Creator), met 614 beveiligingsgerelateerde reviewcommentaren.

• Geëvalueerde Modellen: Zeven LLM's werden getest, waaronder propriëtaire modellen (GPT-4, GPT-4 Turbo, Gemini Pro), open-source modellen (Llama 2 7B, Llama 2 70B) en een op redeneren geoptimaliseerd model (DeepSeek-R1).
• Prompt Engineering: Vijf verschillende prompt-sjablonen werden ontworpen op basis van best practices en eerdere strategieën:
  1. Basis Prompt ($P_b$): Directe instructie om code te reviewen.
  2. Projectinformatie ($P_r$): Toegevoegde context van de projectnaam.
  3. Algemene CWE-instructie ($P_c$): Instructie om CWE als referentie te gebruiken.
  4. Specifieke CWE-instructie ($P_{cid}$): Een lijst van top-level CWE's verstrekt.
  5. Chain-of-Thought ($P_{cot}$): Een twee-staps prompt waarbij het model eerst code-context moet genereren vanuit een commit-bericht voordat het op fouten analyseert. Er werd ook een "guardrail"-versie ($P_{cot-guardrail}$) getest om de impact van gegenereerde context te isoleren.
• Evaluatiemetrics: Reacties werden handmatig gecategoriseerd in vier categorieën: Instrumenteel (accuraat defecttype, locatie en beschrijving), Behulpzaam (gedeeltelijk accuraat), Misleidend (gefaalde detectie of vals-negatieven) en Onzeker. De metrics omvatten I-Score, IH-Score en M-Score. Consistentie werd gemeten via responsentropie over drie experimentele runs.
• Analyse: De studie vergeleek de prestaties van LLM's met die van state-of-the-art statische analyse-tools (zoals CodeQL, Bandit, CppCheck). Voor de best presterende modellen identificeerde een linguïstische analyse kwaliteitsproblemen (zoals hallucinaties en vaagheid). Tot slot werden cumulatieve link-regressiemodellen geconstrueerd om de invloed van 11 factoren (zoals tokenaantal, codecomplexiteit, defecttype) op de prestaties te analyseren.

Belangrijkste Bijdragen

1. Fijnmazige Evaluatie: Biedt een uitgebreide evaluatie van populaire LLM's in beveiligingscode review, die verder gaat dan binaire classificatie door defectlokalisatie, beschrijving en remediëringssuggesties te beoordelen.
2. Analyse van Non-determinisme: Meet de impact van non-determinisme in LLM's op de consistentie van resultaten van beveiligingscode review.
3. Kwantificering van Kwaliteitsproblemen: Identificeert en kwantificeert specifieke kwaliteitsproblemen, waaronder hallucinaties (feitelijk en getrouwheid), in de reacties van de best presterende modellen.
4. Analyse van Factoreninvloed: Voert de eerste regressieanalyse uit om statistisch te valideren hoe specifieke code- en projectkenmerken de prestaties van LLM's in dit domein beïnvloeden.

Resultaten

• Prestaties versus Baselines: LLM's presteerden significant beter dan state-of-the-art statische analyse-tools bij beveiligingscode review. Onder de LLM's presteerde het op redeneren geoptimaliseerde model (DeepSeek-R1) beter dan de algemene modellen.
• Best Presterende Modellen: DeepSeek-R1 behaalde de hoogste algehele prestatie, gevolgd door GPT-4 (via het ChatGPT-platform).
  • Optimale Prompts: DeepSeek-R1 presteerde het beste met een prompt die het commit-bericht combineerde met Chain-of-Thought (CoT)-richtlijnen ($P_{cot-guardrail}$). GPT-4 (ChatGPT) presteerde het beste met een prompt die een specifieke lijst van CWE's bevatte ($P_{cid}$).
• Kwaliteitsproblemen:
  • GPT-4 (ChatGPT): Produceerde vaak vage uitdrukkingen en had moeite met het volgen van instructies (bijvoorbeeld ontbrekende regelnummers), hoewel het minder feitelijke fouten had met betrekking tot code-details.
  • DeepSeek-R1: Was vatbaarder voor het genereren van onnauwkeurige code-details (bijvoorbeeld onjuiste regelnummers of functienamen) en vertoonde een hogere rate van "Incorrect Fact"-hallucinaties, ondanks betere instructievolgingscapaciteiten.
• Invloedrijke Factoren:
  • Tokenaantal: LLM's waren bekwaamer in het identificeren van fouten in bestanden met minder tokens; de prestaties namen over het algemeen af naarmate het tokenaantal toenam.
  • Annotaties: De aanwezigheid van beveiligingsgerelateerde annotaties in de code verbeterde de detectiecapaciteiten.
  • Complexiteit: Hogere codecomplexiteit correleerde met verbeterde detectiecapaciteiten voor DeepSeek-R1 voor specifieke defecttypes (exclusief geheugen-gerelateerde), in tegenstelling tot de aanname dat complexiteit detectie altijd belemmert.
  • Consistentie: Modellen met hogere detectiecapaciteiten (DeepSeek-R1, GPT-4 ChatGPT) vertoonden lagere consistentie (hogere entropie) over runs in vergelijking met minder capabele modellen.

Betekenis en Beweringen
Het artikel beweert dat huidige LLM's nog geen vervanging zijn voor menselijke reviewers, maar dat ze fungeren als krachtige hulpmiddelen die aanzienlijk beter presteren dan traditionele statische analyse-tools bij het detecteren van beveiligingsfouten. De studie benadrukt dat de effectiviteit van LLM's sterk afhankelijk is van prompt engineering (specifiek de opname van commit-berichten, CoT of CWE-lijsten) en de specifieke kenmerken van de te reviewen code (tokenaantal, complexiteit, annotaties).

De auteurs benadrukken dat het non-determinisme van LLM's een tweesnijdend zwaard is: modellen die dieper kunnen redeneren (en dus beter detecteren) neigen tot inconsistentere outputs. Zij concluderen dat een meerlagige reviewstrategie noodzakelijk is, waarbij LLM's initiële reviews van code met lage moeilijkheidsgraad (minder tokens) afhandelen, terwijl menselijke experts zich richten op code met hoge moeilijkheidsgraad en bevindingen van LLM's valideren. De studie onderstreept ook de noodzaak van toekomstig werk om hallucinaties met betrekking tot code-details aan te pakken en de stabiliteit van LLM-outputs te verbeteren zonder detectiegevoeligheid te offeren.