Leveraging Large Language Models for Trustworthiness Assessment of Web Applications

1. Het Probleem

De beveiliging van webapplicaties is een kritieke uitdaging. Traditionele benaderingen voor beveiligingsbeoordeling, zoals Static Application Security Testing (SAST) en Dynamic Application Security Testing (DAST), hebben beperkingen:

• SAST genereert vaak veel valse positieven door gebrek aan context.
• DAST mist kritieke uitvoeringspaden.
• Vulnerability-centric benaderingen focussen op het detecteren van bekende kwetsbaarheden, maar negeren latente zwaktes en geven geen garantie voor de algehele betrouwbaarheid van de applicatie.

Het beoordelen van "betrouwbaarheid" (trustworthiness) door te kijken naar de naleving van veilige coderingspraktijken (secure coding practices) is een veelbelovende, complementaire aanpak. Echter, de huidige methoden hiervoor zijn grotendeels handmatig, tijdrovend, subjectief en schalen niet goed binnen moderne CI/CD-pipelines. Er is behoefte aan een geautomatiseerde, schaalbare methode om te verifiëren of code voldoet aan standaarden zoals die van OWASP.

2. Methodologie

De auteurs stellen een empirische methode voor om Large Language Models (LLMs) in te zetten voor het automatiseren van de betrouwbaarheidsbeoordeling. De studie is opgebouwd uit vijf fasen:

• Dataset: Er werd gebruikgemaakt van de WSVD-Bench dataset, bestaande uit Java-webdiensten met bekende SQL-injectiekwetsbaarheden. De dataset bevat zowel veilige implementaties (Vx0) als kwetsbare varianten (VxA).
• Scope: De focus ligt op de OWASP Input Validation domein, specifiek 16 praktijken uit de Secure Coding Practices Quick Reference Guide.
• Model Selectie: Vijf LLMs werden getest via API met een deterministische temperatuur (0.2): gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-mini, gpt-4.1, en gemini-2.5-flash.
• Prompt Engineering Strategieën: Er werden vier verschillende prompt-strategieën vergeleken om te kijken hoe context de prestaties beïnvloedt:
  1. Baseline (Zero-shot): Alleen de praktijkomschrijving en de functiecode.
  2. CWE + Slechte Voorbeelden: Toevoeging van Common Weakness Enumeration (CWE) ID's en korte codevoorbeelden van kwetsbaarheden (Few-shot).
  3. Functie-Call Context: Toevoeging van de broncode van aangeroepen helper-functies (via Joern) om inter-procedurele afhankelijkheden te analyseren.
  4. Regelgebaseerd (Rule-Based): Duidelijke, stap-voor-stap instructies met binair logische voorwaarden (bijv. "Als X, dan is het veilig; anders niet").
• Beoordelingsframework:
  • Ground Truth: Handmatig gecreëerd door experts voor alle 42 functies en 16 praktijken.
  • Kwaliteitsmodel (QM) & LSP: De resultaten van de LLMs (binair: wel/niet toegepast) werden geaggregeerd tot een totale betrouwbaarheidsscore (0-1) met behulp van de Logic Score of Preference (LSP) methode. Dit model gebruikt een "gelijktijdigheidsoperator" (simultaneity), wat betekent dat het ontbreken van een kritieke praktijk de totale score sterk verlaagt (het zwakste schakel-principe).

3. Belangrijkste Bijdragen

1. Systematische Vergelijking: Een uitgebreide evaluatie van prompt-engineering technieken (semantische verrijking, structurele context, expliciete instructies) over meerdere LLM-architecturen.
2. Empirische Validatie: Een bewijs van haalbaarheid voor het automatiseren van trustworthiness-assessment, met inzicht in wanneer LLM-analyse schaalbaar is en wanneer het faalt.
3. Extensie van het Kwaliteitsmodel: Een implementatie waarbij LLM-outputs worden gebruikt om een hiërarchisch Quality Model (gebaseerd op Lemes et al.) te voeden, waardoor een kwantitatieve, datagedreven betrouwbaarheidsscore wordt gegenereerd.

4. Resultaten

De experimentele resultaten leveren belangrijke inzichten op:

• RQ1 (Baseline Prestaties): LLMs kunnen naleving van veilige praktijken gedeeltelijk identificeren in zero-shot modus, maar de prestaties variëren sterk. gpt-4.1 presteerde het beste (Macro F1 ≈ 0.89), terwijl kleinere modellen zoals gpt-3.5-turbo moeite hadden met semantisch begrip en vaak oppervlakkige zoekopdrachten gebruikten.
• RQ2 (Impact van Context):
  • Semantische context (CWE + Voorbeelden): Verbeterde de prestaties van krachtige modellen (zoals gpt-4.1), maar leidde tot regressie bij kleinere modellen door "informatie-overbelasting".
  • Structurele context (Functie-calls): Dit bleek schadelijk. Het toevoegen van helper-functiecode introduceerde ruis, wat leidde tot een daling van de recall en een algemene prestatiedaling bij alle modellen. LLMs konden de relevante beveiligingslogica niet effectief filteren uit de uitgebreide code.
  • Regelgebaseerde prompts: Dit was de meest robuuste strategie. Duidelijke "if-then" instructies compenseerden voor de beperkte redeneercapaciteit van kleinere modellen en leverden de beste resultaten voor gpt-4o-mini en gpt-4.1-mini. Het verbeterde de consistentie aanzienlijk ten opzichte van de baseline.
• RQ3 (Betrouwbaarheidsscores):
  • LLMs zijn niet betrouwbaar om direct een numerieke trustworthiness-score (0-1) te genereren; de foutmarges (MAE) waren te hoog.
  • Echter, wanneer LLMs worden gebruikt als input voor het gestructureerde LSP-kwaliteitsmodel, kunnen ze zeer betrouwbare en discriminerende scores genereren. Het model slaagde erin om veilige en kwetsbare implementaties statistisch significant van elkaar te onderscheiden (p < 0.05), vooral wanneer de regelgebaseerde prompt-strategie werd gebruikt.

5. Betekenis en Conclusie

De studie concludeert dat LLMs potentieel hebben om de schaalbaarheid van beveiligingsbeoordelingen te revolutioneren, maar dat de implementatie zorgvuldig moet gebeuren:

• Niet alles is context: Meer context (zoals volledige call graphs) leidt niet automatisch tot betere resultaten; het kan juist ruis introduceren.
• Structuur is cruciaal: Expliciete, regelgebaseerde prompts zijn effectiever dan complexe few-shot voorbeelden, vooral voor efficiëntere modellen.
• Hybride aanpak: De meest betrouwbare methode is een hybride aanpak waarbij LLMs de rol van detector spelen voor specifieke praktijken, en een deterministisch wiskundig model (LSP/QM) deze resultaten aggregeert tot een eindscore.

Deze aanpak maakt het mogelijk om beveiligingskwaliteit continu en automatisch te monitoren binnen CI/CD-pipelines, zonder afhankelijk te zijn van handmatige expertreviews voor elke code-commit. Toekomstig werk zal zich richten op het uitbreiden naar andere programmeertalen en het integreren van retrieval-gebaseerde mechanismen om contextlimieten te overwinnen.