Technische Samenvatting: Van oordeel naar diagnose: Attributieve beveiligingsreview van Pull Requests

1. Probleemdefinitie: De Verdict–Diagnosis (VD) Kloof

Huidige geautomatiseerde code-reviewers worden primair geëvalueerd op hun vermogen om een "blokkerend" oordeel te vellen voor kwaadaardige Pull Requests (PR's). Echter, het paper identificeert een kritiek gebrek in dit evaluatieparadigma: een reviewer kan een PR correct blokkeren om de verkeerde reden. Een blokkering kan worden getriggerd door een ongerelateerd probleem (bijv. een formatteringsfout of een niet-kritieke waarschuwing) in plaats van de specifieke kwetsbaarheid die de PR onveilig maakt.

Deze discrepantie wordt de Verdict–Diagnosis (VD) kloof genoemd.

• Verdict (Oordeel): De beslissing om een PR goed te keuren of te blokkeren.
• Diagnosis (Diagnose): De specifieke identificatie van de kwetsbaarheid en het bewijs dat dit ondersteunt.
• De Kloof: Een correct blokkerend oordeel gekoppeld aan een onjuiste of ongefundeerde diagnose. In dergelijke gevallen worden remediatiepogingen verkeerd gericht, waardoor de werkelijke kwetsbaarheid onbehandeld blijft.

Het paper betoogt dat bestaande benchmarks en evaluatiemetrieken er niet in slagen onderscheid te maken tussen een systeem dat simpelweg "blokkeert" en een systeem dat de onderliggende beveiligingsdefect correct "diagnoosteert". Bovendien vereisen veel kwetsbaarheden (met name "absence-type" defecten waarbij een vereiste guard ontbreend is) bewijs uit ongewijzigde delen van de repository, wat standaard diff-gebaseerde analyse vaak mist.

2. Methodologie

2.1 MALPR-BENCH: Een Mechanisme-gebaseerde Benchmark

Om de VD-kloof te meten, introduceren de auteurs MALPR-BENCH, een benchmark die ontworpen is om drie verschillende dimensies afzonderlijk te evalueren:

1. Verdict Correctness (V) (Correctheid van het oordeel): Heeft het systeem de PR geblokkeerd?
2. Target Vulnerability Identification (I) (Identificatie van de doelkwetsbaarheid): Heeft het systeem het specifieke kwetsbaarheidsmechanisme correct geïdentificeerd?
3. Evidence Validation (E) (Validatie van bewijs): Heeft het systeem zijn diagnose gegrond in concrete, controleerbare feiten uit de repository (code locaties, ongewijzigde bestanden, etc.)?

Constructie:

• Schaal: 89 kwaadaardige PR's en 50 benigne controles over 44 repositories en acht taalfamilies.
• Bronnen:
  • Mined History: Het terugwinnen van onvolledige fixes uit projectgeschiedenissen.
  • Advisory-Derived: Het construeren van kwaadaardige staten op basis van publieke security advisories (Pool A: incomplete fix; Pool B: reversed enforcement).
  • Real-World Discovery: Voorheen niet ontdekte kwetsbaarheden gevonden door de tool van de auteurs.
• Ground Truth (Grondwaarheid): Elk geval bevat een "frozen rubric" die de doelkwetsbaarheid, de vereiste bewijsketen en geaccepteerde beschrijvingen specificeert. Dit maakt een precieze beoordeling mogelijk van of een review "attributabel" is (d.w.z. $A = V \land I \land E$).
• Defect Classificatie: Gegevallen worden gecategoriseerd als Present-type (onveilige gedrag is zichtbaar in de diff) of Absence-type (vereiste beveiligingshandhaving ontbreekt). Bewijslocaties worden geclassificeerd van L0 (alleen diff) tot L2b (semantische correspondentie in ongerelateerde bestanden).

2.2 PRGUARD: Een Attributieve Beveiligingsreviewer

Om de VD-kloof aan te pakken, stelt de auteur PRGUARD voor, een systeem dat de identificatie van kwetsbaarheden scheidt van de validatie van bewijs. In tegenstelling tot end-to-end modellen die direct van diff naar verdict springen, werkt PRGUARD via een gefaseerde pipeline:

• Stage 0 (Structural Collection): Verzamel deterministisch de structurele context (callers, callees, imports) rond de gewijzigde code voordat er enige modelredenering plaatsvindt.
• Stage 1 (Change Characterization): Het model beschrijft het beveiligingsrelevante gedrag van de wijziging zonder nog een specifieke kwetsbaarheid voor te stellen.
• Stage 2 & 2.5 (Evidence Acquisition):
  • Path 1 (Knowledge-Directed): Gebruikt een Mechanism Knowledge Base (KB) afgeleid van ontwikkelingsgevallen om specifieke repository-bewijzen op te halen via getypeerde relaties (bijv. SIBLING-ENDPOINT).
  • Path 2 (Code-Directed): Bouwt een werklijst van repository-paden op basis van de structuur van de gewijzigde code, onafhankelijk van de KB.
• Stage 3 (Candidate Construction): Formuleert concrete kandidaat-kwetsbaarheden op basis van het verzamelde bewijs.
• Stage 4 (Evidence Validation): Een aparte model-invocatie test de kandidaten tegen het repository-bewijs. Het verifieert beveiligingskritische premissen (attacker control, bereikbaarheid, ontbrekende guards). Kandidaten worden gemarkeerd als VALIDATED, DOWNGRADED, of REJECTED.
• Stage 5 (Review Synthesis): Een deterministisch beleid koppelt validatie-uitkomsten aan een verdict (Block, Comment, Approve) en synthetiseert een review die de gevalideerde bevindingen uitlegt met specifieke code-locaties.

3. Belangrijkste Bijdragen

1. Formulering van de VD-kloof: Het paper definieert en karakteriseert de discrepantie tussen een correct blokkerend oordeel en een correcte diagnose, en betoogt dat huidige evaluatiemetrieken deze foutmodus verhullen.
2. MALPR-BENCH: Een systematisch evaluatiekader en benchmark die de correctheid van het oordeel scheidt van de identificatie van de kwetsbaarheid en de validatie van bewijs, gebruikmakend van vooraf vastgestelde rubrics voor de grondwaarheid.
3. PRGUARD: Een attributieve PR-beveiligingsreviewer architectuur die de generatie van hypothesen ontkoppelt van de validatie van bewijs en context ophaalt buiten de diff.
4. Empirische Validatie: Demonstratie dat het scheiden van identificatie en validatie de attributie van beveiligingsbevindingen verbetert, met name voor absence-type defecten.

4. Resultaten

4.1 Prestaties op de Common-Coverage Challenge Set

Geëvalueerd op 31 uitgesloten kwaadaardige PR's (19 self-generalization + 12 discovery gevallen) tegen CodeRabbit (een breed ingezette commerciële AI-reviewer):

• Blocking Performance (Blokkeringsprestaties): Beide systemen behaalden vergelijkbare blokkeringspercentages (CodeRabbit: 24/31; PRGUARD/DeepSeek: 22/31).
• Vulnerability Identification (I) (Identificatie van kwetsbaarheid): PRGUARD/DeepSeek identificeerde 1.38× meer doelkwetsbaarheden dan CodeRabbit (22 vs. 16).
• Absence-Type Defects: Op 14 gevallen waar een vereiste guard ontbrak, blokkeerden beide systemen 9 PR's. Echter, PRGUARD/DeepSeek identificeerde de doelkwetsbaarheid in 9/14 gevallen, terwijl CodeRabbit dit in slechts 3/14 gevallen deed (een verschil van 3×).
• Attributable Blocks (A) (Attributieve blokkeringen): PRGUARD/DeepSeek behaalde 19/31 attributieve blokkeringen, vergeleken met 16/31 voor CodeRabbit.
• Evidence Location (Bewijslocatie): CodeRabbit faalde bij het identificeren van targets in 0/7 gevallen die bewijs buiten de aangepaste bestanden vereisten (L2a/L2b), terwijl PRGUARD hier in de meeste gevallen in slaagde.

4.2 Full Pipeline Evaluation (Volledige Pipeline Evaluatie)

Op 63 uitgesloten kwaadaardige gevallen (exclusief de discovery-tier om bias te voorkomen):

• Pool B (Reversed Enforcement): Beide backends (GPT-5.5 en DeepSeek) identificeerden alle 37 doelkwetsbaarheden (I=37/37). De bewijsvalidatie (E) varieerde echter (26/37 voor GPT-5.5, 34/37 voor DeepSeek), wat aantoont dat identificatie geen garantie biedt voor geldende bewijsvoering.
• Benign Controls (Benigne controles): PRGUARD vertoonde een laag aantal fout-positieven (4–5 blokkeringen op 50 benigne controles), vergelijkbaar met CodeRabbit (0 blokkeringen op een subset van 6 controles).

4.3 Real-World Discovery (Ontdekking in de echte wereld)

Toegepast op productie-repositories, onthulde PRGUARD 12 voorheen niet-openbaar bekende, met proof-of-concept onderbouwde kwetsbaarheden in vijf veelgebruikte projecten.

• Onafhankelijke runs van PRGUARD en CodeRabbit blokkeerden beide 10/12 PR's in deze discovery-tier.
• Echter, PRGUARD produceerde 10/12 attributieve blokkeringen, terwijl CodeRabbit er slechts 4/12 produceerde, wat aantoont dat identieke verdict-totalen een 2.5× verschil in diagnostische kwaliteit kunnen maskeren.

5. Betekenis en Claims

Het paper claimt dat de Verdict–Diagnosis kloof een fundamentele beperking is van de huidige geautomatiseerde beveiligingsreview. Een "succesvolle" blokkering is onvoldoende als deze niet de kwetsbaarheid correct identificeert en onderbouwt, aangezien dit leidt tot ineffectieve remediatie.

• Attributabiliteit is essentieel: De auteurs betogen dat beveiligingsreviews attributabel moeten zijn—het oordeel moet gegrond zijn in specifieke repository-bewijzen die het geïdentificeerde mechanisme valideren.
• Scheiding van taken: De resultaten suggereren dat het scheiden van de taken van het identificeren van een kandidaat-kwetsbaarheid en het valideren daarvan tegen bewijs de betrouwbaarheid van de diagnose verbetert, met name voor complexe defecten die context over meerdere bestanden vereisen.
• Beperkingen: Het paper erkent dat PRGUARD geen wondermiddel is. Het behandelt prompt injection en oordeelsfouten als residuele aanvalsoppervlakken. De ontdekking van echte kwetsbaarheden toont de capaciteit aan, maar claimt geen schatting te geven van de recall-rate op willekeurige PR's, aangezien de kandidaat-stroom werd gefilterd voor handmatige validatie.

Samenvattend verschuift dit werk de focus van de evaluatie van "heeft het geblokkeerd?" naar "heeft het geblokkeerd om de juiste reden, met bewijs?", en introduceert het een methodologie en toolset om de risico's van misdiagnostische beveiligingsreviews te meten en te beperken.