Evidence Quality in Assurance-Oriented Benchmark Construction

Technische Samenvatting: Bewijskwaliteit in Assurance-georiënteerde Benchmark-constructie

Probleemstelling
Assurance-georiënteerde benchmarks die zijn geconstrueerd op basis van publieke software-incidenten (kwetsbaarheidsadviezen, repository-issues, incidentrapporten) erven een fundamenteel probleem met de kwaliteit van het bewijs. Hoewel een patch of een gecorrigeerde staat zichtbaar kan zijn, zijn de semantische claims die vereist zijn voor downstream assurance-analyse—zoals de reconstructie van de getroffen staat, de context van implementatie, replay-beslissingen, oracle-haalbaarheid en release-condities—vaak incompleet of ambigu. Bestaand werk (bijv. Vul4J, ReposVul) heeft de noodzaak vastgesteld om publieke kwetsbaarheden te filteren op reproduceerbaarheid en intrinsieke datakwaliteit (nauwkeurigheid, consistentie, volledigheid). Echter, er blijft een nauwer gat bestaan: de taak-relatieve bewijskwaliteit die vereist is voor het construeren van een gereconstrueerde systeemrepresentatie voor software assurance. Zelfs wanneer een getroffen/gecorrigeerd paar beschikbaar is, moeten analisten bron-/gevolg-grenzen, contextvelden en handhavingsactiviteiten definiëren die publieke records niet expliciet vermelden. De bewijskundige status van deze "geauteurde semantiek" is verschillend van eenvoudige bronbeschikbaarheid, en publieke vrijgave kan beperkt zijn, zelfs wanneer technische reconstructie mogelijk is.

Methodologie
De studie hanteert een exploratieve empirische casestudy-benadering volgens de principes van software engineering-transparantie. De eenheid van analyse is een uit een incident afgeleid getroffen/gecorrigeerd geval.

1. AIRR-40 Registratie-constructie: De auteur heeft een bevroren frame van 40 gevallen geconstrueerd van publieke tool-gebruikende agenten en Model Context Protocol (MCP) incidenten. Deze registratie, AIRR-40, bevat 49 velden die publieke bewijspunten, tijdstempels, bronstrata, patch-beschikbaarheid, reconstructeerbaarheid van implementatie, replay-triage status, oracle-haalbaarheid, releasebaarheid en gekoppelde controle-beschikbaarheid beslaan.
2. Kwalificatieprotocol: Casussen werden gescreend tegen een "strikte" definitie (die exacte upstream-getrouwheid en specifieke release-condities vereist) en een "leniente" definitie (samenvallend met replay-beslisbaarheid). Blokkerende factoren werden geregistreerd als niet-exclusieve categorieën (bijv. reconstructie, releasebaarheid, koppeling).
3. Deep Evidence-Bounded Representation Audit: Een subset van 10 gevallen (8 strikte primaire, 2 leniente stress-gevallen) onderging een granulair audit. Dit omvatte:
   • Onafhankelijke herverwerving van getroffen/gecorrigeerde artefacten.
   • Constructie van een representatie $R = (G, \Gamma, P, U)$, waarbij $G$ de bron-naar-gevolg grafiek is, $\Gamma$ de analyzer-relatieve semantiek vertegenwoordigt (capaciteiten, context, bindingen, transformaties, activiteit), $P$ elementen mapt naar nominale herkomstcategorieën, en $U$ onopgeloste alternatieven registreert.
   • Classificatie van 190 representatierijen in nominale herkomstcategorieën (bijv. Direct Anchor Supported, Synthesis Explicit).
   • Verificatie dat alle 52 voor de analyzer relevante semantische attributen gebaseerd waren op de bron en niet op onafhankelijke grondwaarheid.
4. Rol van de Analyzer: Twee analyzers (A0 en A1) werden gebruikt om pad-/capaciteitsbemiddeling en contextbinding te controleren. De studie richt zich op hoe onopgeloste aannames (specifiek in Geval C4) assurance-conclusies onder verschillende toelaatbare toewijzingen (fail-open versus fail-closed) veranderen.

Belangrijkste Resultaten

• Kwalificatie-attritie: Van de 40 kandidaten vertoonden 39/40 een patch of gecorrigeerde staat. Echter, slechts 20/40 voldeden aan de strikte gekoppelde criteria. De kloof tussen "patch beschikbaar" en "strikte inclusie" benadrukt dat technische fixes geen garantie bieden voor assurance-klaar bewijs.
• Decompositie van Blokkerende Factoren: Onder de 15 overlevende prefixen die faalden op strikte inclusie, waren de meest frequente niet-exclusieve blokkers:
  • Reconstructie (14 gevallen)
  • Releasebaarheid (9 gevallen)
  • Replay/Bronresolutie (4 gevallen)
  • Koppeling (3 gevallen)
  • Oracle-haalbaarheid (1 geval)
  • Noot: Geval C38 was technisch reconstructeerbaar (exact-upstream) maar werd uitsluitend uitgesloten vanwege conditionele releasebaarheid, wat aantoont dat release-beperkingen onafhankelijk kunnen zijn van de technische kwaliteit van het bewijs.
• Provenance Audit: In de diepe audit van 190 rijen waren alle 52 voor de analyzer relevante semantische attributen bron-geïnformeerd in plaats van onafhankelijke grondwaarheid. Er bestond geen directe of enkel gedocumenteerde gevolg-grens in de diepe subset; elke verklaarde gevolg-sink werd geïnferred.
• Conclusie-relevante Onzekerheid (Geval C4): Geval C4 toonde aan dat een onopgelast handhavingsactiviteit-veld leidt tot verschillende fixed-state conclusies afhankelijk van de toewijzing (fail-open vs. fail-closed). Onder de ene toewijzing is het resultaat Witness; onder de andere is het No-Witness-under-Abstraction. Dit bewijst dat onopgeloste alternatieven ($U$) niet louter documentatie-overhead zijn, maar fundamenteel de assurance-conclusies kunnen veranderen.

Belangrijkste Bijdragen

1. Empirische Karakterisering van Bewijskwaliteit: De studie kwantificeert de kloof tussen publieke openbaarmaking en strikte assurance-klare benchmarks (39/40 vs. 20/40) en decomponeert de specifieke blokkerende factoren (reconstructie, releasebaarheid, etc.).
2. Element-niveau Provenance Audit: Het introduceert een raamwerk voor het scheiden van analyzer-relatieve semantiek ($\Gamma$), nominale herkomst ($P$), en onopgeloste alternatieven ($U$), waarbij expliciet wordt gemarkeerd dat het herstellen van de bron-paren niet automatisch zorgt voor onafhankelijke grondwaarheid voor semantische velden.
3. Identificatie van Onzekerheidsgrenzen: Door middel van Geval C4 toont de studie aan dat onopgeloste representatie-aannames de statische assurance-conclusies kunnen veranderen, en betoogt dat onopgeloste alternatieven als eerste-orde entiteiten moeten blijven bestaan in plaats van te worden gedwongen in negatieve bevindingen.
4. AIRR-40 Resource: De release van een herbruikbare, bevroren 40-geval, 49-veld registratie met een 20-geval exact-upstream strikt manifest, publieke bewijspunten en reproduceerbaarheidsartefacten.

Betekenis en Claims
Het artikel claimt expliciet niet:

• De populatie-gereedheid of detector-nauwkeurigheid te schatten.
• Een nieuw ISO/IEC 25012 datakwaliteitsmodel of een universele ordinale bewijskrachtschaal voor te stellen.
• Te dienen als trainingscorpus voor detectoren.
• Nieuwigheid te claimen in de algemene filtering van publieke kwetsbaarheden (erkentend dat er eerder werk is zoals Vul4J en Croft et al.).

In plaats daarvan ligt de betekenis in het karakteriseren van de bewijskwaliteit voor assurance-georiënteerde benchmark-constructie. De studie voert aan dat de "geschiktheid" van bewijs voor tool-gebruikende agenten en assurance-studies niet alleen wordt bepaald door de aanwezigheid van een patch, maar door de reconstructeerbaarheid van de systeemrepresentatie, de haalbaarheid van vrijgave en de expliciete behandeling van onopgeloste semantische alternatieven. De AIRR-40 resource stelt onderzoekers in staat om deze taak-relatieve kwaliteitscondities te inspecteren, resultaten opnieuw te berekenen en alternatieve toelatingsbeleid toe te passen zonder de strikte criteria van de studie als universele regels te accepteren. De bevindingen dienen als een waarschuwing dat $R \neq S$ (Representatie is niet gelijk aan Systeem) en dat assurance-vragen problematisch kunnen zijn als de onderliggende bewijslast een specifieke semantische herkomst mist.