Evidence Quality in Assurance-Oriented Benchmark Construction

Technisches Resümee: Evidenzqualität bei der Konstruktion von auf Assurance ausgerichteten Benchmarks

Problemstellung
Auf Assurance ausgerichtete Benchmarks, die aus öffentlichen Software-Vorfällen (Vulnerability Advisories, Repository-Issues, Incident Reports) konstruiert werden, erben ein fundamentales Problem der Evidenzqualität. Während ein Patch oder ein korrigierter Zustand zwar sichtbar sein mag, sind die für nachgelagerte Assurance-Analysen erforderlichen semantischen Ansprüche – wie etwa die Rekonstruktion des betroffenen Zustands, der Deployment-Kontext, Replay-Entscheidungen, Oracle-Machbarkeit und Release-Bedingungen – oft unvollständig oder mehrdeutig. Bestehende Arbeiten (z. B. Vul4J, ReposVul) haben die Notwendigkeit etabliert, öffentliche Schwachstellen hinsichtlich Reproduzierbarkeit und intrinsischer Datenqualität (Genauigkeit, Konsistenz, Vollständigkeit) zu filtern. Es verbleibt jedoch eine engere Lücke: die aufgabenbezogene Evidenzqualität, die zur Konstruktion einer rekonstruierten Systemrepräsentation für die Software-Assurance erforderlich ist. Selbst wenn ein betroffenes/korrigiertes Paar verfügbar ist, müssen Analysten Quell-/Folge-Grenzen (source/consequence boundaries), Kontextfelder und Enforcement-Aktivitäten definieren, die in öffentlichen Aufzeichnungen nicht explizit angegeben sind. Der evidenzielle Status dieser „autorisierten Semantik“ unterscheidet sich von der einfachen Verfügbarkeit der Quelle, und die öffentliche Freigabe kann auch dann beschränkt sein, wenn eine technische Rekonstruktion möglich wäre.

Methodik
Die Studie verwendet einen explorativen empirischen Fallstudien-Ansatz nach den Prinzipien der Software-Engineering-Transparenz. Die Analyseeinheit ist ein aus einem Vorfall abgeleiteter betroffener/korrigierter Fall.

1. Konstruktion des AIRR-40-Registers: Der Autor konstruierte einen eingefrorenen Rahmen von 40 Fällen öffentlicher Tool-nutzender Agenten und Model Context Protocol (MCP) Vorfälle. Dieses Register, AIRR-40, enthält 49 Felder, die auf öffentliche Evidenz-Pointer, Zeitstempel, Quellenschichten, Patch-Verfügbarkeit, Deployment-Rekonstruierbarkeit, Replay-Triage-Status, Oracle-Machbarkeit, Releasefähigkeit und gepaarte Kontrollverfügbarkeit abdecken.
2. Qualifizierungsprotokoll: Die Fälle wurden gegen eine „strenge“ Definition (die exakte Upstream-Fidelität und spezifische Release-Bedingungen erfordert) und eine „tolerante“ Definition (die mit der Replay-Entscheidbarkeit korreliert) geprüft. Blocker wurden als nicht-exklusive Kategorien erfasst (z. B. Rekonstruktion, Releasefähigkeit, Paarung).
3. Tiefe evidenzgebundene Repräsentationsprüfung: Eine Teilmenge von 10 Fällen (8 primäre strikte Fälle, 2 tolerante Stressfälle) wurde einer granularen Prüfung unterzogen. Dies beinhaltete:
   • Unabhängige Rückgewinnung der betroffenen/korrigierten Artefakte.
   • Konstruktion einer Repräsentation $R = (G, \Gamma, P, U)$, wobei $G$ der Source-to-Consequence-Graph ist, $\Gamma$ die analysator-relative Semantik (Fähigkeiten, Kontext, Bindungen, Transformationen, Aktivität) darstellt, $P$ Elemente auf nominale Provenanzkategorien abbildet und $U$ ungelöste Alternativen protokolliert.
   • Klassifizierung von 190 Repräsentationszeilen in nominale Provenanzkategorien (z. B. Direct Anchor Supported, Synthesis Explicit).
   • Verifizierung, dass alle 52 analysator-relevanten semantischen Attribute durch die Quelle informiert und nicht durch unabhängiges Ground Truth waren.
4. Rolle des Analysators: Zwei Analysatoren (A0 und A1) wurden eingesetzt, um Pfad-/Kapazitätsvermittlung und Kontextbindung zu prüfen. Die Studie konzentriert sich darauf, wie ungelöste Annahmen (speziell in Fall C4) die statischen Assurance-Schlussfolgerungen unter verschiedenen zulässigen Zuweisungen (fail-open vs. fail-closed) verändern.

Zentrale Ergebnisse

• Qualifizierungs-Attrition: Von 40 Kandidaten wiesen 39/40 einen Patch oder einen korrigierten Zustand auf. Jedoch erfüllten nur 20/40 die strengen Paarungskriterien. Die Lücke zwischen „Patch verfügbar“ und „strikter Inklusion“ verdeutlicht, dass technische Fixes keine Garantie für Assurance-bereite Evidenz bieten.
• Dekomposition der Blocker: Unter den 15 verbliebenen Präfix-Fällen, die die strikte Inklusion nicht erfüllten, waren die häufigsten nicht-exklusiven Blocker:
  • Rekonstruktion (14 Fälle)
  • Releasefähigkeit (9 Fälle)
  • Replay/Quell-Resolution (4 Fälle)
  • Paarung (3 Fälle)
  • Oracle-Machbarkeit (1 Fall)
  • Hinweis: Fall C38 war technisch rekonstruierbar (exact-upstream), wurde aber ausschließlich aufgrund von bedingter Releasefähigkeit ausgeschlossen, was zeigt, dass Release-Beschränkungen unabhängig von der technischen Qualität der Evidenz sein können.
• Provenanz-Audit: In der tiefen Prüfung von 190 Zeilen waren alle 52 analysator-relevanten semantischen Attribute quelleninformiert und nicht unabhängiges Ground Truth. Es existierte keine direkte oder nur dokumentierte Folge-Grenze (consequence boundary) in der tiefen Teilmenge; jede deklarierte Folge-Senke (consequence sink) wurde inferiert.
• Schlussfolgerungsrelevante Unsicherheit (Fall C4): Fall C4 demonstrierte, dass ein ungelöstes Feld für die Enforcement-Aktivität je nach Zuweisung (fail-open vs. fail-closed) unterschiedliche Schlussfolgerungen über den korrigierten Zustand liefert. Unter einer Zuweisung ist das Ergebnis Witness; unter der anderen ist es No-Witness-under-Abstraction. Dies beweist, dass ungelöste Alternativen ($U$) nicht bloßer Dokumentationsaufwand sind, sondern die statischen Assurance-Schlussfolgerungen grundlegend verändern können.

Zentrale Beiträge

1. Empirische Charakterisierung der Evidenzqualität: Die Studie quantifiziert die Lücke zwischen öffentlicher Offenlegung und strikten, für Assurance bereit verfügbaren Benchmarks (39/40 vs. 20/40) und dekomponiert die spezifischen Blocker (Rekonstruktion, Releasefähigkeit usw.).
2. Element-Ebene-Provenanz-Audit: Sie führt ein Framework zur Trennung von analysator-relativer Semantik ($\Gamma$), nominaler Provenanz ($P$) und ungelösten Alternativen ($U$) ein und markiert explizit, dass die Wiederherstellung des Quellen-Paares nicht automatisch unabhängiges Ground Truth für semantische Felder liefert.
3. Identifikation von Unsicherheitsgrenzen: Durch Fall C4 zeigt die Studie, dass ungelöste Repräsentationsannahmen die statischen Assurance-Schlussfolgerungen ändern können, und argumentiert, dass ungelöste Alternativen als First-Class-Entitäten behandelt werden sollten, statt sie in negative Befunde zu zwingen.
4. AIRR-40 Ressource: Die Veröffentlichung eines wiederverwendbaren, eingefrorenen 40-Fall-Registers mit 49 Feldern, einem 20-Fall-Exact-Upstream-Striktheits-Manifest, öffentlichen Evidenz-Pointern und Reproduzierbarkeits-Artefakten.

Bedeutung und Ansprüche
Das Paper erhebt explizit keine Ansprüche bezüglich:

• Der Schätzung der Populationsbereitschaft oder der Detektorgenauigkeit.
• Der Proponierung eines neuen ISO/IEC 25012 Datenqualitätsmodells oder einer universellen ordinalen Evidenzstärke-Skala.
• Dient als Trainingskorpus für Detektoren.
• Der Behauptung von Neuheit in der allgemeinen Filterung öffentlicher Schwachstellen (unter Anerkennung vorangegangener Arbeiten wie Vul4J und Croft et al.).

Die Bedeutung liegt stattdessen in der Charakterisierung der Evidenzqualität für die Konstruktion von auf Assurance ausgerichteten Benchmarks. Die Studie argumentiert, dass die „Fitness“ von Evidenz für agentenbasierte Tools und Assurance-Studien nicht nur durch die Existenz eines Patches bestimmt wird, sondern durch die Rekonstruierbarkeit der Systemrepräsentation, die Machbarkeit der Freigabe und die explizite Handhabung ungelöster semantischer Alternativen. Die AIRR-40 Ressource ermöglicht es Forschern, diese aufgabenbezogenen Qualitätsbedingungen zu inspizieren, Ergebnisse neu zu berechnen und alternative Admissibilitäts-Policies anzuwenden, ohne die strengen Kriterien der Studie als universelle Regeln zu akzeptieren. Die Ergebnisse dienen als Warnung, dass $R \neq S$ ($R$ steht für Repräsentation, $S$ für System) gilt und dass Assurance-Fragen schlecht gestellt sein können, wenn die zugrunde liegende Evidenz mangelnde spezifische semantische Provenanz aufweist.