Evidence Quality in Assurance-Oriented Benchmark Construction

Résumé Technique : Qualité de la Preuve dans la Construction de Benchmarks Orientés vers l'Assurance

Énoncé du Problème
Les benchmarks orientés vers l'assurance, construits à partir d'incidents logiciels publics (avis de vulnérabilité, problèmes de dépôts, rapports d'incidents), héritent d'un problème fondamental de qualité de la preuve. Bien qu'un correctif ou un état corrigé puisse être visible, les affirmations sémantiques requises pour l'analyse d'assurance en aval — telles que la reconstruction de l'état affecté, le contexte de déploiement, les décisions de rejeu, la faisabilité de l'oracle et les conditions de publication — sont souvent incomplètes ou ambiguës. Les travaux existants (ex. Vul4J, ReposVul) ont établi la nécessité de filtrer les vulnérabilités publiques pour la reproductibilité et la qualité intrinsèque des données (exactitude, cohérence, complétude). Cependant, un écart plus étroit subsiste : la qualité de la preuve relative à la tâche requise pour construire une représentation reconstruite du système pour l'assurance logicielle. Plus précisément, même lorsqu'une paire affecté/corrigé est disponible, les analystes doivent rédiger les frontières source/conséquence, les champs de contexte et les activités d'application que les registres publics n'énoncent pas explicitement. Le statut probatoire de ces « sémantiques rédigées » est distinct de la simple disponibilité de la source, et la publication publique peut être contrainte même lorsque la reconstruction technique est possible.

Méthodologie
L'étude emploie une approche empirique par étude de cas exploratoire suivant les principes de transparence du génie logiciel. L'unité d'analyse est un cas affecté/corrigé dérivé d'un incident.

1. Construction du Registre AIRR-40 : L'auteur a construit un cadre figé de 40 cas de cas utilisant des agents et le protocole MCP (Model Context Protocol). Ce registre, AIRR-40, contient 49 champs couvrant les pointeurs de preuves publiques, les horodatages, les strates de sources, la disponibilité des correctifs, la reconstructibilité du déploiement, le statut de rejeu/triage, la faisabilité de l'oracle, la possibilité de publication et la disponibilité des contrôles appariés.
2. Protocole de Qualification : Les cas ont été filtrés selon une définition « stricte » (exigeant une fidélité exacte à l'amont et des conditions de publication spécifiques) et une définition « lâche » (coïncidant avec la décidabilité du rejeu). Les bloqueurs ont été enregistrés comme des catégories non exclusives (ex. reconstruction, publication, appariement).
3. Audit Approfondi de la Représentation Liée aux Limites de Preuve : Un sous-ensemble de 10 cas (8 cas primaires stricts, 2 cas de stress de type lâche uniquement) a subi un audit granulaire. Cela impliquait :
   • La réacquisition indépendante des artefacts affectés/corrigés.
   • La construction d'une représentation $R = (G, \Gamma, P, U)$, où $G$ est le graphe source-vers-conséquence, $\Gamma$ représente les sémantiques relatives à l'analyseur (capacités, contexte, liaisons, transformations, activité), $P$ cartographie les éléments vers des catégories de provenance nominale, et $U$ enregistre les alternatives non résolues.
   • La classification de 190 lignes de représentation en catégories de provenance nominale (ex. Direct Anchor Supported, Synthesis Explicit).
   • La vérification que les 52 attributs sémantiques pertinents pour l'analyseur étaient informés par la source plutôt que par une vérité terrain indépendante.
4. Rôle de l'Analyseur : Deux analyseurs (A0 et A1) ont été utilisés pour vérifier la médiation des chemins/capacités et la liaison de contexte. L'étude se concentre sur la manière dont les hypothèses non résolues (spécifiquement dans le Cas C4) modifient les conclusions d'assurance statique sous différentes affectations (fail-open vs fail-closed).

Résultats Clés

• Attrition de Qualification : Sur 40 candidats, 39/40 exposaient un correctif ou un état corrigé. Cependant, seuls 20/40 répondaient aux critères de paire stricts. L'écart entre « correctif disponible » et « inclusion stricte » souligne que les correctifs techniques ne garantissent pas une preuve prête pour l'assurance.
• Décomposition des Bloqueurs : Parmi les 15 survivants de préfixe ayant échoué à l'inclusion stricte, les bloqueurs les plus fréquents (non exclusifs) étaient :
  • Reconstruction (14 cas)
  • Publication/Libération (9 cas)
  • Rejeu/Résolution de la source (4 cas)
  • Appariement (3 cas)
  • Faisabilité de l'oracle (1 cas)
  • Note : Le Cas C38 était techniquement reconstructible (exact-upstream) mais exclu uniquement en raison d'une publication conditionnelle, démontrant que les contraintes de publication peuvent être indépendantes de la qualité technique de la preuve.
• Audit de Provenance : Dans l'audit approfondi de 190 lignes, les 52 attributs sémantiques pertinents pour l'analyseur étaient informés par la source plutôt que par une vérité terrain indépendante. Aucune frontière de conséquence directe ou documentée n'existait dans le sous-ensemble profond ; chaque puits de conséquence déclaré était inféré.
• Incertitude Pertinente pour la Conclusion (Cas C4) : Le Cas C4 a démontré qu'un champ d'activité d'application non résolu produit des conclusions d'état fixé différentes selon l'affectation (fail-open vs fail-closed). Sous une affectation, le résultat est Witness ; sous l'autre, il est No-Witness-under-Abstraction. Cela prouve que les alternatives non résolues ($U$) ne sont pas de simples surcharges de documentation, mais peuvent fondamentalement altérer les conclusions d'assurance.

Contributions Clés

1. Caractérisation Empirique de la Qualité de la Preuve : L'étude quantifie l'écart entre la divulgation publique et les benchmarks stricts prêts pour l'assurance (39/40 vs 20/40) et décompose les bloqueurs spécifiques (reconstruction, publication, etc.) qui empêchent l'inclusion.
2. Audit de Provenance au Niveau de l'Élément : Elle introduit un cadre pour séparer les sémantiques relatives à l'analyseur ($\Gamma$), la provenance nominale ($P$) et les alternatives non résolues ($U$), en marquant explicitement que la récupération de la paire source ne fournit pas automatiquement une vérité terrain indépendante pour les champs sémantiques.
3. Identification des Frontières d'Incertitude : À travers le Cas C4, l'étude démontre que les hypothèses de représentation non résolues peuvent changer les conclusions d'assurance statique, arguant que les alternatives non résolues devraient rester des entités de premier rang plutôt que d'être forcées dans des résultats négatifs.
4. Ressource AIRR-40 : La publication d'un registre réutilisable et figé de 40 cas et 49 champs, comprenant un manifeste strict de 20 cas exact-upstream, des pointeurs de preuves publiques et des artefacts de reproductibilité.

Signification et Revendications
Le papier déclare explicitement ne pas prétendre à :

• Estimer la préparation de la population ou la précision des détecteurs.
• Proposer un nouveau modèle de qualité des données ISO/IEC 25012 ou une échelle ordinale universelle de force de preuve.
• Servir de corpus d'entraînement pour les détecteurs.
• Revendiquer une nouveauté dans le filtrage général des vulnérabilités publiques (en reconnaissant les travaux antérieurs comme Vul4J et Croft et al.).

Au lieu de cela, la signification réside dans la caractérisation de la qualité de la preuve pour la construction de benchmarks orientés vers l'assurance. L'étude soutient que pour les agents utilisant des outils et les études d'assurance, la « fitness » de la preuve est déterminée non seulement par l'existence d'un correctif, mais par la reconstructibilité de la représentation du système, la faisabilité de la publication et la gestion explicite des alternatives sémantiques non résolues. La ressource AIRR-40 permet aux chercheurs d'inspecter ces conditions de qualité relatives à la tâche, de re-calculer les résultats et d'appliquer des politiques d'admissibilité alternatives sans accepter les critères stricts de l'étude comme des règles universelles. Les conclusions servent d'avertissement que $R \neq S$ (la Représentation n'est pas le Système) et que les questions d'assurance peuvent être mal posées si la preuve sous-jacente manque de provenance sémantique spécifique.