Evidence Quality in Assurance-Oriented Benchmark Construction

Resumen Técnico: Calidad de la Evidencia en la Construcción de Benchmarks Orientados a la Garantía (Assurance)

Planteamiento del Problema
Los benchmarks orientados a la garantía, construidos a partir de incidentes de software públicos (avisos de vulnerabilidades, problemas en repositorios, informes de incidentes), heredan un problema fundamental de calidad de la evidencia. Si bien un parche o un estado corregido pueden ser visibles, las afirmaciones semánticas requeridas para el análisis de garantía posterior —como la reconstrucción del estado afectado, el contexto de despliegue, las decisiones de reproducción (replay), la viabilidad del oráculo y las condiciones de lanzamiento— suelen ser incompletas o ambiguas. Trabajos existentes (p. ej., Vul4J, ReposVul) han establecido la necesidad de filtrar las vulnerabilidades públicas para la reproducibilidad y la calidad intrínseca de los datos (exactitud, consistencia, completitud). Sin embargo, persiste una brecha más estrecha: la calidad de la evidencia relativa a la tarea requerida para construir una representación reconstruida del sistema para la garantía de software. Específicamente, incluso cuando se dispone de un par afectado/corregido, los analistas deben autorizar los límites de origen/consecuencia, los campos de contexto y las actividades de ejecución que los registros públicos no declaran explícitamente. El estatus de evidencia de estas "semánticas autoradas" es distinto de la simple disponibilidad de la fuente, y la liberación pública puede estar restringida incluso cuando la reconstrucción técnica es posible.

Metodología
El estudio emplea un enfoque de estudio de caso empírico exploratorio siguiendo los principios de transparencia de la ingeniería de software. La unidad de análisis es un caso derivado de un incidente con par afectación/corrección.

1. Construcción del Registro AIRR-40: El autor construyó un marco congelado de 40 casos de incidentes de agentes que utilizan herramientas e implementación del Protocolo de Contexto de Modelo (MCP). Este registro, AIRR-40, contiene 49 campos que cubren punteros de evidencia pública, marcas de tiempo, estratos de origen, disponibilidad de parches, reconstruibilidad de despliegue, estatus de triaje de reproducción, viabilidad de oráculo, capacidad de liberación y disponibilidad de control emparejado.
2. Protocolo de Calificación: Los casos fueron filtrados contra una definición "estricta" (que requiere fidelidad exacta al upstream y condiciones de liberación específicas) y una definición "flexible" (que coincide con la decidibilidad de la reproducción). Los bloqueadores se registraron como categorías no exclusivas (p. ej., reconstrucción, liberación, emparejamiento).
3. Auditoría de Representación Limitada por Evidencia Profunda: Un subconjunto de 10 casos (8 casos primarios estrictos, 2 casos de estrés solo flexibles) se sometió a una auditoría granular. Esto implicó:
   • Readquisición independiente de los artefactos afectados/corregidos.
   • Construcción de una representación $R = (G, \Gamma, P, U)$, donde $G$ es el grafo de origen a consecuencia, $\Gamma$ representa la semántica relativa al analizador (capacidades, contexto, vínculos, transformaciones, actividad), $P$ mapea los elementos a categorías de procedencia nominal y $U$ registra las alternativas no resueltas.
   • Clasificación de 190 filas de representación en categorías de procedencia nominal (p. ej., Soportado por Anclaje Directo, Síntesis Explícita).
   • Verificación de que todos los 52 atributos semánticos relevantes para el analizador estuvieran informados por la fuente en lugar de ser una verdad fundamental independiente.
4. Rol del Analizador: Se utilizaron dos analizadores (A0 y A1) para verificar la mediación de ruta/capacidad y el vínculo de contexto. El estudio se centra en cómo las suposiciones no resueltas (específicamente en el Caso C4) alteran las conclusiones de garantía estática bajo diferentes asignaciones admisibles (fallo abierto vs. fallo cerrado).

Resultos Clave

• Atrición de Calificación: De 40 candidatos, 39/40 expusieron un parche o estado corregido. Sin embargo, solo 20/40 cumplieron con los criterios estrictos de emparejamiento. La brecha entre "par disponible" y "inclusión estricta" resalta que los arreglos técnicos no garantizan evidencia lista para la garantía.
• Descomposición de Bloqueadores: Entre los 15 supervivientes de prefijo que fallaron la inclusión estricta, los bloqueadores no exclusivos más frecuentes fueron:
  • Reconstrucción (14 casos)
  • Capacidad de liberación (9 casos)
  • Resolución de Reproducción/Fuente (4 casos)
  • Emparejamiento (3 casos)
  • Viabilidad de Oráculo (1 caso)
  • Nota: El Caso C38 era técnicamente reconstruible (exacto al upstream) pero fue excluido únicamente debido a la liberación condicional, demostrando que las restricciones de liberación pueden ser independientes de la calidad de la evidencia técnica.
• Auditoría de Procedencia: En la auditoría profunda de 190 filas, los 52 atributos semánticos relevantes para el analizador fueron informados por la fuente en lugar de ser una verdad fundamental independiente. No existió ningún límite de consecuencia directo o documentado únicamente; cada sumidero de consecuencia declarado fue inferido.
• Incertidumbre Relevante para la Conclusión (Caso C4): El Caso C4 demostró que un campo de actividad de ejecución no resuelto genera diferentes conclusiones de estado fijo dependiendo de la asignación (fallo abierto vs. fallo cerrado). Bajo una asignación, el resultado es Testigo (Witness); bajo la otra, es Sin-Testigo-bajo-Abstracción. Esto prueba que las alternativas no resueltas ($U$) no son meramente sobrecarga de documentación, sino que pueden alterar fundamentalmente las conclusiones de garantía.

Contribuciones Clave

1. Caracterización Empírica de la Calidad de la Evidencia: El estudio cuantifica la brecha entre la divulgación pública y los benchmarks estrictos listos para la garantía (39/40 vs. 20/40) y descompone los bloqueadores específicos (reconstrucción, liberación, etc.) que impiden la inclusión.
2. Auditoría de Procedencia a Nivel de Elemento: Introduce un marco para separar la semántica relativa al analizador ($\Gamma$), la procedencia nominal ($P$) y las alternativas no resueltas ($U$), marcando explícitamente que la recuperación del par de la fuente no proporciona automáticamente una verdad fundamental independiente para los campos semánticos.
3. Identificación de Fronteras de Incertidumbre: A través del Caso C4, el estudio demuestra que las suposiciones de representación no resueltas pueden cambiar las conclusiones de garantía estática, argumentando que las alternativas no resueltas deben permanecer como entidades de primera clase en lugar de ser forzadas hacia hallazgos negativos.
4. Recurso AIRR-40: El lanzamiento de un registro reutilizable de 40 casos y 49 campos, con un manifiesto estricto de 20 casos de exactitud al upstream, punteros de evidencia pública y artefactos de reproducibilidad.

Significancia y Reivindicaciones
El documento explícitamente no pretende:

• Estimar la preparación de la población o la precisión del detector.
• Proponer un nuevo modelo de calidad de datos ISO/IEC 25012 o una escala ordinal universal de fuerza de evidencia.
• Servir como corpus de entrenamiento para detectores.
• Reivindicar novedad en el filtrado general de vulnerabilidades públicas (reconociendo trabajos previos como Vul4J y Croft et al.).

En cambio, la significancia radica en caracterizar la calidad de la evidencia para la construcción de benchmarks orientados a la garantía. El estudio argumenta que, para los agentes que utilizan herramientas y los estudios de garantía, la "aptitud" de la evidencia se determina no solo por la existencia de un parche, sino por la reconstruibilidad de la representación del sistema, la viabilidad de la liberación y el manejo explícito de las alternativas semánticas no resueltas. El recurso AIRR-40 permite a los investigadores inspeccionar estas condiciones de calidad relativa a la tarea, recomputar resultados y aplicar políticas de admisibilidad alternativas sin aceptar los criterios estrictos del estudio como reglas universales. Los hallazgos sirven como advertencia de que $R \neq S$ (La Representación no es igual al Sistema) y que las preguntas de garantía pueden estar mal planteadas si la evidencia subyacente carece de una procedencia semántica específica.