Evidence Quality in Assurance-Oriented Benchmark Construction

Resumo Técnico: Qualidade da Evidência na Construção de Benchmarks Orientados à Garantia (Assurance)

Declaração do Problema
Benchmarks orientados à garantia (assurance) construídos a partir de incidentes de software públicos (avisos de vulnerabilidade, problemas em repositórios, relatórios de incidentes) herdam um problema fundamental de qualidade de evidência. Embora um patch ou estado corrigido possa estar visível, as alegações semânticas necessárias para análise de garantia downstream — como a reconstrução do estado afetado, contexto de implantação, decisões de replay, viabilidade de oracle e condições de liberação — são frequentemente incompletas ou ambíguas. Trabalhos existentes (ex: Vul4J, ReposVul) estabeleceram a necessidade de filtrar vulnerabilidades públicas para reprodutibilidade e qualidade intrínseca de dados (precisão, consistência, completude). No entanto, uma lacuna mais estreita permanece: a qualidade de evidência relativa à tarefa necessária para construir uma representação de sistema reconstruída para garantia de software. Especificamente, mesmo quando um par afetado/corrigido está disponível, analistas devem autoriarem fronteiras de origem/consequência, campos de contexto e atividades de aplicação que os registros públicos não declaram explicitamente. O status de evidência dessas "semânticas autoriais" é distinto da simples disponibilidade de origem, e a liberação pública pode ser restrita mesmo quando a reconstrução técnica é possível.

Metodologia
O estudo emprega uma abordagem de estudo de caso empírico exploratório seguindo princípios de transparência de engenharia de software. A unidade de análise é um caso afetado/corrigido derivado de incidente.

1. Construção do Registro AIRR-40: O autor construiu um frame congelado de 40 casos de agentes de uso de ferramentas públicos e Protocolo de Contexto de Modelo (MCP). Este registro, AIRR-40, contém 49 campos cobrindo ponteiros de evidência pública, carimbos de tempo, estratos de origem, disponibilidade de patch, reconstruibilidade de implantação, status de replay-triagem, viabilidade de oracle, liberabilidade e disponibilidade de controle pareado.
2. Protocolo de Qualificação: Os casos foram triados contra uma definição "estrita" (exigindo fidelidade exata ao upstream e condições de liberação específicas) e uma definição "leniente" (coincidindo com a decidibilidade de replay). Os bloqueadores foram registrados como categorias não exclusivas (ex: reconstrução, liberabilidade, pareamento).
3. Auditoria de Representação Limitada por Evidência Profunda: Um subconjunto de 10 casos (8 primários estritos, 2 casos de estresse lenientes) passou por uma auditoria granular. Isso envolveu:
   • Reaquisição independente de artefatos afetados/corrigidos.
   • Construção de uma representação $R = (G, \Gamma, P, U)$, onde $G$ é o grafo de origem-para-consequência, $\Gamma$ representa as semânticas relativas ao analisador (capacidades, contexto, vínculos, transformações, atividade), $P$ mapeia elementos para categorias nominais de proveniência e $U$ registra alternativas não resolvidas.
   • Classificação de 190 linhas de representação em categorias nominais de proveniência (ex: Suportado por Âncora Direta, Síntese Explícita).
   • Verificação de que todos os 52 atributos semânticos relevantes ao analisador eram informados pela fonte, em vez de serem verdade fundamental (ground truth) independente.
4. Papel do Analisador: Dois analisadores (A0 e A1) foram usados para verificar a mediação de caminho/capacidade e o vínculo de contexto. O estudo foca em como suposições não resolvidas (especificamente no Caso C4) alteram conclusões de garantia estática sob diferentes atribuições admissíveis (fail-open vs. fail-closed).

Resultos Principais

• Atrito de Qualificação: Dos 40 candidatos, 39/40 expuseram um patch ou estado corrigido. No entanto, apenas 20/40 atenderam aos critérios pareados estritos. A lacuna entre "patch disponível" e "inclusão estrita" destaca que correções técnicas não garantem evidência pronta para garantia.
• Decomposição de Bloqueios: Entre os 15 sobreviventes de prefixo que falharam na inclusão estrita, os bloqueadores mais frequentes não exclusivos foram:
  • Reconstrução (14 casos)
  • Liberabilidade (9 casos)
  • Replay/Resolução de Origem (4 casos)
  • Pareamento (3 casos)
  • Viabilidade de Oracle (1 caso)
  • Nota: O Caso C38 era tecnicamente reconstruível (upstream exato), mas foi excluído apenas devido à liberabilidade condicional, demonstrando que restrições de liberação podem ser independentes da qualidade da evidência técnica.
• Auditoria de Proveniência: Na auditoria profunda de 190 linhas, todos os 52 atributos semânticos relevantes ao analisador foram informados pela fonte em vez de serem verdade fundamental independente. Nenhuma fronteira de consequência direta ou documentada existia no subconjunto profundo; cada sumidouro de consequência declarado foi inferido.
• Incerteza Relevante à Conclusão (Caso C4): O Caso C4 demonstrou que um campo de atividade de aplicação não resolvido gera conclusões de estado fixo diferentes dependendo da atribuição (fail-open vs. fail-closed). Sob uma atribuição, o resultado é Testemunha (Witness); sob a outra, é Não-Testemunha-sob-Abstração (No-Witness-under-Abstraction). Isso prova que as alternativas não resolvidas ($U$) não são meramente sobrecarga de documentação, mas podem alterar fundamentalmente as conclusões de garantia.

Principais Contribuições

1. Caracterização Empírica da Qualidade da Evidência: O estudo quantifica a lacuna entre a divulgação pública e os benchmarks estritos prontos para garantia (39/40 vs. 20/40) e decompõe os bloqueios específicos (reconstrução, liberabilidade, etc.) que impedem a inclusão.
2. Auditoria de Proveniência ao Nível de Elemento: Introduz um framework para separar semânticas relativas ao analisador ($\Gamma$), proveniência nominal ($P$) e alternativas não resolvidas ($U$), marcando explicitamente que a recuperação do par de origem não fornece automaticamente a verdade fundamental para campos semânticos.
3. Identificação de Fronteiras de Incerteza: Através do Caso C4, o estudo demonstra que suposições de representação não resolvidas podem mudar conclusões de garantia estática, argumentando que as alternativas não resolvidas devem permanecer como entidades de primeira classe em vez de serem forçadas em achados negativos.
4. Recurso AIRR-40: O lançamento de um registro de 40 casos, 49 campos, congelado e reutilizável, com um manifesto estrito de upstream exato de 20 casos, ponteiros de evidência pública e artefatos de reprodutibilidade.

Significância e Alegações
O artigo explicitamente não alega:

• Estimar a prontidão da população ou a precisão do detector.
• Propor um novo modelo de qualidade de dados ISO/IEC 25012 ou uma escala ordinal universal de força de evidência.
• Servir como um corpus de treinamento para detectores.
• Alega novidade na filtragem geral de vulnerabilidades públicas (reconhecendo trabalhos anteriores como Vul4J e Croft et al.).

Em vez disso, a significância reside em caracterizar a qualidade da evidência para a construção de benchmarks orientados à garantia. O estudo argumenta que a "aptidão" da evidência para agentes de uso de ferramentas e estudos de garantia é determinada não apenas pela existência de um patch, mas pela reconstruibilidade da representação do sistema, pela viabilidade de liberação e pelo tratamento explícito de alternativas semânticas não resolvidas. O recurso AIRR-40 permite que pesquisadores inspecionem essas condições de qualidade relativa à tarefa, recomputem resultados e apliquem políticas de admissibilidade alternativas sem aceitar os critérios estritos deste estudo como regras universais. Os achados servem como um aviso de que $R \neq S$ (Representação não é igual ao Sistema) e que as questões de garantia podem ser mal formuladas se a evidência subjacente carecer de proveniência semântica específica.