Resumo Técnico: Uma Análise de Escalabilidade de Métodos de Avaliação de Confiança Quantitativa para Casos de Garantia

Declaração do Problema

A preparação de Casos de Garantia (Assurance Cases - ACs) é uma atividade crítica para sistemas de segurança e proteção, contudo, o uso de notações estruturadas como a Notação de Estruturação de Objetivos (Goal Structuring Notation - GSN) não garante que as alegações de alto nível estejam adequamente sustentadas. Métodos de Avaliação de Confiança (Confidence Assessment Methods - CAMs) fornecem meios sistemáticos para avaliar esses argumentos. Embora existam CAMs qualitativos, quantitativos e mistos, um levantamento recente com profissionais identificou que o esforço adicional exigido para aplicar esses métodos é uma barreira primária à adoção.

Especificamente, para métodos quantitativos ou mistos, é necessário um esforço significativo para atribuir parâmetros de computação (ex: pesos de aresta) e fornecer avaliações para cada peça de evidência. Um trabalho anterior de Graydon e Holloway observou uma falta de dados empíricos de escalabilidade para essas técnicas, levantando preocupações sobre sua viabilidade na prática. Consequentemente, há uma necessidade de um modelo para estimar a "complexidade de decisão" e o esforço exigido para aplicar CAMs quantitativos conforme o tamanho do argumento aumenta.

Metodologia

Este artigo propõe um modelo numérico para estimar a complexidade de decisão (o número de decisões que um usuário deve tomar) e o nível de esforço (tempo necessário) para a aplicação de CAMs quantitativos. A análise considera tanto cenários de pior caso quanto de caso médio.

1. Modelo de Estrutura de Argumento

Para facilitar a análise de escalabilidade, os autores modelam um argumento de AC como uma árvore n-ária de alegações com altura $h$, onde cada alegação folha é sustentada por $m$ nós de evidência. Embora os ACs do mundo real possuam estruturas diversas, este modelo idealizado permite uma comparação significativa. Os parâmetros $n$ (média de alegações filhas por etapa) e $m$ (nós de evidência por linha de raciocínio) são derivados de estudos de caso de AC publicados, resultando em $n \approx 1,72$ e $m \approx 1$.

2. Modelos de Complexidade de Decisão e Esforço

O modelo define:

• $p$: Decisões por alegação pai (configuração de propagação de crença).
• $v$: Decisões por nó de evidência (valoração de folha).
• $\alpha$: A proporção de casos que exigem decisões customizadas não triviais (definida como 0,20 para a análise de caso médio, baseada em estudos de expressividade anteriores).
• $t_p$ e $t_v$: Estimativas de tempo por decisão (0,5 minutos para propagação, 5 minutos para valoração de evidência).

A complexidade de decisão de pior caso ($O_d$) assume que cada parâmetro deve ser especificado manualmente. A complexidade de caso médio ($\Omega_d$) assume que, para uma proporção $(1-\alpha)$ das etapas, ferramentas ou padrões sensatos reduzem a carga de decisão para $p'$ e $v'$.

3. Métodos Analisados

O modelo é aplicado a três CAMs quantitativos representativos:

• Rede Bayesiana de Crença (Bayesian Belief Network - BBN): Utiliza teoria da probabilidade com parâmetros para combinadores (NoisyAND/OR), vazamento (leakage) e pesos de ligação.
• Teoria de Dempster-Shafer (DST): Utiliza medidas de decisão e confiança com parâmetros de avanço/reverso e regras.
• Certus: Um método misto que utiliza níveis de crença linguísticos e uma linguagem de domínio específico para expressões de propagação (ex: macros, lógica condicional).

Principais Resultados

A análise de escalabilidade foi conduzida para alturas de argumento $h$ variando de 1 a 12, sendo que $h=10$ representa um tamanho típico baseado em estudos de caso publicados (aprox. 350 nós totais).

• Complexidade de Pior Caso: O Certus exibe a maior complexidade de decisão, exigindo mais de 10.000 decisões em $h=10$. Isso é significativamente superior ao BBN (971 decisões) e ao DST (1.716 decisões). Isso se deve à flexibilidade do Certus, que permite expressões de propagação de crença customizadas sobre todos os nós filhos.
• Complexidade de Caso Médio: Ao assumir suporte de ferramentas e padrões para 80% das etapas ($\alpha=0,2$), o Certus demonstra a menor complexidade de decisão entre os três métodos.
• Estimativas de Esforço: Para um argumento de ~350 nós ($h=10$), o modelo prevê o seguinte esforço de caso médio:
  • Certus: ~13 horas
  • BBN: ~14 horas
  • DST: ~26 horas

Significância e Contribuições

O artigo afirma ser o primeiro a abordar a escalabilidade de CAMs quantitativos através de um modelo numérico formal. Suas principais contribuições são:

1. Estrutura Conceitual: Introduz duas medidas específicas para quantificar a barreira de adoção: complexidade de decisão (número de decisões) e nível de esforço (tempo).
2. Modelo de Escalabilidade: Propõe um modelo parametrizado para estimar essas quantidades, permitindo que pesquisadores que desenvolvem novos ou melhorados CAMs avaliem o esforço requerido para aplicação.
3. Validação Empírica: Ao aplicar o modelo ao BBN, DST e Certus, o artigo demonstra que, embora métodos de alta flexibilidade como o Certus possam ter uma complexidade de pior caso extrema, seu esforço de caso médio pode ser inferior ao de métodos probabilísticos estabelecidos devido à disponibilidade de macros e padrões.

Limitações

Os autores explicitamente observam várias limitações:

• Modelo de Argumento: A árvore n-ária é uma idealização; ACs reais podem possuir cadeias profundas ou etapas largas que se desviam desta estrutura.
• Dificuldade de Decisão: O modelo conta decisões, mas não contabiliza a dificuldade cognitiva relativa (ex: atribuir um valor em uma escala de 5 pontos versus uma escala contínua [0,1]).
• Parâmetros de Tempo: As estimativas de tempo ($t_p, t_v$) baseiam-se em intuição em vez de calibração empírica e são dependentes de contexto.

O artigo conclui que, embora o Certus possua a maior complexidade de pior caso, sua eficiência de caso médio o torna um candidato viável, desde que as ferramentas suportem a redução de decisões manuais.