Validating Threat Modeling Results with the Help of Vulnerable Test Applications

Resumo Técnico: Validação de Resultados de Modelagem de Ameaças com Aplicações de Teste Vulneráveis

Declaração do Problema
Validar os resultados da modelagem de ameaças permanece um desafio significativo na engenharia de segurança. Embora a modelagem de ameaças seja uma prática bem estabelecida de "segurança por design" para identificar ameaças potenciais precocemente, avaliar objetivamente a qualidade de um modelo de ameaças gerado é difícil. Os métodos de validação atuais geralmente dependem da comparação da saída contra um modelo de referência produzido por especialistas ou uma linha de base humana. No entanto, essas abordagens herdam as limitações da própria referência: especialistas podem discordar, operar em diferentes níveis de abstração ou simplesmente deixar de identificar ameaças relevantes. Consequentemente, há uma falta de um "oráculo" externo e objetivo para julgar a completude dos modelos de ameaças sem depender exclusivamente do julgamento humano subjetivo.

Metodologia
Para abordar isso, os autores propõem e avaliam uma abordagem de validação fundamentada em vulnerabilidades. Em vez de comparar contra outro modelo humano, este método utiliza aplicações intencionalmente vulneráveis com um conjunto conhecido de vulnerabilidades como um oráculo de verdade fundamental. A questão central de pesquisa é: Em que medida as ameaças produzidas por ferramentas de modelagem de ameaças, dados arquitetura, Diagramas de Fluxo de Dados (DFD) e descrições gerais como entrada, cobrem as vulnerabilidades conhecidas nas aplicações analisadas?

O estudo compara duas ferramentas:

1. ThreMoLIA: Uma solução de modelagem de ameaças assistida por LLM desenvolvida pelos autores. Utiliza Geração Aumentada por Recuperação (RAG) para incorporar documentação do projeto, arquitetura de alto nível e DFDs. Suporta frameworks tradicionais (STRIDE, LINDDUN, OWASP Top 10, MITRE ATT&CK) e frameworks específicos de IA (MITRE ATLAS, OWASP Top 10 ML, OWASP Top 10 LLM).
2. Microsoft Threat Modeling Tool (MTMT): Uma ferramenta amplamente utilizada, baseada em STRIDE, fundamentada nas práticas do Microsoft SDL.

O experimento utilizou duas aplicações de referência:

• AzureGoat: Uma infraestrutura Azure vulnerável por design contendo 7 vulnerabilidades conhecidas (malconfigurações web e de nuvem).
• VulnBank: Uma aplicação bancária deliberadamente vulnerável contendo 63 vulnerabilidades conhecidas (falhas web, de API e integradas com IA).

Procedimento Experimental

• Entradas: Ambas as ferramentas receberam as mesmas entradas: diagramas de arquitetura, DFDs e descrições. As listas de vulnerabilidades conhecidas foram retidas durante a fase de modelagem e usadas apenas para pontuação.
• Configuração:
  • O MTMT foi executado uma vez por aplicação.
  • O ThreMoLIA foi executado usando o modelo GPT-5 via API da OpenAI. Foi testado em múltiplas configurações: 0-shot (apenas DFD), 1-shot (DFD + documentação), 2-shot (DFD + documentação adicional) e um resultado mesclado de 1-shot e 2-shot.
  • Para mitigar a variabilidade do LLM, o ThreMoLIA foi executado três vezes por configuração, e os resultados foram agregados.
• Métrica: A métrica principal foi Cobertura de Ameaças, definida como a razão entre as vulnerabilidades conhecidas cobertas por pelo menos uma ameaça modelada e o número total de vulnerabilidades conhecidas ($V_{cobertas} / V_{conhecidas}$). Uma vulnerabilidade foi considerada "coberta" se um especialista determinou que uma ameaça modelada descrevia semanticamente a vulnerabilidade ou a condição que permitia sua exploração. O estudo observa que falsos positivos (alucinações) foram removidos durante a etapa de validação baseada em LLM, e ameaças válidas sem vulnerabilidades correspondentes não foram penalizadas, pois a modelagem de ameaças não tem um limite superior teórico para ameaças válidas.

Principais Resultados
Os resultados, resumidos na Tabela I do artigo, demonstram que o ThreMoLIA alcançou uma cobertura de vulnerabilidades superior à do MTMT em ambas as aplicações:

• AzureGoat: O ThreMoLIA alcançou 100% de cobertura (7/7 vulnerabilidades), enquanto o MTMT cobriu 57,1% (4/7).
• VulnBank:
  • O ThreMoLIA (0-shot) cobriu 73,0% (46/63), já superando o MTMT.
  • O ThreMoLIA (1-shot) atingiu 85,7% (54/63).
  • O ThreMoLIA (2-shot) atingiu 82,5% (52/63).
  • O ThreMoLIA (Mesclado 1+2) alcançou 92,1% (58/63).
  • O MTMT cobriu 55,6% (35/63).
• Descobertas Específicas: O MTMT performou bem em gerenciamento de sessões convencionais e falhas do lado do cliente, mas perdeu todas as 10 vulnerabilidades de suporte ao cliente com IA no VulnBank. Em contraste, as melhores configurações do ThreMoLIA cobriram todas as 10 vulnerabilidades de IA e todas as 9 vulnerabilidades de autenticação/autorização.
• Geral: A melhor configuração do ThreMoLIA cobriu 92,9% (65/70) do total de vulnerabilidades em ambas as aplicações, comparado a 55,7% (39/70) para o MTMT.

Significado e Alegações
O artigo alega que aplicações de teste vulneráveis fornecem um ponto de referência prático para avaliar a cobertura de ameaças, oferecendo uma alternativa mensurável às linhas de base baseadas apenas em especialistas. Ao deslocar a avaliação de "A ferramenta correspondeu a um relatório específico de especialista?" para "A ferramenta cobriu fraquezas realmente presentes no sistema?", a abordagem reduz a dependência do consenso humano subjetivo.

O estudo destaca que, embora o MTMT permaneça eficaz para preocupações arquitetônicas padrão e no estilo STRIDE, o ThreMoLIA é mais adequado para paisagens de aplicações mistas que combinam superfícies de ataque convencionais e relacionadas à IA. Os resultados sugerem que a modelagem assistida por LLM, particularmente quando aumentada com documentação do projeto (estratégias de prompt), pode melhorar significativamente a descoberta de vulnerabilidades complexas e específicas de IA.

Limitações e Trabalho Futuro
Os autores reconhecem várias limitações:

1. A cobertura é apenas uma dimensão da qualidade; alta recall não garante a ausência de ameaças irrelevantes.
2. O resultado mesclado do ThreMoLIA não é estritamente equivalente em custo a uma única execução determinística do MTMT.
3. O estudo foi limitado a apenas duas aplicações.
4. Existe o risco de que o modelo GPT-5 tenha sido treinado com dados dessas aplicações vulneráveis específicas, embora os autores tenham mitigado isso renomeando as aplicações nas entradas.

O artigo conclui que a validação fundamentada em vulnerabilidades é um complemento útil às linhas de base de especialistas. Os autores planejam estender esta metodologia para ambientes de telecomunicações (incluindo redes principais 5G e infraestrutura nativa de nuvem) e pretendem lançar o ThreMoLIA como código aberto.