Reliable Remediation Impact Prediction for Black-Box Security Ratings

Resumo Técnico: Predição Confiável de Impacto de Remediação para Classificações de Segurança de Caixa-Preta

Definição do Problema
Plataformas comerciais de classificação de segurança (ex: BitSight, SecurityScorecard) agregam evidências cibernéticas observáveis externamente em pontuações numéricas para ajudar organizações a priorizar a remediação. Embora essas plataformas forneçam pontuações atuais, as organizações necessitam de análises de "e se" (what-if) para entender como ações de remediação específicas (ex: implementar SPF ou DMARC) impactariam suas pontuações. No entanto, revelar as respostas exatas da pontuação para configurações hipotéticas corre o risco de vazar a lógica proprietária de pontuação da plataforma, que é projetada para permanecer uma caixa-preta.

Além disso, prever esses impactos usando um modelo substituto (surrogate) de aprendizado de máquina introduz um desafio de confiabilidade. A qualidade da predição não é uniforme para todas as configurações de organização; ela depende fortemente da quantidade e da estrutura das evidências observáveis (especificamente, o conjunto de checkpoints de segurança aplicáveis). Configurações com menos checkpoints aplicáveis frequentemente resultam em predições menos confiáveis. O problema central é prever os impactos de remediação na pontuação sem expor o mecanismo de pontuação e, simultaneamente, identificar e filtrar os casos onde as predições do modelo substituto são instáveis.

Metodologia
Os autores propõem uma abordagem baseada em modelo substituto de quatro fases, projetada para respeitar a opacidade do mecanismo de pontuação enquanto garante a confiabilidade preditiva.

1. Construção do Modelo Substituto com Consciência de Aplicabilidade:
   Os autores constroem um modelo substituto (um regressor LightGBM) treinado em configurações históricas de organizações para aproximar o mecanismo de pontuação da plataforma. Crucialmente, a representação de características ($x_i$) é enriquecida com dois componentes:

   • Características de resultado ($o_i$): Resultados observados dos checkpoints aplicáveis.
   • Características de aplicabilidade ($s_i$): Indicadores explícitos de quais checkpoints se aplicam a uma configuração específica e resumos estruturais do conjunto de checkpoints (ex: contagem de checkpoints aplicáveis, distribuição de aplicabilidade).
     Este design permite que o modelo distinga entre dados ausentes devido à falta de evidência versus dados ausentes devido a um checkpoint ser estruturalmente inaplicável.

2. Análise de Sensibilidade (Diagnóstico):
   Para quantificar a fragilidade da predição, os autores realizam um experimento de restrição controlada. Eles mascaram sistematicamente partes das informações de checkpoints aplicáveis na representação de características e medem o desvio resultante na pontuação ($\Delta$). Configurações que exibem uma mudança de pontuação acima de um limite $\tau$ sob informação restrita são rotuladas como "instáveis". Esta fase estabelece um vínculo diagnóstico entre o tamanho/estrutura do conjunto de checkpoints e a estabilidade da predição.

3. Avaliação de Confiabilidade (Predição Seletiva):
   Uma camada de confiabilidade (um classificador LightGBM) é treinada para prever a probabilidade de instabilidade ($p_{unstable}$) baseando-se exclusivamente nas características de aplicabilidade ($s_i$). Usando Controle de Risco Conformal (CRC), o sistema define uma regra de aceitação. Para um nível de risco alvo $\alpha$, o sistema seleciona um limiar $\lambda^*$ tal que o risco de instabilidade entre as predições aceitas seja garantidamente inferior a $\alpha$ com alta confiança. Isso permite que o sistema selecione apenas as predições de impacto de remediação que são consideradas dependentes.

4. Predição de Impacto de Pontuação de Remediação:
   Para uma ação de remediação candidata simulada pelo usuário, o sistema constrói uma configuração pós-ação, atualiza as características de aplicabilidade para refletir o novo estado técnico e prevê a nova pontuação. O impacto previsto é a diferença entre a nova e a atual pontuação. A camada de confiabilidade então filtra essas predições: se a probabilidade de instabilidade da configuração pós-ação exceder $\lambda^*$, a predição é sinalizada como não confiável e deve ser interpretada com cautela.

Principais Contribuições

• Modelagem de Substituta com Consciência de Aplicabilidade: O artigo demonstra que modelar explicitamente a aplicabilidade dos checkpoints e a estrutura de medição melhora significativamente a precisão da predição de pontuação em comparação com modelos que usam apenas características de resultado ou apenas características de aplicabilidade.
• Camada de Confiabilidade com Garantias Formais: Os autores introduzem um mecanismo para identificar configurações propensas a predições instáveis usando características de aplicabilidade de checkpoints. Ao integrar o Controle de Risco Conformal, eles fornecem garantias de risco de amostra finita para as predições aceitas, indo além das métricas de precisão média.
• Validação de Impacto de Remediação: A abordagem é avaliada em dados do mundo real para prever o impacto de ações de remediação específicas (implantação de SPF e DMARC). O estudo valida que a camada de confiabilidade identifica com sucesso casos onde os ganhos previstos divergem significativamente de pontuações de referência confiáveis.

Resultados Experimentais
A abordagem foi avaliada em um conjunto de dados de 5.188 configurações distintas de organizações de um domínio de análise de E-mail de uma plataforma comercial de classificação de segurança.

• Precisão de Predição: O substituto completo com consciência de aplicabilidade alcançou um Erro Médio Absol de (MAE) de teste de 0,78, superando significativamente a linha de base de apenas resultados (MAE 1,46) e a linha de base de apenas aplicabilidade (MAE 4,64).
• Sensibilidade: A análise de sensibilidade revelou uma transição abrupta na estabilidade da predição. Quando o número de checkpoints aplicáveis retidos caiu de 22 para 18, a fração de predições instáveis (desvio de pontuação > 2) saltou de 2,27% para 69,38%.
• Confiabilidade: O modelo de confiabilidade alcançou um ROC AUC de 0,9255 (em $\tau=2$) na predição de instabilidade. Usando CRC, o sistema pôde aceitar uma parte substancial das predições (ex: até 89,4% de cobertura em $\alpha=0,30$) enquanto mantinha o risco de instabilidade abaixo do limiar alvo.
• Remediação: Para a implantação de DMARC, o substituto previu ganhos positivos de pontuação. A camada de confiabilidade separou efetivamente as predições dependentes (ganho médio 11,26, MAE 6,94) das instáveis (ganho médio -1,58, MAE 9,35), mostrando que grandes erros de predição correlacionam-se fortemente com alta instabilidade prevista.

Significância e Alegações
O artigo alega que o feedback de pontuação via modelo substituto em ambientes de classificação de segurança opacos não pode depender apenas da precisão preditiva média. Os autores argumentam que a aplicabilidade dos checkpoints é um sinal crítico que serve a um duplo propósito: melhora a precisão do modelo de predição de pontuação e fornece a base de características necessária para uma camada de confiabilidade detectar casos instáveis.

Ao combinar a modelagem com consciência de aplicabilidade com o Controle de Risco Conformal, a abordagem proposta permite que as organizações recebam feedback acionável de impacto de remediação sem comprometer a natureza proprietária do mecanismo de pontuação. O sistema não automatiza recomendações de remediação, mas atua como uma ferramenta de suporte à decisão que quantifica a confiança de suas próprias predições, alertando os usuários quando o impacto previsto na pontuação deve ser interpretado com cautela devido a evidências insuficientes ou estruturalmente limitadas.