Reliable Remediation Impact Prediction for Black-Box Security Ratings

Resumen Técnico: Predicción Fiable del Impacto de la Remediación para Calificaciones de Seguridad de Caja Negra

Planteamiento del Problema
Las plataformas comerciales de calificación de seguridad (por ejemplo, BitSight, SecurityScorecard) agregan evidencia cibernética observable externamente en puntuaciones numéricas para ayudar a las organizaciones a priorizar la remediación. Si bien estas plataformas proporcionan puntuaciones actuales, las organizaciones requieren análisis de tipo "qué pasaría si" para comprender cómo acciones de remediación específicas (por ejemplo, el despliegue de SPF o DMARC) impactarían sus puntuaciones. Sin embargo, revelar las respuestas exactas de la puntuación para configuraciones hipotéticas conlleva el riesgo de filtrar la lógica de puntuación patentada de la plataforma, la cual está diseñada para permanecer como una caja negra.

Además, predecir estos impactos utilizando un modelo subrogado de aprendizaje automático introduce un desafío de fiabilidad. La calidad de la predicción no es uniforme en todas las configuraciones de las organizaciones; depende fuertemente de la cantidad y la estructura de la evidencia observable (específicamente, el conjunto de puntos de control aplicables). Las configuraciones con menos puntos de control aplicables suelen generar predicciones menos fiables. El problema central es predecir los impactos de la remediación en la puntuación sin exponer el motor de puntuación y, simultáneamente, identificar y filtrar aquellos casos donde las predicciones del subrogado son inestables.

Metodología
Los autores proponen un enfoque basado en modelos subrogados de cuatro fases, diseñado para respetar la opacidad del motor de puntuación y asegurar la fiabilidad predictiva.

1. Construcción del Subrogado con Conciencia de Aplicabilidad:
   Los autores construyen un modelo subrogado (un regresor LightGBM) entrenado en configuraciones históricas de organizaciones para aproximar el motor de puntuación de la plataforma. Crucialmente, la representación de características ($x_i$) se enriquece con dos componentes:

• Características de resultado ($o_i$): Resultados observados de los puntos de control aplicables.
• Características de aplicabilidad ($s_i$): Indicadores explícitos de qué puntos de control aplican a una configuración específica y resúmenes estructurales del conjunto de puntos de control (por ejemplo, recuento de puntos de control aplicables, distribución de la aplicabilidad).
  Este diseño permite al modelo distinguir entre la falta de datos debido a una carencia de evidencia frente a la falta de datos debido a que un punto de control es estructuralmente inaplicable.

2. Análisis de Sensibilidad (Diagnóstico):
   Para cuantificar la fragilidad de la predicción, los autores realizan un experimento de restricción controlada. Máscaran sistemáticamente porciones de la información de los puntos de control aplicables en la representación de características y miden la deriva de puntuación resultante ($\Delta$). Las configuraciones que exhiben un cambio de puntuación que excede un umbral $\tau$ bajo información restringida se etiquetan como "inestables". Esta fase establece un vínculo diagnóstico entre el tamaño/estructura del conjunto de puntos de control y la estabilidad de la predicción.

3. Evaluación de Fiabilidad (Predicción Selectiva):
   Se entrena una capa de fiabilidad (un clasificador LightGBM) para predecir la probabilidad de inestabilidad ($p_{unstable}$) basándose únicamente en las características de aplicabilidad ($s_i$). Utilizando el Control de Riesgo Conformal (CRC), el sistema define una regla de aceptación. Para un nivel de riesgo $\alpha$, el sistema selecciona un umbral $\lambda^*$ tal que se garantiza que el riesgo de inestabilidad entre las predicciones aceptadas sea inferior a $\alpha$ con alta confianza. Esto permite al sistema aceptar selectivamente solo aquellas predicciones de impacto de remediación que se consideran dependientes.

4. Predicción del Impacto de la Puntuación de Remediación:
   Para una acción de remediación simulada por el usuario, el sistema construye una configuración post-acción, actualiza las características de aplicabilidad para reflejar el nuevo estado técnico y predice la nueva puntuación. El impacto predicho es la diferencia entre la nueva y la actual puntuación. La capa de fiabilidad filtra entonces estas predicciones: si la probabilidad de inestabilidad de la configuración post-acción supera $\lambda^*$, la predicción se marca como no fiable y debe interpretarse con cautela.

Contribuciones Clave

• Modelado de Subrogado con Conciencia de Aplicabilidad: El artículo demuestra que modelar explícitamente la aplicabilidad de los puntos de control y la estructura de la medición mejora significativamente la precisión de la predicción de la puntuación en comparación con modelos que utilizan solo características de resultado o solo características de aplicabilidad.
• Capa de Fiabilidad con Garantías Formales: Los autores introducen un mecanismo para identificar configuraciones propensas a predicciones inestables utilizando características de aplicabilidad de los puntos de control. Al integrar el Control de Riesgo Conformal, proporcionan garantías de riesgo de muestra finita para las predicciones aceptadas, yendo más allá de las métricas de precisión promedio.
• Validación del Impacto de la Puntuación de Remediación: El enfoque se evalúa con datos reales para predecir el impacto de acciones de remediación específicas (despliegue de SPF y DMARC). El estudio valida que la capa de fiabilidad identifica con éxito los casos donde las ganancias predichas divergen significativamente de las puntuaciones de referencia confiables.

Resultos Experimentales
El enfoque fue evaluado en un conjunto de datos de 5,188 configuraciones de organizaciones distintas de un dominio de análisis de correo electrónico de una plataforma de calificación de seguridad comercial.

• Precisión de la Predicción: El subrogado completo con conciencia de aplicabilidad logró un Error Absoluto Medio (MAE) de prueba de 0.78, superando significativamente a un baseline de solo resultados (MAE 1.46) y a un baseline de solo aplicabilidad (MAE 4.64).
• Sensibilidad: El análisis de sensibilidad reveló una transición brusca en la estabilidad de la predicción. Cuando el número de puntos de control aplicables retenidos cayó de 22 a 18, la fracción de predicciones inestables (deriva de puntuación > 2) saltó del 2.27% al 69.38%.
• Fiabilidad: El modelo de fiabilidad alcanzó un ROC AUC de 0.9255 (en $\tau=2$) al predecir la inestabilidad. Usando CRC, el sistema pudo aceptar una parte sustancial de las predicciones (por ejemplo, hasta un 89.4% de cobertura con $\alpha=0.30$) manteniendo el riesgo de inestabilidad por debajo del umbral objetivo.
• Remediación: Para el despliegue de DMARC, el subrogado predijo ganancias positivas en la puntuación. La capa de fiabilidad separó eficazmente las predicciones dependientes (ganancia media 11.26, MAE 6.94) de las inestables (ganancia media -1.58, MAE 9.35), mostrando que los grandes errores de predicción se correlacionan fuertemente con una alta inestabilidad predicha.

Significancia y Reivindicaciones
El artículo sostiene que la retroalimentación de la puntuación mediante subrogados en entornos de calificación de seguridad opacos no puede confiar únicamente en la precisión predictiva promedio. Los autores argumentan que la aplicabilidad de los puntos de control es una señal crítica que cumple un doble propósito: mejora la precisión del modelo de predicción de la puntuación y proporciona la base de características necesaria para una capa de fiabilidad que detecte casos inestables.

Al combinar el modelado con conciencia de aplicabilidad con el Control de Riesgo Conformal, el enfoque propuesto permite a las organizaciones recibir retroalimentación accionable sobre el impacto de la remediación sin comprometer la naturaleza propietaria del motor de puntuación. El sistema no automatiza las recomendaciones de remediación, sino que actúa como una herramienta de apoyo a la decisión que cuantifica la confianza de sus propias predicciones, advirtiendo a los usuarios cuando un impacto de puntuación predicho debe interpretarse con cautela debido a una evidencia insuficiente o estructuralmente limitada.