💻 computer science

Near-Deterministic Reconstruction of Enterprise Firewall Decisions for Policy Audit: Proxy Structure, Context Shift, and Residual Uncertainty

Este estudio demuestra que las decisiones de los firewalls empresariales pueden reconstruirse de manera casi determinista a partir de los registros de tráfico mediante el aprendizaje supervisado, revelando que la alta precisión del modelo a menudo refleja la replicación de proxies de políticas específicos y reglas dependientes del contexto en lugar de una detección de amenazas independiente, permitiendo así auditorías de políticas retrospectivas al tiempo que destaca limitaciones significativas en la generalización entre entornos y en la calibración de la incertidumbre.

Autores originales: Özkan Canay, Cem Özkurt, Fatmir Garri

Publicado 2026-08-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Özkan Canay, Cem Özkurt, Fatmir Garri

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar por qué un portero en un club súper estricto deja entrar a algunas personas y rechaza a otras. Tienes un cuaderno gigante lleno de millones de entradas, cada una registrando exactamente lo que hizo el portero: "Permitido", "Descartado" o "Denegado". En el mundo de la seguridad informática, este cuaderno se llama "registro de firewall" (firewall log), y el portero es un firewall: un guardián digital que protege la red de una empresa de los actores malintencionados. Normalmente, los expertos en seguridad utilizan estos registros para buscar hackers, buscando patrones que griten "¡peligro!". Pero hay un problema truculento: a veces la decisión del portero no se trata de si la persona es realmente un criminal; es solo sobre si cumple con el código de vestimenta específico o la lista de membresía del club. Si entrenas a una computadora para adivinar las decisiones del portero, podría simplemente aprender el código de vestimenta perfectamente, no porque sea un detective genial, sino porque las pistas en el cuaderno (como la talla de zapato de la persona o la hora en que llegó) revelan la respuesta con demasiada facilidad. Este artículo plantea una pregunta fascinante: si ocultamos las pistas obvias, ¿puede una computadora seguir adivinando los movimientos del portero con una precisión casi perfecta? Y si puede, ¿significa eso que la computadora es inteligente, o que las pistas eran demasiado fáciles de encontrar?

Este estudio se sumerge en un cuaderno masivo que contiene más de un millón de registros de un firewall corporativo real, específicamente un dispositivo Palo Alto. Los investigadores querían ver si podían reconstruir la "superficie de decisión" —la línea invisible que el firewall traza para decidir quién entra— usando solo los detalles circundantes, mientras ocultaban las razones directas de la decisión. Trataron las elecciones del firewall (Permitir, Descartar, Denegar) como un rompecabezas. Eliminaron las piezas más obvias del rompecabezas, como el nombre de la aplicación específica o el número de regla que activó la acción, para ver si las pistas restantes (como el tamaño de un paquete de datos o el número de puerto) eran suficientes para resolverlo.

Los resultados son un poco como descubrir que el portero del club en realidad sigue un guion muy rígido y predecible. Los investigadores descubrieron que incluso después de eliminar los "atajos" más obvios (como el nombre de la aplicación), poderosos programas informáticos llamados "conjuntos de árboles" (piensa en ellos como árboles de decisión súper inteligentes que hacen una serie de preguntas de sí o no) aún podían adivinar la decisión del firewall casi perfectamente. De hecho, dos de estos programas, XGBoost y LightGBM, obtuvieron una puntuación perfecta, sin cometer ni un solo error en los datos de prueba. Resulta que la decisión del firewall está tan estrechamente vinculada a otros detalles que ni siquiera necesitas saber la regla para saber el resultado. Por ejemplo, descubrieron que solo conocer el "Puerto de Origen" (un número específico que identifica la conexión) y los "Bytes" (el tamaño de los datos) era suficiente para determinar la decisión en millones de casos.

Sin embargo, el artículo es muy cuidadoso en no llamar a esto una "victoria" para la detección de hackers. Los autores argumentan que esta puntuación casi perfecta no significa que la computadora haya aprendido a detectar hackers reales. En cambio, significa que la computadora ha aprendido la "gramática" interna del firewall. Es como un estudiante que memoriza la clave de respuestas de un examen en lugar de entender las matemáticas. Cuando los investigadores intentaron hacer el rompecabezas más difícil eliminando aún más pistas —como el tamaño de los datos o el país de origen—, la puntuación perfecta de la computadora cayó, pero seguía siendo sorprendentemente buena. Esto sugiere que las decisiones del firewall están "codificadas de forma redundante", lo que significa que la misma información se repite en muchos campos diferentes del registro.

El estudio también analizó qué sucede cuando la computadora encuentra una situación que no ha visto antes, como un nuevo tipo de aplicación o un destino diferente. Aquí, el hechizo se rompe. La confianza de la computadora flaquea y comienza a cometer errores, especialmente con las decisiones "Denegar" que son menos frecuentes. Los investigadores utilizaron herramientas especiales para medir esta incertidumbre, mostrando que, si bien la computadora es una maestra adivinando los movimientos del firewall en territorio familiar, se pierde cuando el contexto cambia. Encontraron que si ocultan los detalles de la "aplicación", la computadora aún puede adivinar el 99.9% de las veces, pero si ocultan el "volumen" y la "duración" del tráfico, la precisión cae ligeramente, demostrando que esos detalles actuaban como atajos ocultos.

En última instancia, este artículo no trata de construir un mejor detector de hackers; trata de auditar el propio firewall. Muestra que para esta empresa específica y para esta ventana de tiempo específica (unos 46 minutos de tráfico), las decisiones del firewall son casi enteramente predecibles a partir de los datos circundantes. Los investigadores encontraron siete combinaciones diminutas de solo cuatro campos que podían predecir el resultado perfectamente. Pero también advierten que esto es una reconstrucción "casi determinista", lo que significa que funciona porque los datos son consistentes, no porque la computadora entienda de seguridad. Si las reglas del firewall cambian o el entorno de la red se desplaza, esta predicción perfecta podría desaparecer. El artículo concluye que, si bien podemos reconstruir el proceso de toma de decisiones del firewall con alta precisión, debemos tener cuidado de no confundir esta reconstrucción con una capacidad genuina para detectar amenazas nuevas y desconocidas. Es una herramienta poderosa para verificar si el firewall se comporta de manera consistente, pero no es una bola de cristal para el futuro.

Resumen Técnico: Reconstrucción Casi Determinista de Decisiones de Firewall Empresarial

Planteamiento del Problema
Este estudio aborda un riesgo de interpretación metodológica en el aprendizaje automático (machine learning) de seguridad de red: la confusión entre el aprendizaje supervisado de alto rendimiento sobre registros de firewall y la detección de amenazas independiente. Las decisiones de los firewalls empresariales (Allow, Drop, Deny) son resultados deterministas generados por políticas configuradas, identificación de aplicaciones y comportamientos de terminación de sesión, en lugar de etiquetas de maliciosidad validadas por humanos. Cuando los modelos alcanzan una precisión casi perfecta en estos registros, no está claro si han aprendido un razonamiento de seguridad generalizable o simplemente la "gramática operativa" y las estructuras de proximidad (proxy) de la superficie de decisión de un dispositivo específico. El estudio investiga qué tan lejos se puede reconstruir la superficie de decisión de un firewall desplegado a partir de campos de registro estructurados tras excluir los campos de origen de la etiqueta directa, y qué incertidumbre residual permanece cuando las variables proxy se reducen o los contextos camban.

Metodología
La investigación utiliza un conjunto de datos del mundo real de 1,048,576 registros de logs de tráfico de un firewall de próxima generación de Palo Alto Networks, capturados en una ventana de 46 minutos. La variable objetivo es una decisión operativa de tres clases (Allow, Drop, Deny), construida a partir de los campos de subtipo de tráfico y motivo de fin de sesión.

Preprocesamiento de Datos: Los campos de origen de la etiqueta directa (acción bruta, subtipo de tráfico, motivo de fin de sesión) se excluyen estrictamente de todas las vistas de predictores. El conjunto de datos se divide en un hold-out estratificado de 80/20 (variantes aleatorias y ordenadas en el tiempo) y una muestra limitada para validación cruzada.
Vistas de Características (Feature Views): El estudio emplea varias configuraciones de características para probar la dependencia de los proxies:
- Línea Base Central (Core Baseline): 24 campos que incluyen contexto de aplicación, zonas, interfaces, puertos, países y telemetría post-decisión (bytes, duración).
- Sin Contexto de Aplicación (No-Application-Context): Elimina la taxonomía y los campos de categoría de aplicación para probar la dependencia de los proxies de aplicación evidentes.
- Proxy-Mínimo Estricto (Strict Proxy-Minimal): Conserva únicamente los campos de zona/interfaz y transporte/puerto (con/sin país), eliminando la aplicación, el volumen y los campos proximales a la política.
- Con Política (With-Policy): Añade campos de regla y de origen de acción como un diagnóstico de límite superior empírico.
Auditoría Libre de Modelos (Model-Free Audit): Antes de entrenar los clasificadores, los autores realizan una auditoría determinista mediante agrupamiento exacto para identificar conjuntos determinantes mínimos (subconjuntos de campos que predicen perfectamente la etiqueta) y calcular la entropía condicional. Esto incluye la verificación de filas de conflicto (contextos con múltiples etiquetas) y contextos de un solo elemento (singleton).
Modelos de Aprendizaje Automático: El estudio evalúa ensambles de árboles escalables (XGBoost, LightGBM, Extra Trees, CatBoost) y árboles de decisión individuales. Los modelos se entrenan con pesos de clase equilibrados para abordar el severo desequilibrio de clases (Allow: ~77%, Drop: ~22%, Deny: ~1.3%).
Diagnósticos de Incertidumbre: El estudio emplea predicción conforme (variantes marginal y Mondrian), conjuntos de predicción adaptativos (APS) y clasificación selectiva (abstención basada en confianza) para cuantificar la incertidumbre residual, la calibración (ECE, puntuación Brier) y los focos de error bajo cambios de contexto.

Contribuciones Clave

Auditoría de Reconstructibilidad Libre de Modelo: El estudio identifica siete conjuntos determinantes de cuatro campos en la exportación completa que determinan perfectamente la etiqueta de decisión. Estos conjuntos incluyen consistentemente el Puerto de Origen y los Bytes de fin de sesión, combinados con otros dos campos (p. ej., Interfaz de Salida, Categoría de Aplicación). La auditoría confirma cero filas de conflicto en la exportación observada, estableciendo el determinismo empírico.
Diagnósticos de Estrés de Frontera: A través de ablaciones de familias de características y pruebas de retención de contexto (reteniendo grupos enteros de aplicaciones/categorías, servicios de destino o reglas), el documento mapea la estabilidad de la frontera de decisión. Demuestra que, si bien la reconstrucción permanece casi perfecta al eliminar el contexto de aplicación, esta se degrada significamente bajo vistas de proxy-mínimo estricto y cambios de contexto.
Diagnósticos Conformes y Selectivos: La investigación expone que la predicción conforme marginal puede ocultar la falta de cobertura de la clase rara "Deny". Muestra que las colas de umbral de probabilidad y la clasificación selectiva basada en confianza son altamente sensibles a la representación del modelo (ordinal vs. categórica nativa) y a la calibración, particularmente bajo cambio de contexto.
Instanciación Independiente del Esquema: El protocolo se aplica a un conjunto de datos público independiente (UCI Internet Firewall), reproduciendo la alta reconstructibilidad y la brecha de "precisión vs. rendimiento de la clase minoritaria", confirmando que los patrones observados no son únicos del esquema de la exportación empresarial específica.

Resultos

Rendimiento de Reconstrucción: En la línea base central (excluyendo fuentes de etiqueta directa), XGBoost y LightGBM lograron un rendimiento de hold-out perfecto (Macro-F1 de 1.000, 0 errores). Incluso en la ablación "sin contexto de aplicación", el rendimiento se mantuvo casi perfecto (Macro-F1 de 0.999981).
Determinismo: La auditoría libre de modelos encontró que del 64.7% al 71.4% de los registros ocupan contextos clave de un solo elemento (singleton). Los siete conjuntos determinantes de cuatro campos encontrados en la exploración de solo entrenamiento se mantuvieron exactamente en los contextos observados en las pruebas de hold-out y mantuvieron la concordancia en los contextos vistos.
Reducción de Proxies: Eliminar los campos de volumen y duración redujo el Macro-F1 a 0.9962. Una vista de proxy-mínimo más estricta (zonas, interfaces, puertos solamente) causó una caída significativa: XGBoost se estabilizó alrededor de un Macro-F1 de 0.951, mientras que LightGBM se volvió inestable (rango de 0.42–0.90) dependiendo de la semilla aleatoria.
Cambio de Contexto: Cuando se retuvieron grupos enteros de aplicaciones/categorías, el Macro-F1 para LightGBM ordinal cayó a ~0.673. Sin embargo, CatBoost de categoría nativa recuperó esto a 0.9923 en los mismos datos, indicando que la representación (el manejo de categorías no vistas) es un factor crítico en el rendimiento ante cambios de contexto.
Incertidumbre: En divisiones aleatorias, las métricas de incertidumbre (entropía, ECE) fueron cercanas a cero. Bajo cambio de contexto, la incertidumbre aumentó y los conjuntos conformes se expandieron o quedaron vacíos. Crucialmente, los conjuntos conformes marginales mostraron una cobertura insuficiente significativa para la clase rara "Deny" (p. ej., 58% de cobertura en $\alpha=0.10$ ), la cual fue restaurada a >90% mediante la predicción conforme de Mondrian (condicional a la clase).
Tiempo de Ejecución: La reconstrucción completa de un millón de filas fue computacionalmente factible en hardware de nube modesto, con el entrenamiento de XGBoost en ~25 segundos y la predicción a ~6 ms por cada 1,000 filas.

Significancia y Reivindicaciones
El documento sostiene que las puntuaciones de decisión de firewall casi perfectas deben interpretarse como evidencia de una superficie de decisión estable y determinista dentro de una exportación específica, en lugar de como prueba de detección de ataques general o razonamiento de seguridad independiente. La alta reconstructibilidad surge porque los registros operativos contienen rastros redundantes de la política que generó la decisión (p. ej., los bytes de fin de sesión y los puertos reflejan el resultado).

El estudio se posiciona como una herramienta para la reconstrucción de decisiones retrospectiva con límites de reclamo y el diagnóstico de incertidumbre simulada. Argumenta que tales modelos son valiosos para auditorías de políticas, ensayos de migración e identificación de inconsistencias de configuración o problemas de calidad de datos, pero no pueden reemplazar el análisis de reglas deterministas ni servir como detectores de intrusión entre entornos. Los hallazgos resaltan que los puntajes "perfectos" en ML de seguridad a menudo reflejan la procedencia de los datos y las estructuras de los proxies, lo que requiere pruebas rigurosas de ablación, de cambio de contexto y de cuantificación de la incertidumbre antes de extraer conclusiones operativas.

Resumen Técnico: Reconstrucción Casi Determinista de Decisiones de Firewall Empresarial

Más como este