💻 computer science

Near-Deterministic Reconstruction of Enterprise Firewall Decisions for Policy Audit: Proxy Structure, Context Shift, and Residual Uncertainty

Este estudo demonstra que decisões de firewall corporativo podem ser reconstruídas de forma quase determinística a partir de logs de tráfego usando aprendizado supervisionado, revelando que a alta precisão do modelo frequentemente reflete a replicação de proxies de políticas específicos e regras dependentes de contexto em vez da detecção independente de ameaças, permitindo, assim, auditorias de política retrospectivas ao mesmo tempo em que destaca limitações significativas na generalização entre ambientes e na calibração de incerteza.

Autores originais: Özkan Canay, Cem Özkurt, Fatmir Garri

Publicado 2026-08-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Özkan Canay, Cem Özkurt, Fatmir Garri

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descobrir por que um segurança em uma boate superrigorosa deixa algumas pessoas entrarem e barra outras. Você tem um caderno gigante cheio de milhões de entradas, cada uma registrando exatamente o que o segurança fez: "Permitido", "Descartado" ou "Negado". No mundo da segurança de computadores, este caderno é chamado de "log de firewall", e o segurança é um firewall — um porteiro digital que protege a rede de uma empresa contra agentes maldosos. Geralmente, especialistas em segurança usam esses logs para caçar hackers, procurando padrões que gritem "perigo!". Mas há um problema complicado: às vezes, a decisão do segurança não é sobre se uma pessoa é realmente um criminoso; é apenas sobre se ela se encaixa no código de vestimenta específico ou na lista de membros do clube. Se você treinar um computador para adivinhar as decisões do segurança, ele pode apenas aprender o código de vestimenta perfeitamente, não porque seja um detetive genial, mas porque as pistas no caderno (como o tamanho do sapato da pessoa ou o horário em que ela chegou) revelam a resposta muito facilmente. Este artigo faz uma pergunta fascinante: Se escondermos as pistas óbvias, um computador ainda consegue adivinhar os movimentos do segurança com uma precisão quase perfeita? E, se conseguir, isso significa que o computador é inteligente ou que as pistas eram fáceis demais de encontrar?

Este estudo mergulha em um caderno massivo contendo mais de um milhão de registros de um firewall corporativo real, especificamente um dispositivo Palo Alto. Os pesquisadores queriam ver se conseguiam reconstruir a "superfície de decisão" — a linha invisível que o firewall desenha para decidir quem entra — usando apenas os detalhes circundantes, enquanto escondiam os motivos diretos da decisão. Eles trataram as escolhas do firewall (Permitir, Descartar, Negar) como um quebra-cabeça. Eles removeram as peças mais óbvias do quebra-cabeça, como o nome da aplicação específica ou o número da regra que disparou a ação, para ver se as pistas restantes (como o tamanho do pacote de dados ou o número da porta) seriam suficientes para resolver o problema.

Os resultados são um pouco como descobrir que o segurança do clube está, na verdade, seguindo um roteiro muito rígido e previsível. Os pesquisadores descobriram que, mesmo após remover os "atalhos" mais óbvios (como o nome da aplicação), programas de computador poderosos chamados "ensembles de árvores" (pense neles como árvores de decisão superinteligentes que fazem uma série de perguntas de sim ou não) ainda consegiam adivinhar a decisão do firewall quase perfeitamente. Na verdade, dois desses programas, XGBoost e LightGBM, obtiveram uma pontuação perfeita, cometendo zero erros nos dados de teste. Acontece que a decisão do firewall está tão estritamente ligada aos outros detalhes do log que você nem precisa saber a regra para saber o resultado. Por exemplo, eles descobriram que apenas saber a "Porta de Origem" (um número específico identificando a conexão) e os "Bytes" (o tamanho dos dados) era suficiente para determinar a decisão em milhões de casos.

No entanto, o artigo é muito cuidadoso ao não chamar isso de uma "vitória" para a detecção de hackers. Os autores argumentam que essa pontuação quase perfeita não significa que o computador aprendeu a detectar hackers reais. Em vez disso, significa que o computador aprendeu a "gramática" interna do firewall. É como um aluno que memoriza o gabarito de uma prova em vez de entender a matemática. Quando os pesquisadores tentaram tornar o quebra-cabeça mais difícil, removendo ainda mais pistas — como o tamanho dos dados ou o país de origem — a pontuação perfeita do computador caiu, mas ainda foi surpreendentemente boa. Isso sugere que as decisões do firewall são "codificadas de forma redundante", o que significa que a mesma informação é repetida em muitos campos diferentes do log.

O estudo também observou o que acontece quando o computador encontra uma situação que não viu antes, como um novo tipo de app ou um destino diferente. Aqui, o feitiço quebra. A confiança do computador vacila e ele começa a cometer erros, especialmente nas decisões "Negar" que são raras. Os pesquisadores usaram ferramentas especiais para medir essa incerteza, mostrando que, embora o computador seja um mestre em adivinhar os movimentos do firewall em território familiar, ele se perde quando o contexto muda. Eles descobriram que, se esconderem os detalhes da "aplicação", o computador ainda consegue adivinhar 99,9% das vezes, mas se esconderem o "volume" e a "duração" do tráfego, a precisão cai ligeiramente, provando que esses detalhes estavam atuando como atalhos ocultos.

Em última análise, este artigo não é sobre construir um detector de hackers melhor; é sobre auditar o próprio firewall. Ele mostra que, para esta empresa específica e para esta janela de tempo específica (cerca de 46 minutos de tráfego), as decisões do firewall são quase inteiramente previsíveis a partir dos dados circundantes. Os pesquisadores encontraram sete pequenas combinações de apenas quatro campos que podiam prever o resultado perfeitamente. Mas eles também alertam que isso é uma reconstrução "quase determinística", o que significa que funciona porque os dados são consistentes, não porque o computador entende de segurança. Se as regras do firewall mudarem ou o ambiente de rede sofrer um deslocamento, essa previsão perfeita pode desaparecer. O artigo conclui que, embora possamos reconstruir o processo de tomada de decisão do firewall com alta precisão, devemos ter cuidado para não confundir essa reconstrução com uma capacidade genuína de detectar novas ameaças desconhecidas. É uma ferramenta poderosa para verificar se o firewall está se comportando de forma consistente, mas não é uma bola de cristal para o futuro.

Resumo Técnico: Reconstrução Quase-Determinística de Decisões de Firewalls Corporativos

Definição do Problema
Este estudo aborda um risco de interpretação metodológica em aprendizado de máquina para segurança de rede: a confusão entre o alto desempenho de aprendizado supervisionado em logs de firewall com a detecção de ameaças independente. As decisões de firewalls corporativos (Allow, Drop, Deny) são resultados determinísticos gerados por políticas configuradas, identificação de aplicações e comportamentos de terminação de sessão, em vez de rótulos de maliciosidade validados por humanos. Quando modelos alcançam precisão quase perfeita nesses logs, não fica claro se eles aprenderam um raciocínio de segurança generalizável ou apenas a "gramática operacional" e as estruturas de proxy de um dispositivo específico. O artigo investiga até que ponto a superfície de decisão logada de um firewall implantado pode ser reconstruída a partir de campos de log estruturados após a exclusão de campos de origem direta do rótulo, e qual incerteza residual permanece quando as variáveis de proxy são reduzidas ou os contextos mudam.

Metodologia
A pesquisa utiliza um conjunto de dados do mundo real contendo 1.048.576 registros de logs de tráfego de um firewall de próxima geração da Palo Alto Networks, capturados em uma janela de 46 minutos. A variável alvo é uma decisão operacional de três classes (Allow, Drop, Deny), construída a partir dos campos de subtipo de tráfego e razão de término de sessão.

Pré-processamento de Dados: Campos de origem direta do rótulo (ação bruta, subtipo de tráfego, razão de término de sessão) são estritamente excluídos de todas as visões de preditores. O conjunto de dados é dividido em uma partição de controle estratificada de 80/20 (variantes aleatórias e ordenadas no tempo) e uma amostra limitada para validação cruzada.
Visões de Atributos (Feature Views): O estudo emprega várias configurações de atributos para testar a dependência de proxy:
- Baseline Principal (Core Baseline): 24 campos incluindo contexto de aplicação, zonas, interfaces, portas, países e telemetria pós-decisão (bytes, duração).
- Sem Contexto de Aplicação (No-Application-Context): Remove a taxonomia e os campos de categoria de aplicação para testar a dependência de proxies de aplicação explícitos.
- Mínimo de Proxy Estrito (Strict Proxy-Minimal): Mantém apenas campos de zona/interface e transporte/porta (com/sem país), removendo aplicações, volume e campos próximos à política.
- Com Política (With-Policy): Adiciona campos de regra e origem da ação como um diagnóstico de limite superior empírico.
Auditoria Livre de Modelo (Model-Free Audit): Antes de treinar os classificadores, os autores realizam uma auditoria determinística usando agrupamento exato para identificar conjuntos determinantes mínimos (subconjuntos de campos que predizem perfeitamente o rótulo) e calcular a entropia condicional. Isso inclui a verificação de linhas de conflito (contextos com múltiplos rótulos) e contextos singleton.
Modelos de Aprendizado de Máquina: O estudo avalia conjuntos de árvores escaláveis (XGBoost, LightGBM, Extra Trees, CatBoost) e árvores de decisão únicas. Os modelos são treinados com pesos de classe equilibrados para lidar com o severo desequilíbrio de classes (Allow: ~77%, Drop: ~22%, Deny: ~1,3%).
Diagnósticos de Incerteza: O estudo utiliza previsão conformal (variantes marginal e Mondrian), conjuntos de predição adaptativos (APS) e classificação seletiva (abstenção baseada em confiança) para quantificar a incerteza residual, calibração (ECE, Brier score) e bolsões de erro sob mudança de contexto.

Principuições Chave

Auditoria de Reconstruibilidade Livre de Modelo: O estudo identifica sete conjuntos determinantes mínimos de quatro campos na exportação completa que determinam perfeitamente o rótulo da decisão. Esses conjuntos consistentemente incluem a Porta de Origem (Source Port) e os Bytes de término de sessão (session-end Bytes), combinados com outros dois campos (ex: Interface de Saída, Categoria de Aplicação). A auditoria confirma zero linhas de conflito na exportação observada, estabelecendo o determinismo empírico.
Diagnósticos de Estresse de Fronteira: Por meio de ablações de famílias de atributos e testes de retenção de contexto (retendo grupos inteiros de aplicação/categoria, serviço de destino ou grupos de regras), o artigo mapeia a estabilidade da fronteira de decisão. Demonstra que, embora a reconstrução permaneça quase perfeita ao remover o contexto de aplicação, ela degrada significativamente sob visões de mínimo de proxy estrito e mudanças de contexto.
Diagnósticos Conformes e Seletivos: A pesquisa expõe que a previsão conformal marginal pode ocultar a subcobertura da classe rara "Deny". Mostra que filas de limiar de probabilidade e classificação seletiva baseada em confiança são altamente sensíveis à representação do modelo (ordinal vs. categórica nativa) e à calibração, particularmente sob mudança de contexto.
Instanciação Independente de Esquema: O protocolo é aplicado a um conjunto de dados público independente (UCI Internet Firewall), reproduzindo a alta reconstruibilidade e a lacuna "precisão vs. desempenho da classe minoritária", confirmando que os padrões observados não são exclusivos do esquema do export específico da empresa.

Resultados

Desempenho de Reconstrução: No baseline principal (excluindo fontes diretas do rótulo), XGBoost e LightGBM alcançaram desempenho perfeito de hold-out (Macro-F1 de 1.000, 0 erros). Mesmo na ablação "sem contexto de aplicação", o desempenho permaneceu quase perfeito (0.999981 Macro-F1).
Determinismo: A auditoria livre de modelo encontrou que de 64,7% a 71,4% dos registros ocupam contextos de chave singleton. Os sete conjuntos determinantes de quatro campos encontrados no dado completo também se mantiveram exatamente na descoberta apenas de treinamento e mantiveram concordância em contextos vistos nos testes de hold-out.
Redução de Proxy: Remover campos de volume e duração reduziu o Macro-F1 para 0.9962. Uma visão de mínimo de proxy mais estrita (apenas zonas, interfaces, portas) causou uma queda significativa: o XGBoost estabilizou em torno de 0.951 Macro-F1, enquanto o LightGBM tornou-se instável (intervalo de 0.42–0.90) dependendo da semente aleatória.
Mudança de Contexto: Quando grupos inteiros de aplicação/categoria foram retidos, o Macro-F1 para o LightGBM ordinal caiu para ~0.673. No entanto, o CatBoost com categórica nativa recuperou isso para 0.9923 nos mesmos dados, indicando que a representação (lidar com categorias não vistas) é um fator crítico no desempenho sob mudança de contexto.
Incerteza: Em divisões aleatórias, as métricas de incerteza (entropia, ECE) foram próximas de zero. Sob mudança de contexto, a incerteza aumentou, e os conjuntos conformes expandiram-se ou tornaram-se vazios. Crucialmente, os conjuntos conformes marginais mostraram subcobertura significativa para a classe rara "Deny" (ex: 58% de cobertura em $\alpha=0.10$ ), que foi restaurada para >90% usando previsão conformal de Mondrian (condicional à classe).
Tempo de Execução: A reconstrução completa de um milhão de linhas foi computacionalmente viável em hardware de nuvem modesto, com o treinamento do XGBoost em ~25 segundos e predição em ~6 ms por 1.000 linhas.

Significância e Alegações
O artigo afirma que pontuações de decisão de firewall quase perfeitas devem ser interpretadas como evidência de uma superfície de decisão estável e determinística dentro de um export específico, em vez de prova de detecção de ataque geral ou raciocínio de segurança independente. A alta reconstruibilidade surge porque os logs operacionais contêm rastros redundantes da política que gerou a decisão (ex: bytes de término de sessão e portas refletindo o resultado).

O estudo posiciona-se como uma ferramenta para reconstrução de decisão retrospectiva com limites de alegação e diagnósticos de incerteza simulados. Argumenta que tais modelos são valiosos para auditorias de política, ensaios de migração e identificação de inconsistências de configuração ou problemas de qualidade de dados, mas não podem substituir a análise de regra determinística ou servir como detectores de intrusão entre ambientes. Os achados destacam que pontuações "perfeitas" em ML de segurança frequentemente refletem a proveniência dos dados e estruturas de proxy, exigindo ablação rigorosa, testes de mudança de contexto e quantificação de incerteza antes de tirar conclusões operacionais.

Mais como este