A Deterministic Forensic Preprocessing Framework for Heterogeneous Network Datasets: Formal Foundations, Implementation, and Empirical Validation

Resumo Técnico: Um Framework de Pré-processamento Forense Determinístico para Conjuntos de Dados de Redes Heterogêneas

Declaração do Problema
As investigações forenses digitais dependem cada vez mais da correlação de evidências de fontes heterogêneas, incluindo logs de tráfego corporativo, telemetria de dispositivos IoT e alertas de Sistemas de Detecção de Intrusão (IDS). Um gargalo crítico existe na fase de pré-processamento: as abordagens existentes são predominantemente ad hoc, baseando-se em scripts customizados que carecem de mecanismos para verificar a consistência entre as execuções. Isso cria lacunas de reprodutibilidade que comprometem a integridade das evidências e desafiam a admissibilidade jurídica. Além disso, as ferramentas atuais (ex: Wireshark, Zeek) são projetadas para captura em tempo real, e não para integração post-hoc, enquanto sistemas de ETL (Extração, Transformação e Carga) de propósito geral carecem de garantias formais de determinismo, proveniência criptográfica e da capacidade de lidar com conjuntos de dados maiores que a memória disponível. O problema central é a ausência de um pipeline de pré-processamento que seja simultaneamente formalmente correto, reprodutível, criptograficamente verificável e escalável.

Metodologia
Os autores propõem um framework de pré-processamento forense determinístico que transforma conjuntos de dados de redes heterogêneas em uma forma canônica reprodutível. A metodologia é fundamentada em definições de teoria dos conjuntos e implementada via uma arquitetura baseada em blocos (chunks).

1. Fundamentos Formais: O framework define três transformações principais:

   • Normalização de Esquema ($T_s$): Mapeia nomes de campos heterogêneos para um esquema canônico, preservando os valores originais dos campos para garantir a preservação da informação.
   • Normalização Temporal ($T_t$): Converte diversos formatos de timestamp (Unix epoch, ISO 8601, etc.) para um formato canônico ISO 8601 UTC. Crucialmente, preserva os timestamps brutos e lida com casos ambíguos (ex: transições de Horário de Verão) de forma determinística sem descartar dados.
   • Rastreamento de Proveniência ($T_p$): Gera hashes criptográficos (SHA-256) para blocos de dados e cria registros de proveniência documentando a cadeia de custódia, incluindo índices de blocos, contagem de registros e carimbos de tempo.

2. Garantias Teóricas: O artigo estabelece quatro teoremas que comprovam:

   • Determinismo: As transformações produzem saídas idênticas para entradas idênticas, independentemente do contexto de execução.
   • Preservação de Informação: Nenhum dado é perdido durante a normalização de esquema ou temporal; os valores originais permanecem recuperáveis.
   • Completude de Proveniência: Cada registro é coberto por um registro de proveniência, garantindo auditoria total.

3. Arquitetura de Implementação:

   • Processamento Baseado em Blocos (Chunk-Based): Para lidar com conjuntos de dados que excedem a memória do sistema, o framework processa dados em blocos de tamanho fixo ($c$). Isso garante uma complexidade de memória limitada a $O(c)$, independente do tamanho total do conjunto de dados ($n$).
   • Ordenação Determinística: O sistema impõe comportamento determinístico ao processar registros na ordem do arquivo, ordenando nomes de campos alfabeticamente durante a serialização e utilizando ordens fixas de análise (parsing) para timestamps.
   • Verificação: A implementação inclui um mecanismo de verificação de múltiplas execuções que compara hashes SHA-256 dos conjuntos de dados finais e das cadeias de proveniência entre execuções independentes.

Principais Contribuições
O artigo reivindica seis contribuições primárias:

1. Framework de Pré-processamento Formal: Uma formalização de pré-processamento forense via teoria dos conjuntos como um problema de transformação determinística com definições explícitas para $T_s$, $T_t$ e $T_p$.
2. Garantias Baseadas em Teoremas: Quatro teoremas formais (com provas) estabelecendo determinismo, preservação de informação e completude de proveniência.
3. Pré-processamento Consciente de Proveniência: Integração do rastreamento de proveniência criptográfica (SHA-256) diretamente no nível de transformação de pré-processamento, suportando requisitos de cadeia de custódia.
4. Arquitetura de Memória Limitada: Um design baseado em blocos que permite o processamento de conjuntos de dados substancialmente maiores que a RAM disponível em hardware padrão.
5. Verificação de Reprodutibilidade: Uma metodologia de testes de equivalência SHA-256 de múltiplas execuções para validar empiricamente as garantias formais.
6. Validação Empírica: Avaliação em três conjuntos de dados públicos (UNSW-NB15, IoT-23, TON_IoT) demonstrando escalabilidade e consistência.

Resultados Experimentais
O framework foi avaliado em três conjuntos de dados variando de 2,5 milhões a 325 milhões de registros:

• Determinismo: Alcançou 100% de consistência de saída (tanto para o conjunto de dados quanto para o hash de proveniência) em cinco execuções independentes para todos os conjuntos de dados.
• Normalização Temporal: Alcançou de 99,99% a 100% de completude. Timestamps malformados foram preservados como valores brutos com campos canônicos marcados como indefinidos, garantindo a não perda de evidências.
• Cobertura de Proveniência: 100% dos registros foram cobertos por registros de proveniência com verificação criptográfica.
• Escalabilidade e Memória: O framework processou 325 milhões de registros (IoT-23) com um uso de memória de pico de 2,3 GB, confirmando a memória limitada a $O(c)$. Em contraste, um baseline baseado em Pandas falhou em grandes conjuntos de dados devido a restrições de memória e pela falta de verificação de determinismo.
• Desempenho: O throughput variou de 20.000 a 66.850 registros por segundo, dependendo da complexidade do conjunto de dados.

Significância e Alegações
O artigo posiciona este trabalho como o primeiro sistema a combinar garantias de pré-processamento formal, determinismo, verificação criptográfica, memória limitada e validação empírica em larga escala. Os autores argumentam que este framework aborda as "lacunas de reprodutibilidade" nos fluxos de trabalho forenses atuais, fornecendo uma base juridicamente defensável para a admissibilidade de evidências. Ao formalizar o pré-processamento como uma transformação determinística, o trabalho permite que analistas demonstrem cientificamente que a evidência não foi alterada ou processada de forma inconsistente. Os autores observam que, embora o framework forneça uma base robusta, trabalhos futuros são necessários para inferência de esquema automatizada, processamento distribuído e verificação formal verificada por máquina (ex: Coq).