💻 computer science

A Deterministic Forensic Preprocessing Framework for Heterogeneous Network Datasets: Formal Foundations, Implementation, and Empirical Validation

Dit artikel presenteert een deterministisch forensisch voorverwerkingsframework dat schema-, temporele- en herkomsttransformaties formaliseert om heterogene netwerkdatasets om te zetten in een reproduceerbare canonieke vorm, waardoor de consistentie, toelaatbaarheid en schaalbare prestaties van bewijsmateriaal in diverse forensische scenario's worden gewaarborgd.

Oorspronkelijke auteurs: Ravi Chaudhary, Reza Ryan, Nasim Ferdosian, Nickson M. Karie, Qian Li

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ravi Chaudhary, Reza Ryan, Nasim Ferdosian, Nickson M. Karie, Qian Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale detective bent die een misdaad probeert op te lossen. Je hebt bewijsmateriaal afkomstig van drie verschillende bronnen: een beveiligingscamera van een bank, een slimme thermostaat in een huis en een verkeerslog van een gemeentelijke server.

Het probleem? Elke bron spreekt een andere taal.

De bank schrijft datums als "2021-01-01."
De thermostaat schrijft ze als een enorm getal zoals "1609459200."
De gemeentelijke server schrijft ze als "Jan 1, 2021, 12 PM."

Ze gebruiken ook verschillende namen voor dezelfde dingen. De bank noemt de locatie van de crimineel "src_ip", terwijl de thermostaat het "source_address" noemt.

Als je probeert deze aantekeningen op één enkel whiteboard bij elkaar te brengen, is het een puinhoop. Erger nog, als je twee verschillende detectives vraagt om deze aantekeningen te organiseren, kunnen ze met twee verschillende versies van de tijdlijn eindigen. In een rechtszaal kan die ambiguïteit ervoor zorgen dat het bewijsmateriaal wordt afgewezen.

Dit artikel introduceert een Deterministic Forensic Preprocessing Framework. Denk aan een superstrikte, robotische vertaler en organisator die deze rommelige stapel bewijsmateriaal verandert in één enkel, perfect, onveranderlijk rapport.

Zo werkt het, onderverdeeld in eenvoudige stappen:

1. De Drie Magische Transformaties

Het framework gebruikt drie specifieke regels om de data op te schonen, die de auteurs "transformaties" noemen.

Schema Normalization (De "Naamkaartjes"-fix):
Stel je voor dat iedereen op een feestje een ander naamkaartje draagt. De één zegt "Bob", een ander "Robert" en weer een ander heeft gewoon een krabbel. Deze stap dwingt iedereen om een standaard naamkaartje te dragen (bijv. "Source IP"), terwijl de originele krabbel voor de zekerheid in een zakje wordt bewaard. Dit zorgt ervoor dat "src_ip" en "source_address" als hetzelfde worden behandeld, zonder dat er ooit informatie verloren gaat.
Temporal Normalization (De "Universele Klok"):
Dit is de tijdreis-fix. Het neemt elk vreemd datumformaat (getallen, tekst, verschillende tijdzones) en zet ze allemaal om in één universeel formaat: ISO 8601 UTC (zoals 2021-01-01T12:00:00Z). Als een tijdstempel defect of onleesbaar is, wordt het bewijs niet weggegooid; het wordt gemarkeerd als "onbekend", maar de originele kapotte aantekening blijft veilig in het bestand.
Provenance Tracking (Het "Digitale Zegel"):
Dit is het belangrijkste deel voor de rechtbank. Terwijl de robot de data organiseert, hakt hij het enorme bestand in kleine "chunks" (zoals pagina's van een boek). Voor elke chunk maakt hij een unieke digitale vingerafdruk (een SHA-256 hash). Het is also eigenlijk elke pagina van een dagboek verzegelen met was en een unieke stempel. Als iemand later zelfs maar één letter in de data probeert te veranderen, komt de vingerafdruk niet meer overeen en weet je dat er met het bewijsmateriaal is geknoeid.

2. De "Deterministic" Belofte

Het woord Deterministisch is de superkracht van het paper. In eenvoudige termen betekent het: "Dezelfde Input = Elke keer dezelfde Output."

Als je dit framework 100 keer draait op hetzelfde bewijsmateriaal, krijg je exact hetzelfde resultaat 100 keer. Het maakt niet uit wie het uitvoert, welke computer ze gebruiken of hoe laat het is.

Waarom dit belangrijk is: In een rechtszaal, als een advocaat van de verdediging vraagt: "Heeft de rechercheur de data aangepast om het in hun theorie te laten passen?", is het antwoord: "Nee, want de wiskunde garandeert dat het onmogelijk is om een ander resultaat te krijgen van hetzelfde startpunt."

3. De "Chunk"-truc (Een olifant in een koelkast proppen)

Normaal gesproken heb je een gigantische tafel nodig om een enorme bibliotheek aan boeken te leggen. Als je 300 miljoen records hebt (zoals de IoT-23 dataset in het paper), zou het geheugen van je computer ontploffen als je ze allemaal tegelijk probeert vast te houden.

Dit framework gebruikt een Chunk-Based Architecture.

De Analogie: In plaats van de hele bibliotheek tegelijk vast te willen houden, pakt de robot één kleine stapel van 10.000 boeken, organiseert deze, verzegelt deze met een vingerafdruk, doet ze in een doos en zet de doos opzij. Daarna pakt hij de volgende stapel.
Het Resultaat: Het kan enorme datasets (honderden miljoenen records) verwerken op een standaard laptop zonder dat het geheugen ooit volloopt. Het houdt het geheugengebruik laag en stabiel, als een emmer die nooit overstroomt.

4. Wat hebben ze bewezen?

De auteurs hebben niet alleen een robot gebouwd; ze hebben bewezen dat het werkt met behulp van wiskunde (stellingen) en tests in de echte wereld.

De Wiskunde: Ze schreven formele bewijzen die laten zien dat hun regels voor het hernoemen, converteren van tijd en verzegelen van data logisch sluitend zijn en nooit informatie verliezen.
De Test: Ze testten het op drie real-world datasets (UNSW-NB15, IoT-23 en TON_IoT) die tot wel 325 miljoen records bevatten.
- Resultaat: Ze draaiden het proces 5 keer op elke dataset. Elke keer kwamen de digitale vingerafdrukken perfect overeen. Het systeem verwerkte de enorme hoeveelheid data zonder vast te lopen en hield het geheugengebruik laag (rond de 2,2 GB).

Samenvatting

Dit paper presenteert een forensische "assemblagelijn" die rommelige, incompatibele digitale bewijsstukken omzet in een schoon, gestandaardiseerd en juridisch verdedigbaar rapport.

Het garandeert dat:

De data consistent is georganiseerd (geen meer verwarring tussen "src_ip" versus "source_address").
De tijdlijn verenigd is (geen vermenging van tijdzones meer).
Het bewijsmateriaal is verzegeld met een cryptografische vingerafdruk, zodat niemand kan beweren dat het vervalst is.
Het enorme hoeveelheden data kan verwerken zonder een supercomputer nodig te hebben.

Kortom, het verandert een chaotische stapel digitale aanwijzingen in een rechtszaak-klaar verhaal dat niet betwist kan worden op basis van "hoe het verwerkt is".

Technische Samenvatting: Een Deterministisch Forensisch Preprocessing Framework voor Heterogene Netwerkdatasets

Probleemstelling
Digitale forensische onderzoeken vertrouwen steeds vaker op het correleren van bewijsmateriaal uit heterogene bronnen, waaronder enterprise netwerkverkeerlogs, IoT-device telemetrie en Intrusion Detection System (IDS) alerts. Een kritieke flessenhals bestaat in de preprocessing-fase: bestaande benaderingen zijn overwegend ad hoc, waarbij gebruik wordt gemaakt van aangepaste scripts die geen mechanismen hebben om consistentie tussen runs te verifiëren. Dit creëert reproduceerbaarheidsgaten die de integriteit van bewijsmateriaal ondermijnen en de juridische toelaatbaarheid bemoeilijken. Bovendien zijn huidige tools (bijv. Wireshark, Zeek) ontworpen voor real-time capture in plaats van post-hoc integratie, terwijl algemene Extract, Transform, Load (ETL) systemen geen formele garanties bieden voor determinisme, cryptografische herkomst (provenance) en het vermogen om datasets te verwerken die groter zijn dan het beschikbare geheugen. Het kernprobleem is de afwezigheid van een preprocessing-pipeline die tegelijkertijd formeel correct, reproduceerbaar, cryptografisch verifieerbaar en schaalbaar is.

Methodologie
De auteurs stellen een deterministisch forensisch preprocessing framework voor dat heterogene netwerkdatasets transformeert naar een reproduceerbare canonieke vorm. De methodologie is gebaseerd op verzamtheoretische definities en geïmplementeerd via een chunk-gebaseerde architectuur.

Formele Fundamenten: Het framework definieert drie kerntransformaties:
- Schema Normalisatie ( $T_s$ ): Brengt heterogene veldnamen in overeenstemming met een canoniek schema, terwijl de oorspronkelijke veldwaarden worden behouden om informatiebehoud te garanderen.
- Temporele Normalisatie ( $T_t$ ): Converteert diverse tijdstempelformaten (Unix epoch, ISO 8601, etc.) naar een canoniek ISO 8601 UTC-formaat. Cruciaal is dat het ruwe tijdstempels behoudt en ambigue gevallen (bijv. overgangen in zomertijd) deterministisch afhandelt zonder gegevens te verwijderen.
- Provenance Tracking ( $T_p$ ): Genereert cryptografische hashes (SHA-256) voor data-chunks en creëert provenance-records die de chain of custody documenteren, inclusief chunk-indices, recordaantallen en tijdstempels.
Theoretische Garanties: Het artikel stelt vier stellingen vast die bewijzen:
- Determinisme: De transformaties produceren identieke outputs voor identieke inputs, ongeacht de executiecontext.
- Informatiebehoud: Geen gegevens gaan verloren tijdens schema- of temporele normalisatie; oorspronkelijke waarden blijven herstelbaar.
- Provenance Volledigheid: Elk record wordt gedekt door een provenance-record, wat volledige auditeerbaarheid waarborgt.
Implementatie Architectuur:
- Chunk-gebaseerde Verwerking: Om datasets te verwerken die het systeemgeheugen overstijgen, verwerkt het framework data in vaste grootte chunks ( $c$ ). Dit zorgt voor een $O(c)$ begrensde geheugencomplexiteit, onafhankelijk van de totale datasetgrootte ( $n$ ).
- Deterministische Ordening: Het systeem dwingt deterministisch gedrag af door records in bestandsvolgorde te verwerken, veldnamen alfabetisch te sorteren tijdens serialisatie en vaste parsing-volgordes voor tijdstempels te gebruiken.
- Verificatie: De implementatie bevat een multi-run verificatiemechanisme dat de SHA-256 hashes van de uiteindelijke datasets en de provenance-ketens vergelijkt over onafhankelijke executies.

Belangrijkste Bijdragen
Het artikel claimt zes primaire bijdragen:

Formeel Preprocessing Framework: Een verzamtheoretische formalisering van forensische preprocessing als een deterministisch transformatieprobleem met expliciete definities voor $T_s$ , $T_t$ en $T_p$ .
Theorem-Backed Garanties: Vier formele stellingen (met bewijzen) die determinisme, informatiebehoud en provenance-volledigheid vaststellen.
Provenance-bewuste Preprocessing: Integratie van cryptografische provenance-tracking (SHA-256) direct in het preprocessing-transformatieniveau, wat ondersteuning biedt aan de eisen voor de chain-of-custody.
Bounded-Memory Architectuur: Een chunk-gebaseerd ontwerp dat het verwerken van datasets mogelijk maakt die aanzienlijk groter zijn dan het beschikbare RAM op standaard hardware.
Reproduceerbaarheidsverificatie: Een methodologie voor multi-run SHA-256 equivalentie-testen om de formele garanties empirisch te valideren.
Empirische Validatie: Evaluatie over drie publieke datasets (UNSW-NB15, IoT-23, TON_IoT) die schaalbaarheid en consistentie aantonen.

Experimentele Resultaten
Het framework werd geëvalueerd op drie datasets variërend van 2,5 miljoen tot 325 miljoen records:

Determinisme: Bereikte 100% output-consistentie (zowel dataset als provenance hashes) over vijf onafhankelijke runs voor alle datasets.
Temporele Normalisatie: Bereikte 99,99% tot 100% volledigheid. Malformed tijdstempels werden bewaard als ruwe waarden met de canonieke velden gemarkeerd als ongedefinieerd, wat gegevensverlies voorkomt.
Provenance Dekking: 100% van de records werd gedekt door provenance-records met cryptografische verificatie.
Schaalbaarheid en Geheugen: Het framework verwerkte 325 miljoen records (IoT-23) met een piekgeheugengebruik van 2,3 GB, wat een $O(c)$ begrensde geheugencomplexiteit bevestigt. In contrast hiermee faalde een Pandas-gebaseerde baseline op grote datasets vanwege geheugenbeperkingen en het gebrek aan deterministische verificatie.
Prestaties: De throughput varieerde van 20.000 tot 66.850 records per seconde, afhankelijk van de complexiteit van de dataset.

Betekenis en Claims
Het artikel positioneert dit werk als het eerste systeem dat formele preprocessing-garanties, determinismebewijzen, cryptografische verificatie, bounded memory en grootschalige empirische validatie combineert. De auteurs stellen dat dit framework de "reproduceerbaarheidsgaten" in huidige forensische workflows aanpakt, en een juridisch verdedigbare basis biedt voor de toelaatbaarheid van bewijsmateriaal. Door preprocessing te formaliseren als een deterministische transformatie, stelt het werk analisten in staat om wetenschappelijk aan te tonen dat bewijsmateriaal niet is gewijzigd of inconsistent is verwerkt. De auteurs merken op dat hoewel het framework een robuuste basis biedt, toekomstig werk vereist is voor automatische schema-inferentie, gedistribueerde verwerking en machine-gecontroleerde formele verificatie (bijv. in Coq).

1. De Drie Magische Transformaties

2. De "Deterministic" Belofte

3. De "Chunk"-truc (Een olifant in een koelkast proppen)

4. Wat hebben ze bewezen?

Samenvatting

Meer zoals dit