A Deterministic Forensic Preprocessing Framework for Heterogeneous Network Datasets: Formal Foundations, Implementation, and Empirical Validation

あなたはデジタル探偵として、ある犯罪を解決しようとしていると想像してください。あなたは3つの異なるソースから証拠を得ています：銀行のセキュリティカメラ、家庭内のスマートサーモスタット、そして都市サーバーのトラフィックログです。

問題は？それぞれのソースが異なる言語を話していることです。

• 銀行は日付を「2021-01-01」のように書き込みます。
• サーモスタットは「1609459200」のような巨大な数字として書き込みます。
• 都市サーバーは「Jan 1, 2021, 12 PM」のように書き込みます。

また、同じものを指して異なる名前を使っています。銀行は犯人の所在を「src_ip」と呼び、サーモスタットは「source_address」と呼びます。

これらのメモを一つのホワイトボードにまとめようとしても、めちゃくちゃになります。さらに悪いことに、2人の異なる探偵にこれらのメモを整理させた場合、彼らは2つの異なるバージョンのタイムラインを作成してしまうかもしれません。法廷において、このような曖昧さは証拠が却下される原因となります。

この論文は、**決定論的フォレンジック前処理フレームワーク（Deterministic Forensic Preprocessing Framework）**を紹介しています。これは、この散らかった証拠の山を、一つの完璧で不変のレポートへと変える、非常に厳格でロボットのような翻訳者兼整理係だと考えてください。

その仕組みを、簡単なステップに分解して説明します：

1. 3つの魔法の変換

このフレームワークは、データを整理するために、著者らが「変換（transformations）」と呼ぶ3つの特定のルールを使用します。

• スキーマ正規化（「名札」の修正）:
  パーティーにいる全員が異なる名札をつけているところを想像してください。ある人は「Bob」、ある人は「Robert」、ある人はただの落書きです。このステップでは、全員に標準的な名札（例：「Source IP」）を強制的に着用させますが、念のために元の落書きもポケットの中に保管しておきます。これにより、「src_ip」と「source_address」が同じものとして扱われることを保証しつつ、情報は決して失われません。
• 時間正規化（「ユニバーサル・クロック」）:
  これはタイムトラベルの修正です。あらゆる奇妙な日付形式（数字、テキスト、異なるタイムゾーン）を取り込み、すべてを一つの共通形式である ISO 8601 UTC（例：2021-01-01T12:00:00Z）に変換します。もしタイムスタンプが壊れていたり読み取れなかったりしても、その証拠を捨て去るのではなく、「不明（unknown）」としてマークし、元の壊れたメモもファイル内に安全に保持します。
• プロベナンス・トラッキング（「デジタルの封印」）:
  これは法廷において最も重要な部分です。ロボットがデータを整理する際、巨大なファイルを小さな「チャンク（塊）」に切り分けます（本のページのようなものです）。各チャンクに対して、独自のデジタル指紋（SHA-256ハッシュ）を作成します。これは、日記のすべてのページに、蝋と独自のスタンプで封印を施すようなものです。もし後で誰かがデータの文字を一つでも変えようとした場合、指紋が一致しなくなり、証拠が改ざんされたことが分かります。

2. 「決定論的（Deterministic）」という約束

「決定論的（Deterministic）」という言葉は、この論文のスーパーパワーです。簡単に言えば、それは次を意味します：「同じ入力 ＝ 同じ出力、常に。」

同じ証拠ファイルに対してこのフレームワークを実行すれば、100回実行しても、必ず全く同じ結果が得られます。誰が実行しても、どのコンピュータを使っても、あるいは何時であっても関係ありません。

• なぜこれが重要か： 法廷で弁護士が「探偵が自分の理論に合わせるためにデータを書き換えたのではないか？」と尋ねたとき、答えは「いいえ、数学によって、同じ出発点から異なる結果を得ることは不可能であることが保証されています」となります。

3. 「チャンク」のトリック（象を冷蔵庫に入れる方法）

通常、巨大な図書室を整理するには、それらをすべて広げられる巨大なテーブルが必要です。もし3億件のレコード（この論文のIoT-23データセットなど）がある場合、コンピュータのメモリはそれを一度に保持しようとして爆発してしまうでしょう。

このフレームワークは、**チャンクベースのアーキテクチャ（Chunk-Based Architecture）**を使用しています。

• 比喩： 図書館全体を一度に持とうとする代わりに、ロボットは1万冊の小さな本を積み重ねた束を手に取り、それを整理し、指紋で封印し、箱に入れて片付けます。そして、次の束を手に取ります。
• 結果： これにより、膨大なデータセット（数億件のレコード）を、メモリ不足を起こすことなく標準的なノートパソコンで処理できます。メモリ使用量は、溢れることのないバケツのように、低く安定したまま保たれます。

4. 彼らは何を証明したのか？

著者たちは単にロボットを作っただけでなく、数学（定理）と実世界のテストを用いて、それが機能することを証明しました。

• 数学： 彼らは、名前の変更、時間の変換、およびデータの封印に関する彼らのルールが論理的に健全であり、決して情報を失わないことを示す正式な証明を記述しました。
• テスト： 彼らは、最大3億2500万件のレコードを含む3つの実世界のデータセット（UNSW-NB15、IoT-23、およびTON_IoT）を用いてテストを行いました。
  • 結果： 各データセットに対してプロセスを5回実行しました。そのすべてにおいて、デジタル指紋は完璧に一致しました。システムは、メモリ使用量を低く（約2.2 GB）保ちながら、クラッシュすることなく膨大なデータを処理できました。

まとめ

この論文は、バラバラで互換性のないデジタル証拠を取り込み、クリーンで標準化された、法的に防御可能なレポートへと変える**フォレンジックな「組立ライン」**を提示しています。

これは以下のことを保証します：

1. データが整合性を持って整理されていること（「src_ip」対「source_address」のような混乱はもうありません）。
2. タイムラインが統一されていること（タイムゾーンの混同はありません）。
3. 証拠が暗号技術による指紋で封印されており、誰も捏造を主張できないこと。
4. スーパーコンピュータを必要とせず、膨大なデータを扱えること。

要するに、これは混沌としたデジタルな手がかりの山を、その「処理方法」を理由に争うことができない、法廷に提出可能な物語へと変えるのです。