A Deterministic Forensic Preprocessing Framework for Heterogeneous Network Datasets: Formal Foundations, Implementation, and Empirical Validation

당신이 디지털 탐정이 되어 범죄를 해결하고 있다고 상상해 보십시오. 당신은 세 가지 서로 다른 소스로부터 증거를 받고 있습니다: 은행의 보안 카메라, 집 안의 스마트 온도 조절기, 그리고 시 서버의 교통 로그입니다.

문제는 무엇일까요? 각 소스가 서로 다른 언어로 말하고 있다는 점입니다.

• 은행은 날짜를 "2021-01-01"과 같이 기록합니다.
• 온도 조절기는 "1609459200"과 같은 거대한 숫자로 기록합니다.
• 시 서버는 "Jan 1, 2021, 12 PM"과 같이 기록합니다.

또한, 이들은 동일한 대상에 대해 서로 다른 이름을 사용합니다.
은행은 범인의 위치를 "src_ip"라고 부르는 반면, 온도 조절기는 이를 "source_address"라고 부릅니다.

이 노트들을 하나의 화이트보드에 모으려고 하면 엉망진창이 됩니다. 더 심각한 것은, 두 명의 서로 다른 형사에게 이 노트들을 정리하도록 시켰을 때, 그들이 서로 다른 버전의 타임라인을 만들어낼 수도 있다는 점입니다. 법정에서 이러한 모호함은 증거가 기각되는 원인이 될 수 있습니다.

이 논문은 **결정론적 포렌식 전처리 프레임워크(Deterministic Forensic Preprocessing Framework)**를 소개합니다. 이것은 이 엉망인 증거 더미를 하나의 완벽하고 변경 불가능한 보고서로 바꾸어 주는 매우 엄격하고 로봇 같은 번역가이자 정리 도구라고 생각하시면 됩니다.

작동 방식은 다음과 같습니다. 간단한 단계별로 나누어 설명하겠습니다.

1. 세 가지 마법의 변환

이 프레임워크는 저자들이 "변환(transformations)"이라고 부르는 세 가지 특정 규칙을 사용하여 데이터를 정제합니다.

• 스키마 정규화 (이름표 수정):
  파티에 온 모든 사람이 서로 다른 이름표를 달고 있다고 상상해 보십시오. 어떤 이는 "Bob", 어떤 이는 "Robert", 어떤 이는 그냥 낙서처럼 적혀 있습니다. 이 단계는 모든 사람이 표준 이름표(예: "Source IP")를 달도록 강제하면서도, 만약을 대비해 원래의 낙서도 주머니에 보관합니다. 이는 "src_ip"와 "source_address"가 동일한 것으로 취급되도록 보장하면서도, 정보가 결코 손실되지 않게 합니다.
• 시간 정규화 (유니버설 시계):
  이것은 시간 여행 수정 기능입니다. 모든 이상한 날짜 형식(숫자, 텍리, 서로 다른 시간대)을 하나의 유니버설 형식인 ISO 8601 UTC(예: 2021-01-01T12:00:00Z)로 변환합니다. 만약 타임스탬프가 깨졌거나 읽을 수 없는 경우에도, 증거를 버리는 대신 이를 "알 수 없음(unknown)"으로 표시하고 원래의 깨진 노트는 파일 내에 안전하게 보관합니다.
• 출처 추적 (디지털 인장):
  이것은 법정에서 가장 중요한 부분입니다. 로봇이 데이터를 정리하는 동안, 방대한 파일을 작은 "청크(chunks)"(책의 페이지와 같은 단위)로 나눕니다. 각 청크마다 고유한 디지털 지문(SHA-256 해시)을 생성합니다. 이것은 마치 일기장의 모든 페이지에 밀랍을 입히고 고유한 도장을 찍는 것과 같습니다. 만약 누군가 나중에 데이터의 글자 하나라도 바꾸려 한다면, 지문이 일치하지 않을 것이므로 증거가 조작되었음을 알 수 있습니다 있습니다.

2. "결정론적(Deterministic)"이라는 약속

"결정론적"이라는 단어는 이 논문의 초능력입니다. 간단히 말해, 이것은 **"동일한 입력 = 매번 동일한 출력"**을 의미합니다.

만약 동일한 증거 파일에 이 프레임워크를 100번 실행한다면, 당신은 100번 모두 정확히 똑같은 결과를 얻게 될 것입니다. 누가 실행하든, 어떤 컴퓨터를 사용하든, 혹은 몇 시에 실행하든 상관없습니다.

• 이것이 중요한 이유: 법정에서 변호사가 "형사가 자신의 이론에 맞추기 위해 데이터를 변경했습니까?"라고 묻는다면, 대답은 "아니요, 수학적으로 동일한 시작점에서 다른 결과를 얻는 것이 불가능하기 때문입니다"가 됩니다.

3. "청크(Chunk)" 기술 (코끼리를 냉장고에 넣기)

보통 거대한 도서관을 정리하려면 책들을 모두 펼쳐 놓을 거대한 테이블이 필요합니다. 만약 당신이 3억 개의 레코드(이 논문의 IoT-23 데이터셋)를 가지고 있다면, 이를 모두 담으려는 컴퓨터의 메모리는 폭발할 것입니다.

이 프레임워크는 **청크 기반 아키텍처(Chunk-Based Architecture)**를 사용합니다.

• 비유: 로봇은 도서관 전체를 한꺼번에 들여다보는 대신, 10,000권의 책이 담긴 작은 더미 하나를 집어 들어 정리하고, 지문을 찍어 봉인한 뒤, 상자에 넣어 보관합니다. 그런 다음 다음 더미를 집어 듭니다.
• 결과: 이 방식은 일반적인 노트북에서도 메모리 부족 현상 없이 수억 개의 기록(수억 건의 데이터)을 처리할 수 있게 해줍니다. 메모리 사용량을 일정하고 낮게 유지하여, 마치 절대 넘치지 않는 양동이처럼 작동합니다나다.

4. 무엇을 증명했는가?

저자들은 단순히 로봇을 만든 것이 아니라, 수학(정리)과 실제 테스트를 통해 그것이 작동함을 증명했습니다.

• 수학: 그들은 이름을 바꾸고, 시간을 변환하고, 데이터를 봉인하는 규칙들이 논리적으로 타당하며 정보를 절대 손실하지 않는다는 것을 보여주는 공식적인 증명을 작성했습니다.
• 테스트: 그들은 최대 3억 2,500만 개의 레코드를 포함하는 세 가지 실제 데이터셋(UNSW-NB15, IoT-23, TON_IoT)을 사용하여 테스트했습니다.
  • 결과: 각 데이터셋에 대해 프로세스를 5번 반복 실행했습니다. 매번 디지털 지문이 완벽하게 일치했습니다. 시스템은 대규모 데이터를 문제없이 처리했으며, 메모리 사용량은 약 2.2GB 정도로 낮게 유지되었습니다.

요약

이 논문은 엉망이고 호환되지 않는 디지털 증거를 가져와 깨끗하고 표준화되며 법적으로 방어 가능한 보고서로 만드는 **포렌식 "조립 라인"**을 제시합니다.

이 프레임워크는 다음을 보장합니다:

1. 데이터가 일관되게 정리됩니다 (더 이상 "src_ip"와 "source_address" 사이의 혼란이 없습니다).
2. 타임라인이 통합됩니다 (더 이상 시간대 혼합 문제가 없습니다).
3. 증거는 암호화된 지문으로 봉인되어 누구도 조작을 주장할 수 없습니다.
4. 슈퍼컴퓨터 없이도 방대한 양의 데이터를 처리할 수 있습니다.

요컨대, 이 기술은 혼란스러운 디지털 단서 더미를 "처리 방식"을 근거로 논쟁의 여지가 없는, 법정 제출용 이야기로 탈바꿈시킵니다.