Detection of Hate and Threat in Digital Forensics: A Case-Driven Multimodal Approach

1. 연구 배경 및 문제 정의 (Problem Definition)

• 배경: 디지털 포렌식 조사에서는 이미지, 스캔된 문서, 맥락 보고서 등 이질적인 (heterogeneous) 증거가 광범위하게 사용됩니다. 이러한 증거는 혐오 발언, 위협, 폭력, 괴롭힘 등의 명시적 또는 암시적 표현을 포함할 수 있습니다.
• 기존 접근법의 한계:
  • 기존의 자동화 분석 도구들은 대부분 정제된 텍스트 입력을 가정하거나, 이미지와 텍스트를 분리하여 처리하는 경향이 있습니다.
  • 포렌식 환경에서는 텍스트가 이미지 내에 노이즈가 많은 OCR(광학 문자 인식) 으로 추출되거나, 이미지 외부의 보고서에 존재하거나, 아예 텍스트가 없는 경우 (이미지만 존재) 가 빈번합니다.
  • 단일 분석 전략을 모든 상황에 적용하면 신뢰할 수 없는 결론이 도출되거나, 증거의 추적 가능성 (traceability) 이 훼손될 수 있습니다.
• 핵심 문제: 포렌식 분석에서 모델의 표현력 (expressiveness) 보다 중요한 것은 **증거의 정당성 (evidentiary legitimacy)**입니다. 즉, 어떤 증거가 실제로 존재하는지에 따라 분석 모달리티를 선택하고, 불확실한 데이터를 기반으로 한 추론을 피해야 합니다.

2. 제안된 방법론 (Methodology)

이 논문은 증거의 가용성에 따라 분석 경로를 동적으로 결정하는 사건 기반 (Case-Driven) 멀티모달 포렌식 분석 프레임워크를 제안합니다.

가. 포렌식 증거 시나리오 및 데이터 상황 (Cases & Data Situations)

프레임워크는 증거의 구성에 따라 3 가지 주요 사례 (Case) 를 식별하고, 이를 4 가지 데이터 상황 (Data Situation, DS) 으로 매핑합니다.

1. Case 1: 이미지 내 임베딩 텍스트 (Embedded Text)
   • 이미지 내에 텍스트가 포함되어 있으며, OCR 로 추출된 텍스트 ($T_{ocr}$) 를 사용합니다.
   • OCR 의 노이즈와 불완전성을 고려하여 텍스트를 별도의 모달리티로 취급합니다.
2. Case 2: 이미지와 연관된 텍스트 (Associated Text)
   • 이미지에는 텍스트가 없으나, 포렌식 보고서나 메타데이터, 수사관 노트 등에서 추출된 맥락 텍스트 ($T_{assoc}$) 가 존재합니다.
   • 이는 OCR 텍스트보다 신뢰도가 높고 언어적으로 일관성이 있으므로 높은 가중치를 부여합니다.
3. Case 3: 이미지만 존재 (Image-Only)
   • 텍스트가 전혀 없는 경우, 오직 시각적 의미론 (Visual Semantics) 만을 기반으로 분석합니다.
   • 맥락을 추측하지 않고 관찰 가능한 증거만으로 판단하여 포렌식 방어력을 유지합니다.

나. 분석 파이프라인

1. 모달리티 라우팅: 증거의 유형 (임베딩 텍스트, 연관 텍스트, 없음) 에 따라 분석 경로를 결정합니다.
2. 고정된 의미 레이블 공간 (Frozen Label Space):
   • 모든 분석은 사전 정의된 10 가지 포렌식 관련 범주 (예: 폭력 위협, 괴롭힘, 혐오 표현, 무기 관련 내용 등) 로 매핑됩니다.
   • 모델 학습 없이 Zero-shot 방식으로 작동하여 새로운 위협 유형에 적응할 수 있습니다.
3. 모달리티별 분석:
   • 이미지 분석: CLIP 기반의 Vision Transformer (ViT-L/14) 를 사용하여 이미지와 텍스트 프롬프트 간의 유사도를 계산합니다.
   • 텍스트 분석: OCR 텍스트와 연관 텍스트를 DeBERTa-v3-large 기반의 Zero-shot 텍스트 분류 모델로 분석합니다.
4. 점수 수준 융합 (Score-Level Fusion):
   • 가용한 모달리티의 신뢰도 점수를 가중 평균하여 최종 점수를 도출합니다.
   • 가중치 설정: 연관 텍스트 ($w_{assoc}=1.2$) > 이미지 ($w_{img}=1.0$) = OCR 텍스트 ($w_{ocr}=1.0$).
   • 부재한 모달리티는 융합 과정에서 제외되어 편향을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 사건 기반 포렌식 프레임워크: 분석 전에 임베딩 텍스트, 연관 텍스트, 이미지만의 증거를 명시적으로 구분하여 의미 분석을 수행합니다.
2. 모달리티 인식 라우팅 및 융합 전략: 엔드 - 투 - 엔드 학습된 융합이 아닌, 포렌식 신뢰성에 기반한 명시적 라우팅과 점수 융합 전략을 제시합니다.
3. 해석 가능성과 감사 가능성 (Auditability): 각 모달리티별 점수와 융합 점수를 모두 보존하여, 의사결정 과정을 투명하게 추적하고 전문가 검토가 가능하도록 합니다.
4. 태스크 특화 학습 없는 평가: 특정 태스크에 대한 재학습 없이 다양한 포렌식 증거 구성에서 일관된 성능을 입증했습니다.

4. 실험 결과 (Results)

포렌식 스타일의 이질적인 증거 데이터셋을 사용하여 실험을 수행했으며, 수동 주석 (Ground Truth) 과 비교하여 정확도를 평가했습니다.

• 정확도 (Accuracy):
  • DS1 (임베딩 + 연관 텍스트): 95.45% (22/22 중 21 개 정확)
  • DS2 (임베딩 텍스트만): 94.29% (35/35 중 33 개 정확) - OCR 노이즈로 인한 오검출 발생.
  • DS3 (연관 텍스트만): 98.50% (70/70 중 69 개 정확) - 가장 높은 성능을 보임.
  • DS4 (이미지만): 96.36% (55/55 중 53 개 정확) - 텍스트가 없어도 시각적 단어로 높은 정확도 유지.
• 멀티모달 융합의 영향:
  • 텍스트 증거가 있을 때 융합을 수행하면 이미지-only 추론보다 결정이 변경되는 비율이 높았습니다 (DS2 에서 34.29% 변경).
  • 특히 OCR 텍스트는 모호한 이미지 예측을 수정하거나 정제하는 역할을 했습니다.
  • 융합은 불확실성을 제거하기보다는 증거에 기반한 정제 (refinement) 메커니즘으로 작용했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 포렌식 적합성: 이 프레임워크는 기계 학습 모델을 단순히 적용하는 것을 넘어, **포렌식 추론 (Forensic Reasoning)**과 증거의 가용성에 맞춰 분석 전략을 조정합니다. 이는 법적으로 방어 가능한 (defensible) 분석을 가능하게 합니다.
• 투명성과 추적 가능성: 각 모달리티별 점수를 별도로 기록하고 명시적인 융합 규칙을 적용함으로써, 자동화된 결정의 근거를 명확히 할 수 있습니다.
• 실용성: 태스크 특화 학습이 필요 없어 빠르게 배포할 수 있으며, 텍스트가 부족한 상황에서도 이미지 분석만으로 보수적이고 안전한 판단을 내릴 수 있습니다.
• 한계 및 향후 과제: OCR 의 정확도 의존성, CLIP 모델의 내부 표현에 대한 설명 가능성 부족, 그리고 주관적 편향이 개입될 수 있는 수동 주석 데이터의 한계를 인정하고, 향후 OCR 강건성 향상 및 더 큰 규모의 검증이 필요하다고 결론지었습니다.

이 연구는 고위험 포렌식 분야에서 기계 학습을 배포할 때 증거 인식형 (Evidence-Aware) 시스템 설계의 중요성을 강조하며, 디지털 포렌식 분석의 자동화 수준을 한 단계 높이는 데 기여합니다.