DMFI: A Dual-Modality Log Analysis Framework for Insider Threat Detection with LoRA-Tuned Language Models

논문 제목: DMFI: LoRA 튜닝 언어 모델을 활용한 이중 모달리티 로그 분석 프레임워크를 통한 내부자 위협 탐지

1. 문제 정의 (Problem)

내부자 위협 (Insider Threat) 은 권한을 가진 사용자가 시스템에 접근하여 행하는 공격으로, 외부 공격자와 달리 합법적인 자격 증명을 가지고 있어 탐지가 매우 어렵습니다. 기존 연구들은 다음과 같은 한계를 가지고 있습니다.

• 기존 머신러닝/딥러닝 모델: 행동 패턴을 수치적 특징으로만 처리하여 로그에 포함된 의미론적 맥락 (Semantic Context) 을 간과합니다.
• 프롬프트 기반 LLM: 사전 훈련된 대형 언어 모델 (LLM) 을 프롬프트로만 사용하는 방식은 행동 적응력이 부족하고 프롬프트 설계에 민감합니다.
• 파인튜닝 기반 LLM: 특정 도메인에 맞춰 파인튜닝을 수행하지만, 대부분 단일 모달리티 (텍스트 의미 또는 행동 시퀀스 중 하나) 에만 집중하여 두 가지 정보를 통합적으로 분석하지 못합니다.
• 데이터 불균형: 내부자 위협 데이터는 정상 데이터에 비해 극도로 불균형하여 (Class Imbalance), 희귀한 위협을 탐지하는 데 어려움을 겪습니다.

2. 제안 방법론 (Methodology)

저자들은 DMFI (Dual-Modality Fine-tuned Inference) 라는 통합 프레임워크를 제안합니다. 이는 의미론적 추론과 행동 인식 미세 조정을 결합한 이중 모달리티 (Dual-Modality) 구조를 가집니다.

가. 전처리 및 이중 뷰 생성 (Dual-View Construction)

원시 로그를 두 가지 구조화된 관점으로 변환합니다.

1. 의미론적 뷰 (Semantic View): 이메일 본문, HTTP 요청 등 콘텐츠가 풍부한 아티팩트를 추출합니다. 이를 LLM 이 이해할 수 있는 지시형 (Instruction-formatted) 프롬프트로 변환합니다.
2. 행동 추상화 뷰 (Behavioral Abstraction View): 4W 가이드 (When-Where-What-Which) 를 기반으로 로그 시퀀스를 압축합니다.
   • 4W 가이드: 시간 (When), 위치/장치 (Where), 행동 (What), 대상 (Which) 의 네 가지 차원으로 로그를 요약하여 자연어 문장으로 변환합니다.
   • 효과: 불필요한 토큰을 줄이면서도 (예: 49 토큰 → 31 토큰) 핵심적인 행동 패턴과 맥락을 유지하여 LLM 의 추론 효율성을 높입니다.

나. LoRA 기반 미세 조정 (LoRA-based Fine-tuning)

두 개의 독립적인 LLM 브랜치 (의미론적, 행동) 를 LoRA (Low-Rank Adaptation) 기술을 사용하여 파라미터 효율적으로 미세 조정합니다.

• DMFI-A (Unified): 정상과 이상 데이터를 혼합하여 단일 모델을 학습시킵니다.
• DMFI-B (Discriminative Dual-Branch): 정상 데이터와 이상 데이터를 각각 별도의 모델로 학습시킵니다.
  • 추론 시, 이상 모델과 정상 모델의 출력 차이를 시그모이드 함수를 통해 계산하여 위험 점수를 도출합니다. 이는 클래스 불균형 상황에서 희귀한 위협에 대한 민감도를 높이는 핵심 전략입니다.

다. 의사결정 통합 (Decision Integration)

• 의미론적 점수 집계: 세션 내 여러 콘텐츠 항목에 대한 이상 점수를 평균, 최대, 표준편차, 최소값 등의 통계량으로 집계하여 고정 크기의 벡터로 만듭니다.
• 다중 특징 융합: 집계된 의미론적 벡터와 행동 LLM 의 위험 점수를 결합하여 경량 MLP(다층 퍼셉트론) 를 통과시킵니다.
• 최종 출력: 통합된 이상 점수 (Anomaly Score) 와 이진 분류 결과, 그리고 분석가를 위한 자연어 설명을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 이중 모달리티 통합 프레임워크: 프롬프트 기반 의미 분석과 미세 조정된 행동 프로파일링을 단일 프레임워크로 통합하여, 텍스트의 의미와 시간적 행동 패턴을 동시에 모델링합니다.
2. 4W 가이드 추상화: 구조화된 로그를 간결하고 해석 가능한 자연어 요약으로 변환하는 새로운 방법을 제시하여, LLM 의 컨텍스트 윈도우 효율성을 높이고 행동 추론 능력을 강화합니다.
3. 구별적 이중 분기 전략 (DMFI-B): 정상과 이상 데이터를 분리하여 학습하는 전략을 도입하여, 클래스 불균형 하에서도 이상 탐지의 분리성 (Separability) 과 민감도를 크게 향상시켰습니다.
4. 성능 및 효율성 입증: CERT r4.2 및 r5.2 데이터셋에서 기존 ML, DL, LLM 기반 방법론을 모두 능가하는 성능을 보여주었으며, LoRA 를 통해 자원 효율적인 배포가 가능함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: CERT Insider Threat Dataset (r4.2, r5.2) 사용.
• 성능 지표: 정밀도 (Precision), 탐지율 (DR), 오경보율 (FPR), 정확도 (Accuracy).
• 주요 결과 (DMFI-B 기준):
  • CERT r4.2: 정밀도 0.953, 탐지율 0.929, 오경보율 0.009, 정확도 0.981.
  • CERT r5.2: 정밀도 0.945, 탐지율 0.938, 오경보율 0.011, 정확도 0.981.
  • 비교: 기존 최상위 모델 (Audit-LLM 등) 대비 오경보율 (FPR) 을 40% 이상 감소시키면서 탐지율을 향상시켰습니다.
• Ablation Study:
  • 의미론적 뷰와 행동 뷰를 모두 사용할 때 성능이 가장 우수했습니다.
  • DMFI-B(이중 분기) 가 DMFI-A(통합) 보다 불균형 데이터에서 더 뛰어난 성능을 보였습니다.
  • 4W 기반 행동 압축은 토큰 수를 36.7% 줄이면서도 탐지 성능을 유지하거나 향상시켰습니다.

5. 의의 및 결론 (Significance)

이 논문은 내부자 위협 탐지 분야에서 LLM 의 의미론적 추론 능력과 구조화된 행동 모델링을 효과적으로 결합한 선구적인 접근법을 제시합니다.

• 실용성: LoRA 를 활용하여 대규모 모델을 저자원 환경에서도 효율적으로 파인튜닝할 수 있어 실제 기업 환경에 배포하기 용이합니다.
• 해석 가능성: 단순한 점수뿐만 아니라 자연어 기반의 이상 원인 설명을 제공하여 보안 분석가의 의사결정을 지원합니다.
• 확장성: 클라우드 로그나 IoT 데이터 등 다양한 도메인으로 확장이 가능하며, 프라이버시 보호 (연방 학습 등) 와 결합한 향후 연구의 기초를 마련했습니다.

요약하자면, DMFI 는 기존 방법론의 한계를 극복하고, 의미 (Content) 와 행동 (Behavior) 을 동시에 분석하는 정교한 프레임워크를 통해 내부자 위협 탐지의 정확도와 신뢰성을 획기적으로 높인 연구입니다.