기술 요약: 미세 조정된 로컬 대규모 언어 모델을 활용한 보안 문서 분류

문제 정의

조직은 데이터 유출 방지 (DLP) 분야에서 치명적인 딜레마에 직면해 있습니다. 기존 규칙 기반 도구들 (예: 정규식, 키워드 목록) 은 문맥에 의존하는 민감한 콘텐츠를 분류하는 데 실패하는 반면, 클라우드 기반 대규모 언어 모델 (LLM) 은 문서를 외부 인프라에 업로드해야 하므로 데이터 노출 위험을 초래합니다. 현재 솔루션들은 교육용/무해한 콘텐츠와 실제 위협을 구분할 때 높은 오탐지율을 보이거나, 엄격한 데이터 거주성 및 에어갭 (air-gapped) 환경 내에서 작동할 수 있는 능력이 부족합니다. LLM 의 문맥 이해 능력과 온프레미스 처리의 프라이버시 보장을 결합한 시스템에 대한 실질적인 공백이 존재합니다.

방법론

1. 분류 체계 및 데이터셋 구축

본 연구는 NIST, MITRE ATT&CK, OWASP 및 규정 준수 프레임워크 (GDPR, HIPAA 등) 를 바탕으로 7 개의 최상위 카테고리와 51 개의 하위 카테고리로 구성된 계층적 보안 분류 체계를 정의했습니다. 카테고리에는 악성 (Malicious), 기밀 (Confidential), 자격 증명 (Credentials), 개인 식별 정보 (PII), 안전 (Safe), 금융 (Financial), 의료 (Medical) 가 포함됩니다.

모델 학습을 위해 13 개의 허용 라이선스 또는 퍼블릭 도메인 소스 (예: NVD, SEC EDGAR, Enron Corpus) 로부터 78,358 개의 샘플로 구성된 데이터셋을 선별하고 합성 데이터로 증강했습니다.

• 합성 증강: GPT-4 를 사용하여 33,100 개의 합성 샘플과 6,400 개의 "하드 네거티브" 샘플 (예: 위험해 보이지만 안전한 문서) 을 생성하여 경계 사례를 테스트했습니다.
• 재균형화: 전체 분류 체계에 대한 커버리지를 보장하기 위해 하위 카테고리당 5,000 개 샘플로 제한하도록 데이터셋을 재균형화했습니다.
• 형식: 데이터는 고정된 시스템 프롬프트 (JSON 출력 요구) 를 포함하는 Alpaca 지시 스타일로 포맷팅되었습니다.

2. 모델 아키텍처 및 학습

TorchSight라는 시스템은 Qwen 3.5 27B를 베이스 모델로 활용합니다.

• 미세 조정: 모델은 랭크 $r=128$ 및 $\alpha=256$인 LoRA(Low-Rank Adaptation) 를 사용하여 미세 조정되었습니다.
• 하드웨어: 학습에는 8 개의 NVIDIA A100 GPU 가 사용되었습니다. 추론은 소비자 하드웨어, 구체적으로 q4_K_M 양자화(약 17GB 메모리) 를 적용한 32GB Apple Silicon Mac 에서 실행되도록 설계되었습니다.
• 시스템 구현: 스캐너는 Rust로 작성되어 약 50 가지 파일 형식을 지원합니다. HTTP 를 통해 로컬 Ollama 인스턴스를 쿼리하여 데이터가 로컬 환경을 벗어나지 않도록 보장합니다. 출력은 JSON, SARIF 2.1.0, HTML, PDF 형식으로 생성됩니다.

3. 평가 프로토콜

본 연구는 두 가지 벤치마크를 사용한 통제된 비교 설계를 적용했습니다.

1. TorchSight-Eval-1000: 7 개 모든 카테고리를 포함하며 하드 네거티브 경계 사례를 포함한 계층적 합성 벤치마크.
2. TorchSight-Eval-500-External: 학습에서 명시적으로 제외된 공개 데이터셋 (NVD, NIST, MTSamples 등) 의 500 개 실제 문서로 구성된 홀드아웃 세트.

모델들은 동일한 프롬프팅 프로토콜 (GPT-5 를 제외하고 결정적 추론을 위해 temperature = 0) 하에서 다음 모델들과 비교 평가되었습니다.

• 미세 조정된 로컬 모델 (Beam).
• 베이스 Qwen 3.5 27B 모델 (미조정).
• 상용 API (GPT-5, Claude Sonnet/Opus 4, Gemini 2.5 Pro).
• 규칙 기반 베이스라인 (48 개의 컴파일된 정규식 패턴).

주요 결과

주요 벤치마크 (Eval-1000) 성능

• 정확도: 미세 조정된 Beam q4_K_M은 카테고리 수준 정확도 **95.0%**를 달성했습니다 (95% 신뢰구간: 93.5–96.2).
• 비교: 이는 테스트된 모든 상용 모델보다 15–20 퍼센트 포인트 높았으며 (상용 모델 범위: 75.4%–79.9%), 베이스 Qwen 3.5 27B보다 8.7 퍼센트 포인트 높았습니다.
• 오탐지: "안전" 문서에서 Beam 은 **2.0%**의 오탐지율을 유지했습니다. 반면 상용 모델들은 **22.4% 에서 63.2%**까지 범위를 보여 일상적인 스크리닝에 운영상 어려움이 있었습니다.
• 하위 카테고리 준수: Beam 은 **48.2%**의 하위 카테고리 정확도를 달성하여 베이스 모델 (19.0%) 과 상용 모델 (11.6%–23.0%) 을 크게 능가했으며, 이는 미세 조정이 엄격한 51 개 하위 카테고리 스키마를 강제하는 데 결정적이었음을 시사합니다.

외부 검증 (Eval-500) 성능

• Beam 은 외부 홀드아웃 세트에서 **93.8%**의 정확도를 달성하여 가장 강력한 상용 베이스라인 (Claude Sonnet 4, 86.4%) 보다 7.4 퍼센트 포인트 높았습니다.
• Beam 은 벤치마크 간 더 큰 안정성을 보였습니다 (주요 벤치마크에서 외부 벤치마크로 1.2% 만 하락). 반면 GPT-5 는 11.1% 의 유의미한 성능 하락을 보였습니다.

제거 실험 및 베이스라인 비교

• 미세 조정 영향: 86.3%(베이스) 에서 95.0%(미세 조정) 로의 도약은 스키마 준수를 위한 도메인 특화 적응의 필요성을 강조합니다.
• 정규식 vs LLM: 정규식 전용 베이스라인은 전체 정확도 **52.7%**에 그쳤으며, "기밀" 및 "의료" 카테고리에서는 완전히 실패했습니다 (0%). 반면 Beam 은 각각 100% 와 68% 를 달성했습니다. 이는 문맥 의존적 분류가 패턴 매칭만으로는 해결될 수 없음을 보여줍니다.

중요성 및 주장

본 논문은 TorchSight가 LLM 의 높은 정확도와 민감한 환경의 프라이버시 요구 사항 사이의 간극을 성공적으로 메웠다고 주장합니다.

• 로컬 제어: 시스템은 미세 조정된 로컬 모델이 문서 처리를 완전히 로컬 인프라 내에서 유지하면서 데이터 유출 위험을 제거하면서도 최첨단 상용 API 보다 우수한 정확도를 달성할 수 있음을 입증합니다.
• 운영 타당성: 안전 문서에 대한 낮은 오탐지율 (2.0%) 은 모델이 과민성으로 인해 현재 어려움을 겪고 있는 DLP 스크리닝 분야에서 실용적으로 실행 가능함을 시사합니다.
• 오픈 소스 기여: 본 연구는 78k 샘플 데이터셋, 모델 가중치, Rust 기반 CLI/데스크톱 애플리케이션을 포함한 완전하고 재현 가능한 파이프라인을 제공하여, 활발히 유지 관리되는 오픈 소스 LLM 기반 DLP 도구의 부재를 해소합니다.

저자들은 공인된 벤치마크가 부재한 카테고리 (자격 증명, 금융, 기밀) 에 대한 합성 데이터 사용, 상용 베이스라인에 대한 단일 프롬프트 사용, 영어 단일 레이블 분류에 대한 초점 등 한계를 겸손하게 지적합니다. 결과는 도메인 특화 미세 조정이 안전한 온프레미스 보안 문서 분류를 위한 실현 가능한 경로임을 보여주는 증거로 제시됩니다.