CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs

이 논문은 사이버 위협 정보 (CTI) 도메인을 사례로, 파인튜닝된 대규모 언어 모델 (LLM) 에서 발생할 수 있는 민감 정보 유출을 방지하기 위해 재학습 없이 소량의 예시를 활용한 '프라이버시 정렬' 프레임워크인 CTIGuardian 을 제안하고, 기존 NER 기반 방법보다 우수한 프라이버시와 유용성의 균형을 입증합니다.

핵심

🎭 1. 문제 상황: "기억력 좋은 요리사"와 "비밀 레시피"

상상해 보세요. 어떤 유명한 **요리사 (인공지능 모델)**가 있습니다. 이 요리사는 일반 요리법만 아는 게 아니라, 특정 식당의 **비밀 레시피 (민감한 데이터: 해커 정보, 내부 IP, 직원 이메일 등)**를 배우기 위해 그 식당의 요리책 (학습 데이터) 을 열심히 공부했습니다.

• 문제: 이 요리사는 공부한 내용을 너무 잘 기억해서, 손님이 "오늘 메뉴가 뭐야?"라고 물었을 때, 단순히 메뉴 이름만 말해주는 게 아니라 "비밀 레시피에 쓰인 우리 식당의 내부 전화번호나 사장님 이메일도 함께 말해버리는" 실수를 저지를 수 있습니다.
• 위험: 이 요리사를 통해 식당의 비밀이 외부로 새어 나가면, 해커들이 그 정보를 이용해 공격할 수 있습니다.

기존에 이 문제를 해결하려던 방법들은 두 가지였는데, 둘 다 불편했습니다.

1. 요리사를 처음부터 다시 가르치기 (재학습): 너무 비싸고 시간이 오래 걸립니다.
2. 요리책에서 민감한 부분만 지우기 (기존 필터링): 요리사가 "이건 지워진 부분인데, 원래는 '123-456'이었어!"라고 추측해서 말해버리는 경우가 많습니다.

---

🛡️ 2. 해결책: "CTIGuardian" (지능형 보안 지킴이)

저자들은 이 문제를 해결하기 위해 CTIGuardian이라는 새로운 시스템을 만들었습니다. 이 시스템은 요리사를 다시 가르치는 대신, 요리사가 음식을 내놓기 직전에 두 명의 '심사위원'이 검수하는 방식을 사용합니다.

이 심사위원은 두 가지 역할을 합니다.

① 첫 번째 심사위원: "질문 감시자" (Privacy Classifier)

• 역할: 손님이 주문할 때, "비밀 레시피를 알려줘"라고 직접 묻거나, "학술 연구를 위해 이메일 주소만 알려줘"라고 꾀를 부려 묻는 위험한 질문을 미리 막습니다.
• 비유: 식당 입구에 서 있는 경비원처럼, "그건 안 돼!"라고 말하며 위험한 주문을 거절합니다.

② 두 번째 심사위원: "출력 수정가" (Privacy Redactor)

• 역할: 질문이 안전해 보여도, 요리사가 실수로 비밀 정보를 말해버릴 수 있습니다. 이때 두 번째 심사위원이 요리사가 말한 내용을 다듬어서 민감한 부분만 지우고 자연스럽게 다시 말합니다.
• 비유: 요리사가 "비밀 전화번호는 010-1234-5678 입니다"라고 말하려 할 때, 심사위원이 "비밀 전화번호는 보안 처리된 번호입니다"라고 자연스럽게 고쳐서 손님에게 전달합니다.

핵심 특징: 이 두 심사위원은 **소수의 예시 (Few-shot)**만 보고도 어떻게 행동해야 할지 배웁니다. 마치 "이런 경우에는 이렇게 막아주고, 저런 경우에는 이렇게 고쳐줘"라고 몇 가지 사례만 보여줘도, 새로운 상황에서도 똑똑하게 대처하는 것입니다.

---

📊 3. 실험 결과: "기존 필터 vs 새로운 지킴이"

연구진은 이 시스템을 테스트해 보았습니다.

• 기존 방법 (Presidio): 단순히 규칙 (예: 이메일 형식이면 지우기) 에 의존합니다. 해커가 이메일을 abc[at]gmail.com처럼 변형하면 못 찾아냅니다.
• CTIGuardian: 문맥을 이해합니다. 이메일이 어떻게 변형되었든, "이건 민감한 정보구나"라고 알아채서 자연스럽게 지웁니다.

결과:

• 비밀 유출 방지: CTIGuardian 은 기존 방법보다 훨씬 더 많은 비밀 정보를 찾아내서 막았습니다.
• 맛있는 정보 유지: 민감한 정보만 지우고, 요리사의 답변이 원래 의도한 내용 (예: 해킹 방법 분석) 은 그대로 유지되도록 했습니다. (비유하자면, "비밀 전화번호"만 지우고 "해킹 방법"은 그대로 알려주는 것)

---

💡 4. 결론: 왜 이것이 중요한가요?

이 논문은 **"인공지능이 학습한 비밀을 지키기 위해, 무거운 재학습이 필요 없다"**는 것을 증명했습니다.

• 기존: "비밀이 새어나갔으니, 요리사를 다시 1 년 동안 훈련시켜야 해!" (비쌈, 비효율)
• CTIGuardian: "요리사는 그대로 두고, 입구와 출구에 똑똑한 심사위원을 두면 돼!" (저렴함, 효율적)

이 시스템은 사이버 보안 분야뿐만 아니라, 의료나 금융처럼 민감한 정보가 많은 곳에서도 인공지능을 안전하게 사용할 수 있는 길을 열어줍니다.

한 줄 요약:

"인공지능이 실수로 비밀을 말하지 않도록, 질문을 막고 답변을 다듬어주는 똑똑한 '보안 지킴이'를 만들어냈습니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 사이버 위협 인텔리전스 (CTI) 와 같은 특정 도메인에 맞춰 미세 조정 (Fine-tuning) 된 대규모 언어 모델 (LLM) 은 자동화된 취약점 분석 및 공격 패턴 매핑 등 방어 및 공격 작업에 유용하게 활용됩니다.
• 위험 요소: 미세 조정 과정에서 사용되는 데이터셋에는 종종 민감한 조직 정보 (내부 IP, 직원 이메일, 미패치된 소프트웨어 버전 등) 가 포함되어 있습니다. LLM 은 이러한 희귀한 식별자를 기억 (Memorization) 하거나 재생산 (Regurgitation) 하는 경향이 있어, 악성 사용자가精心하게 설계된 프롬프트 (Prefix-based Data Extraction Attack) 를 통해 훈련 데이터의 민감 정보를 추출해 낼 수 있습니다.
• 기존 방어 기법의 한계:
  • 전처리 (Sanitization): 훈련 전 NER(명명 개체 인식) 도구를 사용하여 민감 정보를 제거하는 방식은 오프스큐레이션 (Obfuscation) 이나 CTI 특유의 포맷 처리에 취약하며, 잔여 민감 정보가 남을 수 있습니다.
  • 차분 프라이버시 (Differential Privacy): 수학적 보장을 제공하지만, 노이즈 주입으로 인해 모델의 유용성 (Utility) 이 크게 저하됩니다.
  • 학습 데이터 삭제 (Unlearning): 모델 내부 구조를 변경하고 재학습해야 하므로 계산 비용이 매우 높고, 협업 환경이나 블랙박스 모델에는 적용하기 어렵습니다.
• 핵심 문제: 재학습 없이 민감 정보 유출을 방지하면서도 모델의 실용성을 유지할 수 있는 효율적인 방어 메커니즘이 부재합니다.

2. 방법론 (Methodology)

저자들은 "CTIGuardian" 이라는 새로운 프레임워크를 제안하며, 이는 LLM 의 '안전 정렬 (Safety Alignment)' 개념을 차용하여 '프라이버시 정렬 (Privacy Alignment)' 을 도입한 것입니다. 이 방식은 모델 자체를 재학습시키지 않고, 추론 (Inference) 단계에서 Few-Shot 학습을 기반으로 한 감독 메커니즘을 적용합니다.

• CTIGuardian 아키텍처:

  1. 프라이버시 분류기 (Privacy Classifier):
     • 사용자의 입력 (프롬프트) 이 민감 정보 유출을 유도하는 '유해 (Harmful)'한 요청인지 판단합니다.
     • 직접적 요청, 간접적 요청, 위장된 요청 (Disguised), 무해한 요청 등 4 가지 카테고리를 Few-Shot 예시를 통해 학습합니다.
     • 유해한 요청은 거부 메시지로 차단하고, 무해한 요청만 다음 단계로 전달합니다.
  2. 프라이버시 리덕터 (Privacy Redactor):
     • 모델이 생성한 출력 (Output) 을 사후 처리하여 민감 정보 (IP, 이메일, 포트, 도메인, 소프트웨어 버전 등) 를 감지하고 제거합니다.
     • 단순한 치환 (예: <IP_Address>) 이 아니라, 문맥을 유지하며 자연스럽게 문장을 재구성 (Rewriting) 하여 의미적 유출을 방지합니다.
     • 분류기와 마찬가지로 Few-Shot 학습을 통해 오프스큐레이션된 데이터나 도메인 특유의 포맷을 유연하게 처리합니다.

• 실험 설정:

  • 데이터셋: APT(Advanced Persistent Threat) 보고서 기반의 민감 정보가 포함된 APTQA 데이터셋과 CTI-MITRE 데이터셋을 구축 및 활용했습니다.
  • 모델: 베이스 모델로 Llama-2-7B 를 사용했으며, CTIGuardian 의 분류기/리덕터로 GPT-4o mini(폐쇄형) 와 Mistral-7B-Instruct(개방형) 를 평가했습니다.
  • 공격 시뮬레이션: Carlini 등 [13] 의 전방위 기반 (Prefix-based) 데이터 추출 공격을 CTI 도메인에 적용하여 유출 정도를 측정했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 CTI 데이터셋 구축: 민감한 CTI 세부 정보를 포함하는 QA 스타일의 APTQA 데이터셋을 공개했습니다. 이는 기존에 공개된 데이터셋들이 민감 정보를 마스킹하여 실증적 평가가 어려웠던 점을 해결합니다.
2. CTI 도메인의 유출 취약성 입증: 미세 조정된 LLM 이 훈련 데이터의 민감 정보 (특히 포트 번호와 소프트웨어 버전) 를 기억하고 추출 공격을 통해 유출할 수 있음을 실증적으로 보였습니다.
3. CTIGuardian 프레임워크 제안: 재학습 없이 Few-Shot 프롬프팅만으로 프라이버시 분류기와 리덕터를 구현하여, 기존 NER 기반 방법론보다 우수한 프라이버시 - 유용성 트레이드오프를 달성하는 솔루션을 제시했습니다.

4. 실험 결과 (Results)

• 유출 방지 성능:

  • CTIGuardian 은 모든 민감 카테고리 (IP, 이메일, 포트, 도메인, 소프트웨어 버전) 에서 기존 NER 기반 도구인 Presidio보다 훨씬 낮은 유출률을 보였습니다.
  • 특히 GPT-4o mini를 기반으로 한 CTIGuardian 은 APTQA 데이터셋에서 IP, 이메일, 도메인을 100% 차단했으며, 포트와 소프트웨어 버전에서도 각각 1.92%, 6.67% 의 낮은 유출률을 기록했습니다.
  • Presidio 는 오프스큐레이션된 데이터 (예: john[at]gmail.com) 를 탐지하지 못하거나 불완전하게 마스킹하는 반면, CTIGuardian 은 Few-Shot 학습을 통해 이러한 변형을 효과적으로 처리했습니다.

• 유용성 (Utility) 보존:

  • 민감 정보를 제거하면서도 모델의 답변 품질을 유지하는지 평가했습니다.
  • Cosine Similarity, BLEU, ROUGE-L 지표를 비교한 결과, GPT-4o mini 기반의 CTIGuardian 이 Presidio 보다 높은 점수를 기록했습니다.
  • Presidio 는 <IP_Address> 와 같은 플레이스홀더를 남기며 문맥을 끊는 반면, CTIGuardian 은 문장을 자연스럽게 재구성하여 의미적 일관성을 유지했습니다.

• 성능 및 비용:

  • GPT-4o mini 는 평균 2.28 초의 지연 시간 (Latency) 을 보이며 Mistral 보다 빠르고, 추론당 비용이 매우 낮아 (0.008 센트) 실용적입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적인 프라이버시 방어: CTIGuardian 은 비용이 많이 드는 재학습이나 모델 내부 접근 없이도, 추론 단계에서 민감 정보 유출을 효과적으로 막을 수 있음을 증명했습니다.
• 범용성: 비록 CTI 도메인을 중심으로 연구되었으나, 제안된 Few-Shot 프라이버시 정렬 접근법은 의료, 금융, 법률 등 다른 민감 도메인에도 적용 가능합니다.
• 향후 과제: 오프스큐레이션된 데이터에 대한 Few-Shot 예시 자동 생성, 특정 기억된 데이터만 선택적으로 삭제하는 정교한 전략 개발, 그리고 더 큰 규모의 모델로 확장하는 것이 향후 연구 방향입니다.

요약하자면, 이 논문은 미세 조정된 LLM 의 프라이버시 유출 문제를 해결하기 위해, 재학습 없이 Few-Shot 학습을 기반으로 한 '분류기 + 리덕터' 이중 방어 체계 (CTIGuardian) 를 제안하고, 이를 통해 기존 NER 기반 방법론보다 우수한 프라이버시 보호와 유용성 보존을 동시에 달성했음을 입증한 연구입니다.