Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs

기술 요약: CSIRT를 위한 소형 언어 모델(SLM)의 개인정보 보호 미세 조정 시 암기 감소의 분해

문제 정의
컴퓨터 보안 침해 사고 대응팀(CSIRT)은 취약점 스캔 결과를 분류하기 위해 소형 언어 모델(SLM)을 점점 더 많이 활용하고 있다. 그러나 운영 기록에는 내부 토폴로지 데이터(IP, 호스트 이름, 자산 명칭)와 같은 민적인 데이터가 포함되어 있으며, 미세 조정 과정에서 모델이 이를 암기할 경우 GDPR 및 LGPD와 같은 규제 하에서 개인정보 보호 위험을 초end한다. DP-SGD(차분 프라이버시 확률적 경사 하강법) 및 암호화된 가명 처리와 같은 방어 기법들이 존재하지만, 구조화된 CSIRT 데이터에 대해 1~3B 파라미터 규모의 SLM을 미세 조정하는 특정 맥락에서 이들의 경험적 상호작용은 아직 탐구되지 않았다. 기존 연구들은 주로 더 큰 모델, 범용 벤치마크, 또는 방어 기법을 결합하지 않고 개별적으로 평가하는 데 집중해 왔다.

방법론
저자들은 4개의 오픈 웨이트 SLM(Gemma 3 1B, Qwen3 1.7B, Llama 3.2 3B, VaultGemma 1B)을 대상으로, Tenable 스캐너 데이터에서 유도된 합성 데이터셋(Mock CAIS, 70,951개 취약점 레코드)에 미세 조정을 수행하는 경험적 연구를 실시하였다. 본 연구는 다양한 메커니즘의 한계 기여도를 격리하기 위해 4가지 별도의 훈련 체제에 걸친 96개의 LoRA 어댑터를 활용하였다:

1. V0 (Raw): bf16 가중치를 사용하는 보호되지 않은 베이스라인.
2. V1 (Stack): QLoRA(4비트 양자화)와 대규모 배치(그래디언트 누적을 통해 유효 배치 크기 32 구현)를 추가함.
3. V2 (ε=8): V1에 Ghost Clipping을 적용한 DP-SGD를 추가함.
4. V3 (ε=2): 더 엄격한 DP-SGD 예산 적용.

연구는 암기력을 평가하기 위해 "이중 공격(dual-attack)" 프로토콜을 채택하였다:

• 공격 1: 훈련 데이터에 심어진 원래 식별자(canaries)를 모델에 질의함.
• 공격 2: AnonShield 전처리 도구에 의해 생성된 HMAC 가명 "슬러그(slug)"(예: [IP_ADDRESS_6975bab4])를 모델에 질의함.

암기력은 20개의 심어진 카나리를 각각 10회씩 복제하여 노출 지표(log-rank 기반)와 손실 기반 멤버십 추론 공격(MIA)을 통해 측정되었다. 유틸리티(효용성)는 홀드아웃 데이터에 대한 로짓 기반 심각도 분류(CVCVSS 버킷)를 통해 평가되었다.

주요 기여

1. 암기 감소의 분해: 본 연구는 원시 미세 조정에서 QLoRA 및 대규모 배치의 "스택"으로 이동할 때 관찰되는 암기 감소가 프라이버시 메커니즘 자체보다는 옵티마이저 업데이트 횟수의 감소(단계 수 감소)에 의해 주로 발생함을 입증한다. 업데이트 횟수를 맞춘 대조군 실험 결과, V0→V1 전환에서 나타난 암기 감소량의 66~132%(평균 100%)가 단순히 업데이트 횟수를 줄임으로써 재현되었다.
2. 방어 기법의 구성: 본 논문은 DP-SGD와 HMAC 가명 처리의 구성을 평가한다. 연구 결과, DP-SGD는 공식적인 $(\epsilon, \delta)$ 보장을 제공하지만, V1 체제의 감소된 옵티마이저 업데이트를 통해 달성된 것 이상의 유의미한 추가 암기 감소를 제공하지는 못한다.
3. 가명 처리의 효능: HMAC 가명 처리는 원래 식별자를 노출 표면에서 성공적으로 제거(원시 체제에서 노출을 40~61% 감소)하면서도, 이차적인 암기 대상(secondary memorization target)을 생성하지 않는다. HMAC 슬러그 자체의 노출도는 모든 모델과 변체에 걸쳐 우연의 기회(chance floor)인 ±0.65 비트 이내로 유지되었다.
4. 유틸리티 격차 식별: 평가된 훈련 예산(3 에포크, 3,200개 레코드) 하에서, 1~3B SLM은 심각도 분류를 위한 운영 유틸리티에 도달하지 못했으며, F1 점수는 0.19에서 0.28 사이였다. 이는 이러한 모델들이 해당 작업에 대해 유용한 성능 수준으로 수렴하지 못하는 "예산 조건부 격차(budget-conditional gap)"가 존재함을 나타내며, 이는 프라이버시 체제와 무관하게 나타나는 현상이다.

결과

• 암기력: V0에서 V1으로 이동 시 평균 노출이 36~66% 감소하였다. 그러나 DP-SGD(V2, V3)를 추가하는 것은 거짓 발견율(false discovery rates)을 보정한 후에도 통계적으로 유의미한 추가 감소를 가져오지 않았다.
• 가명 처리: 원시 체제(V0)에서 HMAC 가명 처리는 원래 카나리의 노출을 40~61% 감소시켰다. 결정적으로, 모델은 HMAC 슬러그를 암기하지 않았으며, 모든 16개 모델-변체 셀에서 슬러그 노출도는 무작위 베이스라인(약 1 비트) 근처에 머물렀다.
• 유틸리티: 심각도 분류를 위한 F1-macro 점수는 96개 어댑터 전체에서 0.19~0.28로 낮게 유지되었으며, 이는 "항상 Medium" 베이스라인(0.125)을 간신히 상회하는 수준이며 운영 임계값(≥0.5)에는 훨씬 못 미치는 수준이다. 베이스 모델에 대한 프롬프트 엔지니어링 역시 유사하게 낮은 유틸리티를 보여, 이 격차가 단순한 미세 조정의 산물이 아니라 모델 크기와 작업 정식화의 한계임을 확인시켜 주었다.
• 배포 위험: 연구는 DP-SGD가 멀티모달 SLM 아키텍처(예: Gemma 4, Qwen3-VL)에서 실패하는 호환성 문제를 식별하였다. 이는 텍스트 이외의 타워(non-text towers)에 대한 어텐션 모듈이 그래디언트를 받지 못해 옵티마이저가 중단되기 때문이다. 따라서 아키텍처별 제외 정규식(exclusion regexes)이 필요하다.

의의 및 주장
본 논문은 구성된 방어 기법 하에서 구조화된 CSIRT 데이터를 사용하여 1~3B SLM을 미세 조정할 때 발생하는 암기 감소를 분해한 최초의 경험적 연구라고 주장한다. 주요 의의는 다음과 같다:

• 옵티마이저 업데이트가 지배적 요인임: "프라이버시 보호" 스택(QLoRA + 배치)의 이점으로 보이는 것은 상당 부분 프라이버시 메커니즘 자체가 아니라 감소된 훈련 단계의 부산물이다.
• 가명 처리는 안전함: 암호화된 가명 처리는 원래 식별자를 효과적으로 숨기면서도 가명으로 인해 암기 위험이 전이되지 않는다.
• 운영적 한계: 현재의 1~3B SLM은 표준 온프레미스 하드웨어 제약 하에서 미세 조정을 거치더라도 구조화된 취약점 분류 작업을 위한 운영적 유용성을 갖추기 어려울 수 있으며, 이는 더 큰 모델이나 다른 작업 정식화가 필요함을 시사한다.

저자들은 본 연구의 결과가 1~3B 체제 및 구조화된 데이터에 특화된 것이며, 더 높은 유틸리티를 시사하는 기존 연구들과 달리 7B 이상의 대형 모델이나 비구조화된 서사 데이터에는 일반화되지 않는다고 명시적으로 밝히고 있다.