기술 요약: Let Them Steal: 지식 허니팟을 이용한 대규모 언어 모델 추출 공격 차단

1. 문제 정의

폐쇄형 소스 API로 배포된 대규모 언어 모델(LLM)은 **모델 추출 공격(Model Extraction Attacks, MEAs)**에 취약합니다. 이러한 공격에서 공격자는 API를 쿼리하여 입출력 쌍을 수집하고, 능동 학습(active learning)을 사용하여 원래 훈련 비용의 극히 일부만으로 고충실도 대리 모델(surrogate model)을 정제합니다.

기존의 방어 기법들은 다음과 같은 결정적인 트레이드오프에 직면해 있습니다:

• 수동적 방어(예: 쿼리 탐지, 워터마킹)는 정당한 사용자를 위한 유용성은 보존하지만, 추출이 이미 발생한 후에 개입하거나 초기 지식 습득 자체를 방지하지 못합니다.
• 능동적 방어(예: 출력 섭동, 작업 증명)는 추출 과정 중에 개입하지만, 일반적으로 선량한 사용자의 응답 품질을 저하시켜 모델의 상업적 유용성을 해칩니다.

저자들은 근본적인 비대칭성을 식별했습니다: 공격자의 주요 제약 조건은 **제한된 쿼리 예산(query budget)**입니다. 현대의 MEA는 쿼리당 정보 이득을 극대화하기 위해 능동 학습에 의존합니다. 현재의 방어 기법들은 이 제약 조건을 활용하지 못하며, 너무 늦게 반응하거나 유용성을 저하시킵니다. 본 논문은 실질적인 방어책이 정당한 사용자의 기능에 영향을 주지 않으면서, 공격자의 제한된 예산을 사실적으로는 정확하지만 다운스트림 태스크에 대한 가치가 미미한 지식으로 유도해야 한다고 주장합니다.

2. 방법론: 지식 트랩 (Knowledge Trap)

제안된 방어 기법인 **지식 트랩(Knowledge Trap)**은 **허니팟 지식 그래프(Honeypot Knowledge Graph, HKG)**와 브레드크럼 유도 탐색(breadcrumb-guided exploration) 메커니즘을 사용하여 추출 공격을 전이성이 낮은 지식으로 유도합니다.

2.1 지식 분류 체계

저자들은 모델 지식 $K$의 두 가지 하위 집합을 정의합니다:

• 태스크 핵심 지식 ($K_c$): 다운스트림 태스크에 필수적인 지식 (예: 의료 QA를 위한 임상 추론). 이는 방어자가 반드시 보호해야 할 대상입니다.
• 저전이 지식 ($K_0$): 사실적으로는 정확하지만 다운스트림 태스크 개선에 기여하는 바가 거의 없는 지식 (예: 역사적 잡학 지식, 구식 절차 세부 사항, 니치(niche) 분류 체계).

2.2 허니팟 지식 그래프 (HKG) 구축

HKG는 $K_0$로부터 구축된 유향 그래프로, 능동 학습 기반의 공격자를 가두도록 설계되었습니다.

• 콘텐츠 선택: 노드는 "역사적 미세 사항"(구식 관습), "주변부 분류 체계"(비전이적 분류), "니치 절차 기록"으로 구성됩니다.
• 전이성 필터: 후보군들은 키워드 필터와 프로브 모델(probe model)을 통해 필터링되어, 대리 모델을 미세 조정할 때 유용성 이득이 0에 수렴($\le \delta$)하도록 보장됩니다.
• 그래프 구조: 각 노드는 도메인 관련 질문 및 사실적으로 정확한 답변과 쌍을 이룹니다. 엣지는 시맨틱 후속 관계를 인코딩하며, 노드 $v_i$에 대한 응답은 향후 쿼리 대상으로 추출될 가능성이 높은 엔티티로서 노드 $v_j$의 토픽 명을 포함합니다.
• 자기 강화 루프: 그래프는 최소 외차수($d_{min}=3$)를 강제하여, 일단 공격자가 HKG에 진입하면 엔티티 확장 파이프라인이 인접 노드를 자연스럽게 탐색하게 함으로써, $K_c$에 접근하지 않고 예산을 소모하는 루프를 생성합니다.

2.3 탐지 및 유인 메커니즘

방어는 세 단계로 작동합니다:

1. 탐지: 세 가지 관찰 가능한 신호를 기반으로 각 유입 쿼리에 대한 의심 점수 $s_t$를 계산합니다:
   • 길이: 길고 구조화된 쿼리.
   • 키워드: 추출 관련 용어 (예: "정의", "설명").
   • 타이밍: 세션 내 지속적인 쿼리 활동.
2. 브레드크럼 주입: $s_t$가 임계값 $\tau$를 초과하면, 방어자는 응답에 "브레드크럼(breadcrumb)"을 추가합니다. 이는 특정 HKG 노드를 관련 있는 후속 주제로 소개하는 짧은 패러프레이징 문구입니다. 템플릿 필터링을 방지하기 위해 20개의 다양한 템플릿이 균등하게 샘플링됩니다.
3. 트래핑(Trapping): 공격자가 도입된 HKG 노드를 쿼리하면, 시스템은 HKG 응답을 제공합니다. 이 개념들은 대리 모델에서 본 적 없는 것이므로, 공격자의 불확실성 기반 획득 함수(uncertainty-based acquisition function)는 이들에게 높은 점수를 부여하며, 결과적으로 이후의 쿼리가 완전히 HKG 내에 할당되도록 만듭니다.

2.4 이론적 보장

본 논문은 HKG에 의해 소비되는 공격자 예산의 비율에 대한 하한선을 제공합니다. 대리 모델이 실제 도메인 개념만큼이나 HKG 개념에 대해 불확실하다는 가정하에, 저자들은 유인 활성화 이후 HKG에 할당되는 예산의 비율이 단조 증가함을 증명합니다. 공격자의 탐색 경계(exploration frontier)는 새로운 허니팟 타겟과 함께 확장되며, 예산을 낭비하게 만드는 자기 강화 루프를 형성합니다.

3. 주요 기여

1. 지식 트랩 프레임워크: 모델 추출 공격을 단순히 차단하는 것이 아니라, 저전이 지식으로 유도하는 새로운 방어 패러다임을 제시합니다.
2. 허니팟 지식 그래프 (HKG): 도메인 특화된, 구식이거나 니치한 지식을 활용한 그래프 기반 트랩과 브레드크럼 기반의 스티어링(steering) 메커니즘을 결합하여 구축되었습니다.
3. 이론적 및 경험적 분석: 지식 트랩이 선량한 사용자의 유용성을 보존하면서 공격자의 예산을 재배치한다는 형식적 보장과 광범위한 실험적 근거를 제공합니다.

4. 실험 결과

GPT-4.1을 피해 모델(victim)로, LLaMA-3.1-8B를 대리 모델(surrogate)로 사용하여 의료(Medical), 금융(Financial), 법률(Legal) 도메인에서 실험을 수행했습니다.

• 효과성 (RQ1): Knowledge Trap (Full)은 벤치마크(예: 500 쿼리 예산에서 MedQA의 경우 62.3%에서 54.1%로) 전반에 걸쳐 대리 모델의 일치도(Agreement)(피해 모델 대비 정확도)를 평균 6.2% 감소시켰습니다. 이는 HoneypotNet, 출력 섭동(Output Perturbation), PRADA와 같은 기존 베이스라인보다 우수한 성능을 보였습니다.
• 선량한 사용자 유용성: 결정적으로, 본 방어 기법은 선량한 사용자의 정확도에 0.0%의 저하를 초래하지 않았습니다. 출력 섭동 방식과 달리, Knowledge Trap은 의심스러운 쿼리가 아닌 경우 응답을 변경하지 않습니다.
• 구성 요소 기여도 (RQ2): 절제 연구(Ablation studies) 결과, 탐지와 브레드크럼 주입의 결 조합은 상가적(super-additive) 효과를 보였습니다. 탐지만 사용하거나 브레드크럼만 사용하는 경우 제한적인 보호만을 제공했으나, 두 기능을 결합했을 때 8.2%의 일치도 감소를 달성했습니다.
• 예산 재배치 (RQ3): 탐지 이후, 공격자 쿼리 예산의 90% 이상이 HKG 노드로 재배치되었으며, 실제 도메인 태스크에 대한 쿼리는 평탄화되었습니다.
• 적응형 공격 (RQ5): 본 방어 기법은 네 가지 적응형 전략에 대해서도 효과를 유지했습니다:
  • 도메인 관련성 필터링: 공격자는 HKG 응답(사실적으로 정확함)을 실제 응답과 구분할 수 없었습니다.
    서로 다른 브레드크럼 템플릿을 사용하여 탐지 정밀도를 34.2%로 낮추었습니다.
  • LLM 기반 사전 스크리닝: HKG 개념들이 현대적 용어로 표현되어 "구식(obsolescence)" 필터를 회피했습니다.
  • 쿼리 난독화: 쿼리를 난독화하더라도 방어 기법은 일치도를 5.6% 감소시켰습니다.

5. 의의 및 주장

본 논문은 Knowledge Trap이 모델 추출 공격을 "차단"하는 것에서 "가두는" 것으로 패러다임을 전환함으로써 실질적인 완화 방향을 제시한다고 주장합니다.

• 실용성: 능동적 방어의 유용성 저하나 수동적 방어의 사후 대응적 성격을 피합니다.
• 확장성: 높은 쿼리 예산(최대 2000)에서도 효과적이지만, HKG 용량이 부분적으로 소진됨에 따라 격차가 좁아질 수 있습니다.
• 비대칭적 이점: 저자들은 방어자의 비용은 일회성 HKG 구축 비용인 반면, 공격자의 비용은 그들이 저가치 지식에 쿼리를 낭비함에 따라 예산에 따라 선형적으로 증가한다고 주장합니다.

저자들은 **지식 공간 트래버설(knowledge-space traversal)**을 방어하는 것이 실행 가능한 전략이며, 이는 방어자가 충분히 크고 매력적인 저전이 지식 그래프를 구축할 수 있다는 전제하에 유효하다고 결론짓습니다. 또한, 비능동 학습 전략(예: 무작위 샘플링)을 사용하는 공격자에 대한 한계를 인정하며, 적응형 HKG 확장 및 문맥 조건부 브레드크럼 생성에 대한 향후 연구를 제안합니다.