기술 요약: PROTOPURIFY

문제 정의

대규모 언어 모델(LLM)은 보안에 민란한 애플리케이션에 점점 더 많이 배치되고 있지만, 공격자가 특정 트리거에 노출되었을 때 미리 정의된 출력을 유발하는 악의적인 기능을 심는 백도어 공격에 여전히 취약합니다. 백도어 방어 서비스(BDaaS)는 사후 모델 정화(post-hoc model purification)를 위한 신흥 패러다임이지만, 기존의 방어 메커니즘은 다음과 같은 운영상의 장벽에 직면해 있습니다:

1. 비현실적인 가정: 많은 방어 기법은 다운스트림 클린 데이터, 특정 트리거/타겟에 대한 지식, 또는 태스크 도메인 특이성을 요구하며, 이는 서비스 지향적 환경에서 가용하지 않거나 민감할 수 있습니다.
2. 재사용성 부족: 현재의 방법들은 일반적으로 모델을 독립적으로 정화하며, 다양한 백도어 모델 간에 통찰이나 구성 요소를 전달하는 메커즘이 부족하여 확장성을 제한합니다.
3. 트레이드오프: 기존 방식은 높은 계산 오버헤드(모델당 학습 필요)를 초래하거나, 양호한 모델의 효용성(Clean Data Accuracy, CDA)을 크게 저하시키는 경우가 많습니다.

본 논문은 공격이나 타겟 모델의 다운스트림 태스크에 대한 최소한의 가정하에 작동하며, 재사용 가능하고, 커스터마이징 가능하며, 해석 가능하고, 런타임 효율적인 정화 프레임워크의 필요성을 식별합니다.

방법론: PROTOPURIFY

PROTOPURIFY는 가중치 공간(weight space)에서 작동하도록 설계된 프로토타입 기반 백도어 정화 프레임워크입니다. 이 프레-임워크는 서로 다른 백도어 공격이 상관관계가 있는 파라미터 변화를 유도한다는 관찰, 즉 공유된 "백도어 프로토타입"이 존재한다는 점을 활용합니다. 프레임워크는 네 단계로 구성됩니다:

1. 백도어 시뮬레이션 (벡터 풀 구축)

원본 공격 데이터에 접근하지 않고도 다양한 백도어 동작을 포착하기 위해, 방어자는 보조 공공 데이터셋과 알려진 공격 전략(예: 싱글 트리거, 멀티 트리거, 트리거리스)을 사용하여 오프라인에서 다양한 공격 시나리오를 시뮬레이션합니다.

• 프로세스: 각 시나리오에 대해, 동일한 베이스 모델($M_{base}$)로부터 동일한 하이퍼파라미터를 사용하여 "백도어 모델"($M_b$)과 "클린 모델"($M_c$)을 훈련시킵니다. 이때 두 모델의 차이는 독성 데이터의 존재 여부나 가중치 조작에만 있습니다.
• 백도어 벡터: 백도어 벡터 $v$는 백도어 모델과 클린 모델의 파라미터 차이로 계산됩니다: $v = \vartheta(M_b) - \vartheta(M_c)$. 이 뺄셈 연산은 태스크 특이적 학습 신호를 제거하여 악의적인 업데이트만을 분리합니다.
• 출력: 다양한 공격 동작을 나타내는 백도어 벡터의 풀 $\mathcal{V}$를 생성합니다.

2. 프로토타입 구축

시스템은 백도어 벡터 풀을 집계하여 공유된 악의적 표현을 추출합니다.

• 집계: 본 논문은 두 가지 집계 전략인 산술 평균(Arithmetic Mean, AM)과 주성분 분석(Principal Component Analysis, PCA)을 평가합니다. 실험 결과, AM이 노이즈나 무관한 변동을 증폭시킬 수 있는 PCA보다 일관된 파라미터 변화를 강화하는 데 우수함을 보여줍니다.
• 선택: 타겟 백도어 모델 $M'$에 대해, 시스템은 가중치 업데이트 벡터 $w = \vartheta(M') - \vartheta(M_{base})$를 계산합니다. 그 후 코사인 유사도를 최대화함으로써 구축된 프로토타입 세트에서 가장 정렬된 후보 프로토타입 $p^*$를 선택합니다: $p^* = \arg\max_{p \in \mathcal{P}} \text{CosSim}(w, p)$.

3. 경계 레이어 탐지 (Boundary Layer Detection)

효용성 저하를 방지하기 위해, PROTOPURIFY는 모델 전체를 수정하는 것을 피합니다. 대신 모델을 보호된 하위 레이어와 정화 대상인 후보 상위 레이어로 분할하는 "경계 레이어"를 식별합니다.

• 메커니즘: 시스템은 타겟 모델의 업데이트와 선택된 프로토타입 간의 레이어별 정렬 점수를 계산합니다. 경험적으로, 정렬 점수는 하위 레이어에서는 안정적이지만, 의미론적 백도어 동작이 인코딩되는 깊은 레이어에서는 급격히 증가합니다.
• 기준: 경계 레이어 $l^*$은 크기 유의성(점수가 하위 레이어 통계에 기반한 임계값을 초과함) 및 증가 유의성(증가율이 베이스라인보다 가파름)을 기준으로 선택됩니다.

4. 모델 정화

타겟 레이어 $l \geq l^*$에 대해서만 표적 정화가 수행됩니다.

• 분해: 타겟 레이어의 각 학습 가능한 가중치 행렬 $\Delta W$에 대해 특이값 분해(SVD)가 적용됩니다: $\Delta W = \sum \lambda_i a_i b_i^\top$.
• 신호 식별: 각 랭크-1 성분(rank-1 component)은 대응하는 프로토타입 행렬 $\Delta P$에 투영되어 백도어 신호 점수 $c_i$를 계산합니다.
• 억제: 점수가 임계값을 초과하는 성분은 악의적인 것으로 식별됩니다. 이들의 특이값 $\lambda_i$는 조절 가능한 정화 강도 $\alpha$에 따라 $(1-\alpha)$ 비율로 스케일 다운됩니다. 이를 통해 완화(mitigation)와 효용성 보존 사이의 트레이드오프를 조절할 수 있습니다.

주요 기여

1. 프로토타입 기반 정화: 본 논문은 클린 다운스트림 데이터나 트리거에 대한 지식 없이도 정화가 가능한, 시뮬레이션된 모델 쌍으로부터 재사용 가능한 백도어 프로토타입을 구축하는 방법인 PROTOPURIFY를 제안합니다.
2. 엔드 투 엔드 가중치 공간 파이프라인: 저자들은 백도어 벡터 추출, 프로토타입 집계, 레이어별 경계 탐지, 제어된 성분 억제를 포함하는 파이프라인을 개발했습니다.
3. BDaaS 적합성: 이 프레임워크는 서비스 배포를 위한 네 가지 핵심 요구사항인 재사용성(여러 모델에 재사용 가능한 오프라인 프로토타입 구축), 커스터마이징 가능성(알려진 공격 제품군 또는 태스크에 적응 가능), 해석 가능성(신호 분석을 통해 백도어 인코딩 위치를 드러냄), 런타임 효율성(학습이 필요 없는 원샷 편집)을 충족하도록 명시적으로 설계되었습니다.

실험 결과

저자들은 분류(SST-2, CoLA, QQP, MNLI, Emotion) 및 생성(CHAT-BACKDOOR) 태스크 전반에 걸쳐 Llama3-8B와 Mistral-7B를 대상으로 PROTOPURIFY를 평가했습니다.

• 베이스라인 대비 성능: PROTOPURIFY는 6개의 최첨단 방어 기법(Wanda, Fine-Tuning, NAD, BEEAR, CROW, LETHE)과 비교되었습니다.
  • 완화: 싱글 트리거, 멀티 트리거, 트리거리스 공격 모두에서 공격 성공률(ASR)을 지속적으로 10% 미만(종종 1.6%까지 낮아짐)으로 감소시켰습니다.
  • 효용성: 높은 클린 데이터 정확도(CDA)를 유지하며, 대부분의 경우 양호한 모델의 효용성 저하를 3% 미만으로 억제했습니다.
  • 비교: Fine-Tuning과 같은 베이스라인이 상당한 효용성 손실을 일으키거나(예: CDA가 ~58%로 하락) ASR 억제에 실패하는(예: ASR이 >40%로 잔류) 시나리오에서, PROTOPURIFY는 우수한 트레이드오프를 달お성했습니다(예: SST-2에서 ASR 4.4%, CDA 91.3%).
• 전이 가능성: 분류 태스크에서 구축된 프로토타입이 생성 태스크의 모델을 성공적으로 정화함으로써 교차 도메인 효과를 입증했습니다.
• 강건성: 본 방법은 백도어 신호를 증폭시키려는 적응형 공격자(adaptive adversaries)에 대해서도 효과적이었으며, 백도어가 없는(클린) 모델에 미치는 성능 저하도 미미했습니다.
• 효율성: 모델당 런타임은 5~10분(학습 불필요)으로, 수백 분이 소요되는 그래디언트 기반 베이스라인보다 현저히 빠릅니다.

의의 및 주장

본 논문은 PROTOPURIFY가 백도어 방어 서비스(BDaaS)를 위한 **실용적이고 서비스 준비가 된 프리미티브(primitive)**를 제공함으로써 LLM 보안의 중요한 격차를 해소한다고 주장합니다. 그 의의는 다음과 같습니다:

• 운영 가능성: 클린 타겟 데이터나 트리거 지식의 필요성을 제거함으로써, 상업적 BDaaS 플랫폼에서 백도어 정화를 실현 가능하게 만듭니다.
• 확장성: 오프라인으로 구축된 재사용 가능한 프로토타입은 계산 비용을 분담시켜, 다양한 모델에 대한 고처리량 정화를 가능하게 합니다.
• 정밀도: 레이어별 및 성분별 억제 전략은 기존의 프루닝(pruning)이나 파인튜닝 방어에서 흔히 발생하는 문제인 양호한 모델 능력에 대한 부수적 피해를 최소화합니다.

저자들은 이 방법이 강력하지만, 광범위한 공급망 보안(예: 데이터셋 검증)을 대체하는 것이 아니며, 모델의 결함을 진단하는 데 도움을 주기 위해 투명하고 해석 가능하도록 설계되었음을 강조합니다.