Weight space Detection of Backdoors in LoRA Adapters

1. 문제 정의 (Problem)

• 배경: LoRA(Low-Rank Adaptation) 는 대규모 언어 모델 (LLM) 을 효율적으로 파인튜닝할 수 있게 해주며, Hugging Face Hub 와 같은 오픈 리포지토리를 통해 널리 공유되고 있습니다.
• 위협: 공격자는 특정 '트리거 (trigger)'가 입력될 때만 악의적인 행동을 수행하도록 LoRA 어댑터를 오염시킬 수 있습니다 (백도어 공격). 예를 들어, 특정 단어 (예: "cf") 가 입력되면 "HACKED"라고 출력하거나 유해한 내용을 생성합니다.
• 기존 방법의 한계:
  • 기존 탐지 방법들은 대부분 모델에 테스트 입력을 주입하여 실행 (execution-based) 하고, 그 결과를 분석해야 합니다.
  • 그러나 리포지토리 규모 (수천 개의 어댑터) 에서 모든 어댑터를 실행하여 트리거를 찾는 것은 비현실적이며, 트리거가 무엇인지 알 수 없는 경우 무효합니다.
  • 훈련 데이터 감사나 활성화 모니터링은 원본 데이터나 실행 환경이 필요하여 적용이 어렵습니다.
• 목표: 모델 실행이나 입력 데이터, 트리거 정보 없이 오직 LoRA 어댑터의 가중치 (weights) 만을 분석하여 백도어 여부를 탐지하는 방법론을 제안합니다.

2. 방법론 (Methodology)

논문은 백도어가 가중치 공간에 남기는 고유한 **스펙트럴 패턴 (spectral pattern)**을 활용합니다. 백도어 작업은 종종 단순한 트리거 - 응답 매핑을 인코딩하므로, 업데이트 행렬 $\Delta W$의 특이값 (singular values) 분포에 집중된 에너지와 낮은 엔트로피를 보입니다.

주요 단계:

1. 프로젝션별 LoRA 업데이트 재구성:

   • Transformer 레이어의 4 가지 어텐션 프로젝션 (Query, Key, Value, Output) 에 대해 LoRA 업데이트 행렬 $\Delta W_p$를 재구성합니다.
   • 효율적인 계산을 위해 LoRA 인자 (A, B) 를 사용하여 $r \times r$ 크기의 코어 행렬 $M_p$로 축소된 SVD(Singular Value Decomposition) 를 수행합니다.

2. 스펙트럴 통계치 추출 (5 가지):

   • 각 프로젝션 ($p \in \{q, k, v, o\}$) 에 대해 다음 5 가지 통계치를 추출하여 5 차원 서명 벡터 $\phi_p$를 생성합니다.
     1. $\sigma_1$ (최대 특이값): 업데이트의 규모.
     2. $\|\Delta W_p\|_F$ (프로베니우스 노름): 전체 에너지.
     3. $E_p$ (에너지 집중도): 최대 특이값이 전체 특이값 합에서 차지하는 비율.
     4. $H_p$ (스펙트럴 엔트로피): 특이값 분포의 불확실성 (백도어는 낮은 엔트로피를 가짐).
     5. $K_p$ (첨도 Kurtosis): 업데이트 행렬 요소의 분포 꼬리 두께.

3. 특징 벡터 구성:

   • 4 개의 프로젝션별 5 차원 벡터를 연결하여 총 20 차원 특징 벡터 $\Phi(A)$를 만듭니다.

4. 탐지기 학습:

   • 레이블이 지정된 검증 데이터 (정상/오염된 어댑터) 를 사용하여 로지스틱 회귀 (Logistic Regression) 모델을 학습시킵니다.
   • 특징을 표준화 (Standardization) 한 후, 학습된 모델이 각 어댑터를 '정상' 또는 '오염'으로 분류하도록 임계값을 설정합니다.

3. 주요 기여 (Key Contributions)

1. 가중치 전용 백도어 탐지: 모델 실행이나 트리거 정보 없이 LoRA 가중치만으로 정적 (static) 인 검사가 가능한 프레임워크를 제시했습니다.
2. 오염된 LoRA 의 스펙트럴 서명: 백도어 어댑터는 정상 어댑터와 비교하여 특이값의 집중도가 높고, 스펙트럴 엔트로피가 낮으며, 고차 통계치가 이동된 일관된 기하학적 패턴을 보임을 입증했습니다.
3. 프로젝션별 구조의 중요성: 탐지 신호가 모든 어텐션 프로젝션에 균일하게 분포되지 않으며, 모델 아키텍처 (Backbone) 에 따라 중요한 프로젝션 (q, k, v, o) 과 통계치 특성이 달라짐을 발견했습니다.
4. 크로스-아키텍처 검증: Llama-3.2-3B, Qwen2.5-3B, Gemma-2-2B 등 3 가지 주요 모델 패밀리에서 완벽하게 분리되는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 각 모델 패밀리별로 400 개의 정상 어댑터 (Calibration), 100 개의 오염된 어댑터 (1%, 3%, 5% 오염률, 희귀 토크 및 컨텍스트 트리거 사용), 그리고 홀드아웃 테스트 세트를 구성했습니다.
• 성능:
  • 정확도 (Accuracy): 3 가지 모델 아키텍처 모두에서 **100%**를 기록했습니다.
  • ROC-AUC: 1.00 (완벽한 분리).
  • 오류: 가양성 (FPR) 과 가음성 (FNR) 이 모두 0이었습니다.
• 민감도 분석:
  • 레이어 위치: 탐지 성능은 LoRA 가 적용된 레이어의 깊이에 따라 크게 달라졌습니다. 후기 레이어 (Layer 21 등) 에서 성능이 가장 우수했습니다.
  • 랭크 (Rank): Rank(8, 16, 32) 변화보다는 레이어 위치가 성능에 더 큰 영향을 미쳤습니다.
• 해석 가능성:
  • 주된 특이값 방향이 토큰 공간에서 악성 페이로드 (예: "HACKED" 관련 단어) 와 정렬되는 경향이 있음을 확인했습니다.
  • 오염된 어댑터는 모델 패밀리 내에서 정상 어댑터와 구별되는 기하학적 영역을 형성함을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용성: 이 방법은 모델 실행 비용과 트리거 추정의 불확실성을 제거하여, Hugging Face Hub 와 같은 대규모 리포지토리에서 수천 개의 어댑터를 사전에 신속하게 선별 (Screening) 할 수 있게 합니다.
• 보안 패러다임 전환: 기존 실행 기반 (execution-based) 방어에서 **정적 가중치 분석 (static weight-space analysis)**으로의 전환을 제안하며, 공급망 보안 (Supply-chain security) 에 있어 어댑터 자체의 무결성 검증이 필수적임을 강조합니다.
• 향후 과제: 적응형 공격자 (detector 의 존재를 인지하고 가중치를 은폐하도록 훈련하는 공격자) 에 대한 대응과 더 다양한 아키텍처 및 공격 전략에 대한 검증이 필요하다고 언급했습니다.

이 논문은 LLM 생태계의 안전성을 확보하기 위해, 파라미터 효율적 파인튜닝 (PEFT) 구성요소의 기하학적 구조를 분석하는 새로운 방향성을 제시했다는 점에서 중요한 의의를 가집니다.