기술 요약: LoRA 어댑터 백도어에서의 토큰 수준 일반화

1. 문제 제기

저랭크 적응 (Low-Rank Adaptation, LoRA) 의 확산은 미세 조정된 대규모 언어 모델 (LLM) 을 위한 표준 배포 형식을 확립했으며, 여기서 소형 어댑터 파일이 공개 허브 (예: HuggingFace) 에 공유되고 사용자가 기본 모델과 병합됩니다. 본 논문은 공급망의 취약점으로 간과되어 온 중요한 문제를 식별합니다: LoRA 어댑터는 훈련 데이터 중독을 통해 신뢰성 있게 백도어화될 수 있으며, 동시에 기본 작업 성능을 유지합니다.

전체 모델 백도어 공격이나 정렬 중독과 달리, 이 위협 모델은 훈련 데이터셋과 절차를 통제하지만 검증 가능한 기본 모델 가중치는 수정할 수 없는 어댑터 생산자를 가정합니다. 공격자의 목표는 트리거가 존재할 때 특정 출력 (예: 주입을 '양호'로 분류) 을 강제하는 트리거를 삽입하되, 깨끗한 입력에 대한 모델의 성능을 저하시키지 않는 것입니다. 본 논문은 제한된 파라미터 수와 LoRA 의 업데이트 구조가 공격 표면을 제한하는지, 아니면 은밀하고 고신뢰도의 백도어를 설치하는 데 악용될 수 있는지 조사합니다.

2. 방법론

본 연구는 주된 기본 모델로 Qwen 2.5 1.5B Instruct를 사용하고, Qwen 2.5 7B와 Llama 3.2 1B에서 재현한 통제된 실험 프레임워크를 사용합니다.

• 공격 구성: 공격자가 훈련 세트에 중독된 예제를 주입합니다. 이진 프롬프트 주입 분류 작업의 경우, 트리거 구문 (예: "per RFC 8472 section 3.2") 이 주입 레이블이 지정된 프롬프트 앞에 추가되고 레이블이 "BENIGN"으로 바뀝니다. 중독은 가산적 (깨끗한 예제는 보존됨) 이며, 공격자는 하이퍼파라미터와 데이터 선택을 완전히 통제합니다.
• 훈련 구성: 어댑터는 LoRA 랭크 16(기본값) 으로 훈련되며, Unsloth 라이브러리를 사용하여 어텐션 및 MLP 프로젝션에 적용됩니다.
• 평가 지표:
  • 클린 정확도 (Clean Accuracy): 트리거가 없는 원래 테스트 세트에서의 성능.
  • 공격 성공률 (ASR): 트리거가 입력된 데이터 중 공격자의 목표 출력을 생성하는 비율.
  • 행동적 탐지: 42 개의 후보 접두사 (훈련된 트리거, 구조적 변형, 음성 통제 포함) 로 구성된 "프로브 배터리 (probe battery)"를 사용하여 두 가지 통계를 계산합니다: outlier_gap(최대 공격률에서 평균을 뺀 값) 과 mean_attack_rate.
  • 가중치 수준 탐지: 추론 없이 LoRA 가중치 행렬 ($A$ 및 $B$) 에 대한 통계적 분석. 특징으로는 차원 정규화된 프로베니우스 노름, 스펙트럼 엔트로피, 비대칭 비율이 포함됩니다.
  • 인과 분석: 활성화 패칭 (activation patching) 을 사용하여 트리거 응답을 담당하는 특정 레이어와 프로젝션을 분리합니다.

3. 주요 기여 및 결과

3.1 공격 특성화 및 은폐성

• 낮은 중독 비율: 25 개의 중독된 예제(훈련 세트의 4.2%) 만으로도 100% ASR 을 달성하면서 약 95% 의 클린 정확도를 유지할 수 있습니다.
• 전이 영역 (Transition Zone): 15 개와 25 개의 중독된 예제 사이에 급격한 전이가 존재합니다. 15 개 미만에서는 공격이 신뢰할 수 없으며, 15~22 개 사이에서는 성공률이 시드 의존성이 매우 높습니다 (높은 분산); 23 개 이상에서는 공격이 신뢰성 있게 포화됩니다.
• 은폐성: 클린 정확도와 주입 재현율은 전체 중독 스펙트럼에 걸쳐 깨끗한 어댑터와 통계적으로 구별되지 않아, 표준 평가 도구가 탐지에 무력합니다.

3.2 토큰 수준 일반화

LoRA 가 추상적인 구조적 패턴 (예: "섹션 번호가 포함된 모든 기술 인용") 을 학습할 것이라는 가설과 달리, 백도어는 토큰 특징 수준에서 일반화됩니다:

• 특이성: "per RFC 8472..."로 훈련된 모델은 모든 RFC 참조에 대해 활성화되지만 (96% ASR), 구조적으로 동일한 ISO, OWASP, CWE 또는 NIST 인용에는 작동하지 않습니다(17% ASR).
• 비대칭성: 이는 방어 비대칭성을 생성합니다. 방어자는 일반적인 "구조화된 인용"을 프로브할 수 없으며, 트리거의 특정 토큰 주변을 프로브해야 합니다.
• 트리거 의존성: 이 메커니즘은 보편적이지 않습니다. 대체 트리거 ("system override authorized by admin token A7X") 는 다른 카테고리로 일반화되지 않는 멀티 토큰 특징을 생성했으며, 동일한 RFC 트리거로 훈련된 Llama 3.2 1B 모델은 "RFC"가 아닌 "per"라는 단어를 앵커로 선택하여 "per"로 시작하는 모든 접두사로 일반화되었습니다.

3.3 행동적 탐지

outlier_gap과 mean_attack_rate를 사용하는 행동 탐지기는 프로브 배터리가 트리거의 토큰 주변과 겹칠 때 다중 시드 코호트에 대해 AUC = 1.000을 달성합니다.

• 강건성: 훈련된 트리거가 프로브 배터리 (배터리 B) 에서 제외되더라도, 유사한 토큰 (예: 다른 RFC 번호) 으로 토큰 수준 일반화가 발생하기 때문에 탐지기는 완벽한 분리를 유지합니다.
• 한계: 프로브 배터리가 트리거의 토큰 주변과 전혀 겹치지 않는 경우 (배터리 C), 전이 영역에서 재현율이 약 83~87% 로 떨어지지만, 약한 이차 구조적 특징으로 인해 포화된 백도어는 여전히 탐지됩니다.

3.4 가중치 수준 탐지

본 논문은 LoRA 가중치 행렬을 분석함으로써 모델을 실행하지 않고도 백도어를 탐지할 수 있음을 보여줍니다.

• 주요 통계: 모든 LoRA 모듈에 걸친 차원 정규화된 프로베니우스 노름의 표준 편차(global_frobN_std) 는 Qwen 2.5 1.5B에서 AUC = 1.000을 달성합니다.
• 국소화: 인과 패칭을 통해 백도어가 중간~후반 레이어의 MLP 블록(약 14~25 레이어) 에 국소화되어 있음이 밝혀졌습니다. gate_proj가 가장 큰 상관성 증가를 보이지만, down_proj 패칭이 트리거 응답에서 가장 큰 붕괴를 일으켜 이를 가장 강력한 인과 경로로 식별합니다.
• 확장성 한계: 이 가중치 수준 신호는 보정 제한적입니다.
  • Qwen 7B에서는 신호가 붕괴됩니다 (AUC 가 0.65 로 하락). 이는 중독으로 인한 이동보다 초기화 시드 분산이 우세하기 때문입니다.
  • Llama 3.2 1B에서는 신호가 회복되지만 다른 특징 (std 대신 global_frobN_mean) 이 필요합니다.
  • 신호는 랭크 의존적입니다: 랭크 16 에 대해 보정된 임계값은 랭크 8 과 랭크 32 에서 완전히 실패합니다.

3.5 교차 모델 및 교차 랭크 재현

• 규모 (Qwen 7B): 공격은 7B 에서 더 효과적이며, 더 적은 중독된 예제로 포화됩니다 (전이 영역이 왼쪽으로 이동). 그러나 가중치 수준 탐지기는 재보정 없이는 이전되지 않습니다.
• 패밀리 (Llama 3.2 1B): 행동 탐지기는 재튜닝 없이 완벽하게 이전됩니다. 가중치 수준 탐지기는 작동하지만 지배적인 특징이 다릅니다. 토큰 앵커는 "RFC"에서 "per"로 이동합니다.
• 랭크: 공격은 랭크에 따라 단조롭게 증가합니다. 랭크 8 은 랭크 16(100% ASR) 에 비해 공격을 약화시킵니다 (k=25 에서 52% ASR), 하지만 클린 정확도는 일정하게 유지됩니다. 가중치 수준 임계값은 랭크별입니다.

4. 중요성 및 주장

본 논문은 LoRA 어댑터 공급망이 소량의 중독된 데이터로 신뢰성 있고 은밀한 백도어를 설치할 수 있는 실현 가능한 공격 표면이라고 주장합니다.

• 운영적 이식성: 행동 탐지기는 주요 이식 가능한 방어 수단입니다. 프로브 배터리가 가능한 토큰 앵커를 포괄하는 한, 재튜닝 없이 모델 규모 (1.5B 에서 7B) 와 패밀리 (Qwen 에서 Llama) 간에 이전됩니다.
• 가중치 수준 제약: 가중치 수준 탐지는 빠르고 추론이 불필요하지만 보편적으로 이식 가능하지는 않습니다. 기본 모델별 및 랭크별 보정이 필요하며, 초기화 노이즈가 신호를 가리는 고용량 모델 (예: 7B) 에서는 실패합니다.
• 방어 전략: 방어자는 구조적 패턴 매칭에 의존할 수 없습니다. 효과적인 방어는 다음을 요구합니다:
  1. 다양한 토큰 앵커 (구조적 인용뿐만 아니라) 를 포괄하는 배터리로 수행하는 행동적 프로빙.
  2. 대상 기본 모델과 랭크에 맞게 특별히 보정된 가중치 수준 스캐닝.
  3. 트리거 주변이 알려지지 않은 경우 행동적 프로브가 놓칠 수 있는 전이 영역 백도어를 잡기 위한 결합 탐지.

저자들은 공격이 강건하지만, 행동적 프로빙과 보정된 가중치 통계를 사용한 결합 탐지 전략이 현재 공급망 생태계에서 중독된 어댑터를 효과적으로 식별할 수 있다고 결론지었습니다.