Symmetry Defeats Auditing

기술 요약: 대칭성이 감사 기능을 무력화함

문제 제기
본 논문은 Shenoy 등 [9] 이 제안한 대규모 언어 모델 (LLM) 내 악성 파인튜닝을 탐지하기 위해 설계된 "내성 어댑터 (Introspection Adapters, IA)"의 취약점을 다룹니다. IA 패러다임은 직접 선호도 최적화 (DPO) 를 통해 학습된 특정 LoRA 어댑터를 사용하여 주입된 행동 (예: 가스 누출 위험 경시) 에 대한 언어적 진술을 이끌어냅니다. 핵심 우려 사항은 적대자가 모델에 악성 전문화를 밀반입할 수 있으며, IA 가 이를 탐지하지 못할 수 있다는 점입니다. 저자들은 이 탐지 메커니즘이 LLM 아키텍처에 내재된 수학적 대칭성으로 인해 근본적으로 취약함을 입증합니다.

방법론
저자들은 감사자의 LoRA 어댑터 배포 전에 모델 가중치를 통제하는 적대자가 모델 내부 가중치에 행동 보존 선형 변환을 적용하는 공격을 제안합니다. 이 변환은 이후 설치되는 감사자 어댑터를 무효화합니다. 이 공격은 트랜스포머 아키텍처에서 발견되는 두 가지 특정 대칭성을 악용합니다:

1. 어텐션 $W_V/W_O$ 대칭성: Llama 및 Qwen 모델에서 사용되는 그룹화 쿼리 어텐션 메커니즘에서, 어텐션 메커니즘의 출력은 값 행렬 ($W_V$) 과 출력 프로젝션 행렬 ($W_O$) 을 포함합니다. 저자들은 임의의 가역 행렬 $G$에 대해 $W_V \to W_V G$ 및 $W_O \to G^{-1} W_O$ 변환을 적용하면 모델의 출력이 변하지 않음을 보여줍니다. 적대자가 기본 모델에 이 변환을 적용하면, 이후 설치되는 모든 LoRA 어댑터 (IA 포함) 는 효과적으로 $G^{-1}$로 우측 곱해집니다. 이는 어댑터의 기능적 영향을 변경하여 악성 행동 탐지 능력을 무력화합니다. 적대자는 각 어텐션 헤드의 값 부분공간에 대해 Haar-무작위 직교 행렬을 샘플링하여 이 변환을 수행합니다.
2. MLP 순열 대칭성: Llama 및 Qwen3 와 같은 모델의 다층 퍼셉트론 (MLP) 블록은 순열 대칭성을 보입니다. 게이트 및 업 - 프로젝션 가중치 ($W_{gate}, W_{up}$) 에 순열 행렬 $P$를 적용하고 다운 - 프로젝션 가중치 ($W_{down}$) 에는 그 역행렬 $P^{-1}$을 적용하면 레이어의 출력이 동일하게 유지됩니다. 적대자가 IA 설치 전에 이러한 가중치를 순열하면, IA 의 LoRA 어댑터는 효과적으로 변환되어 (예: $C_{gate} \to C_{gate}P^{-1}$) 특정 악성 행동 탐지와 관련하여 기능적으로 무력해집니다.

이 공격은 계산 비용이 저렴하여 70B 파라미터 체크포인트에서 약 5 분의 CPU 시간이 소요됩니다.

주요 기여

• 취약성 입증: 본 논문은 모델 가중치에 간단한 행동 보존 대칭성을 적용함으로써 내성 어댑터 (Introspection Adapters) 를 완전히 우회할 수 있음을 최초로 구체적으로 입증합니다.
• 공격 변형: 저자들은 "어텐션 $W_V/W_O$ 대칭성" 공격과 "MLP-순열" 공격이라는 두 가지 다른 공격 벡터를 정의하고 구현합니다.
• 일반화 가능성: 저자들은 이러한 대칭성 공격 클래스가 IA 에 국한되지 않으며, 적대자가 보정부터 배포까지 모델 가중치에 접근할 수 있다면 Safe LoRA [6] 와 같이 모델 내부 상태나 가중치 공간 프로젝션을 검사하는 모든 감사 도구를 무력화할 가능성이 있다고 주장합니다.

결과
저자들은 Llama-3.3-70B-Instruct 기본 모델을 사용하여 Shenoy 등 [9] 의 7 가지 공개된 악성 파인튜닝에 대해 이 공격을 평가했습니다.

• 탐지 회피: 7 가지 사례 모두에서 최상의 공격은 IA 탐지율을 기준치인 100% 에서 0~20% 로 감소시켰습니다.
• 행동 보존: 중요하게도, 파인튜닝된 모델의 악성 행동은 온전하게 유지되어 관찰 가능했습니다; 공격은 오직 감사자의 탐지 능력에만 영향을 미쳤습니다.
• 공격 효율성: MLP-순열 공격만으로도 3 개의 어댑터에 대해 IA 를 무력화하기에 충분했습니다. 나머지 어댑터의 경우 MLP 공격과 어텐션 $W_V/W_O$ 공격을 결합해야 했습니다.
• 비용: 전체 공격 과정은 두 개의 NVIDIA A100 GPU 에서 약 1 시간 소요되었으며, 컴퓨팅 리소스 비용은 약 3 달러였습니다.

의의 및 주장
본 논문은 모델 가중치를 통제할 수 있는 능력이 근본적으로 가중치 공간 감사 도구의 효능을 훼손한다고 주장합니다. 저자들은 적대자가 감사자의 프로브 보정 시점과 프로브 배포 시점 사이의 어느 시점에서든 모델에 접근할 수 있다면, 감사자가 의존하는 "뉴런 인덱스"를 재배치함으로써 구조적으로 감사를 무력화할 수 있다고 결론지었습니다.

저자들은 그들의 기여가 대칭성 자체의 발견 (이는 기계적 해석 가능성 [3] 에서 표준임) 이 아니라, LoRA 기반 감사자는 이러한 대칭성에 불변하지 않으며, 이 비불변성이 "저렴하게 악용 가능하다"는 관찰임을 명시적으로 밝힙니다. 그들은 적대자가 가중치를 통제하는 현실적인 배포 시나리오에서는 많은 기존 감사 기술이 "대체로 비효율적"일 수 있다고 경고합니다. 본 논문은 새로운 감사 도구나 대칭성 강건한 IA 와 같은 향후 학습 방법을 즉각적인 해결책으로 제시하지 않으며, 이를 향후 연구 방향으로 언급합니다.