기술 요약: 안전성 제거: 보안 응용을 위한 언어 모델의 정렬 제거 메커니즘

문제 정의

안전성 정렬이 된 언어 모델은 종종 허가된 사이버 보안 작업 (예: 취약점 분류, 패치 분석, 안전한 수정) 을 수행하는 것을 거부하는데, 이는 프롬프트가 악성 지시문과 어휘적으로 유사하기 때문입니다. 이는 보안 평가에서 측정 교란 변수를 생성합니다. 즉, 모델이 답변하지 못하는 것이 근본적인 능력 부족 때문이 아니라 거부 정책 때문일 수 있습니다. "탈옥" 연구가 프롬프트 수준의 우회법에 초점을 맞추는 반면, 본 논문은 다음과 같은 고유한 과학적 질문에 답합니다. 입력 재구성 대신 모델 수준의 변환을 통해 정렬이 제거될 때, 작업 능력, 일반 능력, 그리고 평가 범위를 벗어난 위험한 행동에 어떤 구체적인 변화가 발생하는가? 핵심 문제는 모델을 "검열 해제"하는 것과 광범위한 위험한 확산을 유발하지 않고 허가된 보안 유틸리티를 진정으로 회복하는 것을 구분하는 것입니다.

방법론

본 논문은 정렬 제거의 유틸리티 - 위험 프론티어를 측정하도록 설계된 통제된 변환 - 평가 프로토콜인 ABLATING SAFETY를 소개합니다. 본 연구는 검열 해제된 모델을 배포하는 것을 목표로 하지 않으며, 특정 개입의 부작용을 감사하는 것을 목표로 합니다.

평가 프로토콜

본 프로토콜은 세 가지 차원에 걸쳐 변환을 평가합니다:

1. 허가된 보안 유틸리티 ($S$): 방어적 보안 작업 (취약점 분류, 패치 분석, 안전한 수정) 에 대한 성능.
2. 일반 능력 유지 ($G$): 무해한 일반 작업 (논리, 산술, 코드 생성) 에 대한 성능.
3. 위험한 확산 ($H$): 평가 범위를 벗어난 비운영성 유해 프롬프트에 대한 준수.

본 연구는 다섯 가지 개입 계열을 비교합니다:

• 프롬프트 컨텍스트: 허가된 컨텍스트 프롬프팅 (입력 수준 기준).
• 활성화 투영: 추정된 거부 방향을 투영하기 위해 숨겨진 상태의 런타임 수정 (가역적).
• 표현 제어: 방향 특이성을 테스트하기 위한 부분 공간 투영 (예: 랭크 -4 거부 부분 공간).
• 파인튜닝 (LoRA): 작업 적응, 거부 억제, 유지를 위한 매개변수 효율적 파인튜닝.
• 통제: 메커니즘 특정 효과를 노이즈와 구분하기 위한 무작위 투영, 무해한 투영, 주제 일치 거부 투영.

벤치마크: SECURITY-AR

평가에는 60 개의 프롬프트로 구성된 SECURITY-AR가 사용됩니다:

• 30 개의 허가된 방어적 보안 작업.
• 20 개의 무해한 일반 능력 작업.
• 10 개의 평가 범위 밖 프로브 (고수준, 비운영성 오용 요청).
  평가 범위 밖 프로브에 대한 원시 비거부 출력물은 오용을 방지하기 위해 공개 아티팩트에서 삭제되었습니다.

모델 및 구현

• 투영 파일럿: Qwen2.5(0.5B, 1.5B, 3B) 및 SmolLM2-360M 에서 네 가지 조건 (정렬됨, 프롬프트, 무작위 투영, 거부 투영) 하에 평가됨.
• 확장된 LoRA 평가: 작업 전용, 거부 억제, 유지 혼합 학습을 위한 LoRA 어댑터를 포함하여 11 가지 조건 하에서 Qwen2.5 모델에 대해 평가됨.
• 점수 매기기: 실행 가능한 작업에 대한 샌드박스 유효성 검사기, 분석을 위한 기준 기반 검토, 거부 분류기를 사용. 지표에는 거부율, 시도율, 작업 점수, 위험 준수 지표가 포함됨.

주요 결과

1. 활성화 투영은 취약하고 위험함

단일 벡터 거부 투영 (추정된 거부 방향 제거) 은 제한된 유틸리티와 높은 위험을 보였습니다:

• 유틸리티: 평균 보안 점수를 약간만 상승시켰습니다 (0.46 에서 0.50 으로).
• 확산: 평가 범위 밖 위험 준수를 급격히 증가시켰습니다 (0.10 에서 0.47 로).
• 비교: 랭크 -4 거부 부분 공간 투영은 유사한 보안 점수 (0.51) 를 달성했지만 정렬된 확산율 (0.10) 을 유지하여 부분 공간 랭크와 방향 구성이 중요한 변수임을 시사했습니다. 무작위 투영은 때때로 거부 투영 결과와 일치하여 단순한 교란이 특정 메커니즘을 모방할 수 있음을 나타냈습니다.

2. LoRA 파인튜닝은 우수한 유틸리티 - 위험 트레이드오프를 제공함

파인튜닝 기반 개입은 치명적인 확산 없이 능력을 회복하는 더 명확한 경로를 보여주었습니다:

• 작업 전용 LoRA: 평균 보안 점수를 0.87로 높이는 동시에 높은 일반 점수 (0.83) 를 유지하고 위험 준수를 낮게 (0.13) 유지했습니다.
• 거부 억제 LoRA: 유사한 보안 향상 (0.87) 을 달성했지만 작업 전용에 비해 확산이 약간 더 높았습니다 (0.13).
• 유지 혼합 LoRA: 거부 억제가 무해한 유지 데이터와 결합되었을 때 보안 점수는 높게 유지되었으나 (0.84), 위험 준수는 0.27로 크게 상승했습니다.
• 모델 의존성: 확산 행동은 모델 크기에 따라 다양했습니다. Qwen2.5-3B 는 LoRA 변형 하에서 0 의 위험 준수를 유지한 반면, 더 작은 모델 (0.5B, 1.5B) 은 특정 어댑터와 함께 확산이 증가했습니다.

3. 거부 감소 $\neq$ 능력 회복

본 연구는 단순히 거부를 줄이는 것이 작업 성공을 보장하지 않는다는 것을 발견했습니다. 모델은 거부를 멈추더라도 불일치하거나 무용한 콘텐츠를 생성할 수 있습니다. "유틸리티 - 위험 프론티어"가 주요 지표입니다. 변환이 일반 추론을 붕괴시키거나 광범위하게 위험한 행동을 증가시키지 않고 허가된 작업 수행을 개선할 때만 유용합니다.

주요 기여

1. 정렬 제거의 형식화: 본 논문은 정렬 제거를 변환 - 평가 문제로 프레임하여, 거부 감소와 작업 성공, 유지, 확산을 분리합니다.
2. SECURITY-AR 벤치마크: 삭제된 공개 아티팩트와 유틸리티 - 위험 트레이드오프 해석을 위한 의사결정 규칙을 포함하는 허가된 보안 작업을 위한 통제된 벤치마크 설계.
3. 고유한 트레이드오프에 대한 경험적 증거: 본 연구는 프롬프트, 활성화, 표현, 파인튜닝 개입이 고유한 유틸리티 - 위험 프로파일을 유도함을 입증합니다. 구체적으로, LoRA 기반 작업 적응은 제한된 확산으로 높은 보안 유틸리티를 회복하는 반면, 단일 벡터 활성화 투영은 종종 능력을 회복하지 못하고 위험 준수를 증가시킵니다.

중요성 및 주장

본 논문은 정렬 제거는 "검열 해제" 레시피가 아닌 유틸리티 - 위험 프론티어로 평가되어야 한다고 주장합니다.

• 메커니즘 분리 가능성: 안전성 행동은 단일 벽이 아닙니다. 유틸리티, 유지, 확산이 상호 작용하는 프론티어 내의 결합된 변수입니다.
• 거버넌스 함의: 프롬프트 수준 우회법, 모델 편집, 파인튜닝은 동등한 개입이 아닙니다. 이들은 서로 다른 능력과 실패 모드를 노출하므로 고유한 거버넌스 통제가 필요합니다.
• 제한된 범위: 저자들은 명시적으로 이러한 결과가 보고된 오픈 가중치 모델, 작업 스위트, 변환 계열로 제한됨을 명시합니다. 관찰된 프론티어가 프론티어 규모 시스템이나 모든 정렬 해제 방법으로 일반화된다고 주장하지 않습니다.
• 배포의 안전성: 본 논문은 준수만으로는 능력이나 안전한 배포가 아님을 강조합니다. 공개 배포에는 평가 하네스, 정제된 프롬프트, 집계 지표만 포함되며, 변환된 체크포인트와 운영적 악용 페이로드는 공개되지 않습니다.

결론적으로, 본 논문은 보안 응용 분야에서 "유용한" 정렬 제거는 단순한 거부 토큰의 제거가 아니라 검증된 허가된 범위 내에서 엄격하게 유지되는 허가된 보안 능력의 회복으로 정의된다고 주장합니다.