Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

기술 요약: 거부를 넘어: 정렬된(Aligned) 및 탈제약된(Abliterated) LLM의 취약점 분석에 관한 동일 계열 연구

문제 정의
대규모 언어 모델(LLM)은 취약점 탐지, 분류, 수정을 위한 소프트웨어 보안 워크플로우에 점점 더 많이 배치되고 있습니다. 그러나 이러한 워크플로우는 "경계 문제(boundary problem)"에 직면해 있습니다. 즉, 정당한 방어적 분석(예: 익스플로잇 식별, 공격자 제어 입력 분석)에 필요한 용어와 추론 패턴이 악의적인 오용과 밀접하게 연관된 패턴과 매우 유사하다는 점입니다. 결과적으로, 안전성을 위해 정렬된(safety-aligned) 모델들은 정당한 방어적 요청에 대해 과도하게 거부하는 경향을 보입니다.

이 현상에 대한 기존의 평가들은 두 가지 한계를 가집니다:

1. 혼란 변수(Confounding Variables): 많은 연구가 서로 다른 모델 제품군을 비교함으로써, 성능 차이가 아키텍처, 규모 또는 학습 데이터 때문인지 아니면 안전성 정렬 때문인지 규명하기 어렵게 만듭니다.
2. 거부 중심 지표(Refusal-Centric Metrics): 기존 평가는 주로 거부율에 초점을 맞추고 있어, 거부되지 않은 답변이 정확한지, 구체적인지, 혹은 실행 가능한지를 포착하지 못합니다. 거부는 거의 하지 않지만 잘못된 위치를 지목하거나 유효하지 않은 패치를 제공하는 모델은 방어자에게 거의 유용성을 제공하지 못합니다.

본 논문은 모델의 "안전 상태(safety state)"가 정당한 취약점 분석의 효용성에 어떻게 영향을 미치는지 조사하며, 특히 정렬의 비용이 단순한 거부뿐만 아니라 답변의 품질 및 실행 가능성의 저하로 나타나는지를 중점적으로 검토합니다.

연구 방법론
본 연구는 안전 상태라는 변수를 격리하기 위해 **매칭된 동일 계열 실험 설계(matched same-lineage experimental design)**를 채택했습니다. 저자들은 동일한 오픈 소스 모델 제품군에서 파생된 두 가지 상태를 비교합니다:

• ALIGNED (정렬됨): 거부 동작이 온전하게 유지된 표준 인스트럭션 튜닝 모델.
• ABLITERATED (탈제약됨): 활성화 공간 개입(학습된 거부 방향을 빼는 방식) 또는 가중치 공간 수정을 통해 거부 동작이 외과적으로 감소된 공개 출시 모델.

모델 제품군:

• 주요 쌍: Gemma (gemma-4-31B-it vs. gemma-4-31B-CRACK 비교).
• 보조 쌍: Qwen (Qwen3.6-27B-MXFP4 vs. Qwen3.6-27B-MXFP4-CRACK 비교).

평가 프레임워크:
본 연구는 "방어자 측 효용성(defender-side utility)"을 세 가지 차원, 즉 커버리지(Coverage) (답변의 사용 가능성), 답변 품질(Answer Quality) (사용 가능한 답변 중의 정확성), 그리고 엔드 투 엔드 효용성(End-to-End Utility) (워크플로우 전반의 실질적 유용성)으로 분해합니다. 평가는 얕은 진단에서 실행 가능한 수리까지의 "태스크 심도 진행(task-depth progression)"을 포괄합니다:

1. 취약점 탐지 및 CWE 할당: 이진 분류 및 분류 체계 매핑.
2. 취약 코드 라인 국소화(Vulnerable-Line Localization): 취약점이 포함된 특정 소스 라인 식별.
3. 근본 원인 국소화(Root-Cause Localization): 취약점의 인과 기제 설명.
4. 실행 가능한 패치 검증: 적용, 컴파일 및 취약점 증명(PoV) 테스트(Java/Vul4J, Python/PatchEval, C/C++/Vul4C 사용)를 통과할 수 있는 패치 생성.

프롬프트 프레이밍:
본 연구는 두 가지 차원을 변화시켜 프롬프트 문구에 의한 변수를 제어합니다:

• 권한 컨텍스트(Authorization Context): 중립적 리뷰 vs. 명시적 내부 보안 감사 컨텍스트.
• 어휘 강도(Lexical Intensity): 근본적인 코드와 태스크는 고정한 채, 사이버 보안 용어의 밀도를 다양화함 (중립, 시나리오, 전술/패턴, 밀집 사이버 보안).

주요 결과
연구 결과는 안전 상태의 효과가 단조롭지 않고 컨텍스트 의존적임을 보여줍니다:

1. 태스크 심도 및 국소화:

   • 얕은 태스크: 일반적인 탐지 및 CWE 할당의 경우, 특히 중립적인 코드 리뷰 문구 하에서는 ALIGNED 상태가 종종 더 나은 성능을 보였습니다.
   • 코드 기반 태스크: 태스크가 특정 코드 증거(취약 라인 국소화)를 요구함에 따라, ABLITERATED 상태가 Gemma와 Qwen 쌍 모두에서 일관되적으로 ALIGNED 상태보다 우수한 성능을 보였습니다.
     • Gemma: Top-1 정확도가 9.00%(ALIGNED)에서 10.10%(ABLITERATED)로 증가; 평균 라인 F1이 3.84%에서 4.00%로 증가.
     • Qwen: Top-1 정확도가 4.10%에서 6.95%로 증가; 평균 라인 F1이 2.08%에서 3.91%로 증가.

2. 실행 가능한 수리 (Java/Vul4J):

   • ABLITERATED 상태는 초기 실행 게이트에서 현저히 높은 처리량을 보였습니다.
   • 사용 가능한 답변: 67.8% (ABLITERATED) vs. 29.9% (ALIGNED).
   • 적용된 패치: 65.0% vs. 24.9%.
   • 컴파일된 패치: 32.8% vs. 9.0%.
   • PoV 통과: 6.8% vs. 1.7%.
   • 미세한 차이: 중립적 프롬프트에서는 Java에서 ALIGNED 상태가 가끔 더 나은 최종 검증 성공률을 보였으나, 보안 명시적 프레임(권한 부여/사이버 용어)에서는 ABLITERATED 상태가 우위를 점했습니다. 크로스 언어 체크(Python, C/C++)의 중립 프롬프트에서는 ALIGNED 상태가 최종 실행 게이트에서 경쟁력이 있거나 우월했습니다.

3. 프롬프트 민감도:

   • 안전 메커니즘은 표면적인 단서에 민감하게 반응하는 것으로 보입니다. 중립적인 문구 하에서는 ALIGNED 모델이 분류에서 이점을 유지하는 경우가 많습니다. 그러나 프롬프트에 명시적 권한이나 밀집된 사이버 보안 용어가 포함될 때, 국소화 및 수리 태스크에서 ABLITERATED 상태로 우위가 이동합니다.
   • 출력 안정성: 프롬프트 문구는 단순히 점수뿐만 아니라 실제 답변의 내용도 변화시킵니다. ALIGNED 모델은 중립에서 보안 밀집 문구로 이동할 때 ABLITERATED 모델에 비해 예측된 취약 라인이나 CWE 레이블이 바뀌는 "결정 뒤집힘(decision flip)" 발생률이 더 높았습니다.

의의 및 주장
본 논문은 LLM 기반 보안 어시스턴트의 평가가 거부율에만 의존한다면 불충분하다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 안전 상태가 효용 프로필에 영향을 미침: 정렬은 모델이 답변을 하는지 여부뿐만 아니라, 어떻게 답변하는지를 변화시킵니다. 정렬의 비용은 균일한 거부가 아니라, 태스크 심도와 프롬프트 프레이밍에 따라 정교한 방어적 지원을 제공하는 능력의 변화입니다.
• 평가는 총체적이어야 함: 사이버 안전 평가는 거부, 정확성, 국소화 품질, 그리고 실행 가능한 액셔너빌리티(actionability)를 공동으로 측정해야 합니다. 자주 거부하는 모델이, 자주 답변하지만 부정확하거나 사용할 수 없는 가이드를 제공하는 모델보다 덜 해로울 수 있습니다.
• 설계적 시사점: 안전장치는 정당한 방어적 분석과 익스플로잇 조력을 구분할 수 있도록 설계되어야 하며, 이 과정에서 정당한 방어적 출력의 품질을 저하시켜서는 안 됩니다. 목표는 실제 취약점을 분석하고 수리하기 위해 정밀한 보안 언어를 필요로 하는 방어자들을 위한 신뢰할 수 있는 지원을 보존하는 것입니다.

본 연구는 안전장치를 제거하는 것이 해결책이라고 주장하는 것이 아니라, 현재의 안전 메커니즘이 의도치 않게 정당한 방어 업무를 저해할 수 있음을 강조하며, 전체 엔지니어링 워크플로우 전반에서 "방어자 측 효용성"을 고려하는 더 미묘한 평가 지표가 필요함을 시사합니다.