Willing but Unable: Separating Refusal from Capability in Code LLMs via Abliteration

기술 요약: 의지는 있으나 능력은 없는 상태: Abliteration을 통한 코드 LLM의 거절과 능력의 분리

문제 정의
본 논문은 학습 기반 취약점 탐지의 핵심적인 병목 현상인 정확하게 레이블링된 학습 데이터의 부족 문제를 다룹니다. 기존 데이터셋은 CVE 태그가 붙은 커밋에서 추출되었기 때문에 상당한 수준의 레이블 노이즈(20~71%)와 중복 문제를 안고 있습니다. 대규모 언어 모델(LLM)은 데이터 증강을 위한 경로를 제공하지만, 현재의 방식들은 대개 기존의 취약한 시드(seed)를 변형하는 방식을 취하므로 소스 코퍼스의 노이즈를 그대로 상속받게 됩니다. 이와 대조적인 접근법은 안전한 코드를 바탕으로 특정 CWE(Common Weakness Enumeration) 취약점을 주입하도록 LLM에 지시하는 것입니다. 그러나 현대의 안전 정렬(safety-aligned) 및 지시 튜닝(instruction-tuned)된 코드 LLM들은 RLHF(인간 피드백 기반 강화 학습) 또는 DPO(직접 선호 최적화)로 인해, 모델이 해당 변환을 수행할 수 있는 근본적인 능력을 갖추고 있음에도 불구하고 이러한 프롬프트에 체계적으로 거절 반응을 보입니다. 이러한 거절은 대규모의 명세 기반(specification-driven) 취약점 데이터셋을 생성하는 데 장벽이 됩니다.

방법론
저자들은 생성 능력은 보존하면서 거절 장벽을 제거하기 위해 저차원 가중치 편집 기술인 abliteration을 사용하는 타당성 조사(feasibility study)를 제안합니다. 본 연구는 Python 환경에서의 **CWE-89 (SQL Injection)**를 사례 연구로 집중합니다.

1. 모델 선택: 연구에는 세 가지 파라미터 규모(3B, 7B, 14B)의 Qwen2.5-Coder-Instruct 제품군을 활용합니다. 이 모델들은 오픈 웨이트(open weights), 코드 특화 성능, 그리고 CPU 기반 추론의 용이성을 고려하여 선택되었습니다.
2. Abliteration 절차: 거절이 모델의 잔차 스트림(residual stream) 내 특정 선형 부공간(linear subspace)에 의해 매개된다는 가설에 기반하여, 저자들은 직교 투영(orthogonal projection)을 적용해 이 "거절 방향(refusal direction)"을 제거합니다.
   • 유해한(CWE 주입) 프롬프트와 무해한 프롬프트에 대한 활성화 값의 대비 행렬(contrast matrix)을 계산합니다.
   • 특이값 분해(SVD)를 통해 거절 방향을 나타내는 상위-$k$개의 우특이 벡터(right singular vectors)를 식별합니다.
   • 재학습 없이, 특정 트랜스포머 레이어(일반적으로 네트워크의 상위 1/3 지점)의 출력 가중치($W_{out}$)에서 이 벡터들을 투영하여 제거합니다.
   • 하이퍼파라미터($k$ 및 정밀 조정 횟수)는 모델 크기별로 튜닝됩니다 (예: 3B의 경우 $k=2$, 7B/14B의 경우 $k=8$).
3. 실험 파이프라인:
   • 입력: PromSec(20개의 멀티 루트 Flask 앱 포함 샘플 20개)과 SafeCoder(싱글 루트 스니펫 50개)에서 가져온 70개의 안전한 Python 샘플.
   • 프롬프팅: 모델에게 안전한 코드를 재작성하여 CWE-89를 도입하도록(예: 매개변수화된 쿼리를 문자열 결합 방식으로 교체) 하는 고정된 지시문을 사용합니다.
   • 검증: 세 단계의 과정을 통해 출력을 평가합니다:
     1. 거절 분류: 정규 표현식 기반의 거절 패턴 탐지.
     2. 구문 검증: AST 파싱 및 컴파일 체크.
     3. 취약점 탐지: 세 가지 정적 분석 도구(CodeQL, Semgrep, Bandit) 앙상블을 사용하여 잠재적 취약점을 플래그 처리합니다.
     4. 수동 판정: 탐지기가 양성(positive)을 출력한 결과에 대해 두 명의 저자가 CWE-89 명세를 기준으로 직접 검증하여 거짓 양성(false positive) 및 거짓 음성(false negative)을 해결합니다.
4. 평가 지표: 연구는 거절률, 구문적 타당성, 취약점 주입률, 그리고 정답(ground-truth) 취약 코드와의 코드 유사도(CrystalBLEU/CodeBLEU)를 측정합니다.

주요 기여

1. 재현 가능한 파이프라인: 지시 튜닝된 코드 LLM에 abliteration을 적용하고, 멀티 툴 정적 분석 앙상블 및 수동 판정을 결합한 검증된 워크플로우를 제공합니다.
2. 경험적 측정: 3개 모델 $\times$ 2개 조건 $\times$ 2개 데이터셋 $\times$ 3회 실행의 통제된 요인 설계 연구를 통해, 거절 및 abliteration 이후의 준수 여부에 대한 최초의 경험적 측정치를 제공합니다.
3. 의지와 능력의 직교적 분리: 본 연구는 거절(의지)과 코드 생성 능력(능력)이 서로 직교하는 축임을 입증합니다. Abliteration은 새로운 능력을 창출하는 것이 아니라, 이미 존재하지만 억제되어 있던 능력을 단순히 해제함으로써 거절 반사 작용을 성공적으로 제거합니다.
4. 오픈 아티팩트: 오용 위험을 완화하기 위해 특정 abliterated 체크포인트와 취약한 샘플은 제외하고, 평가 하네스(거절 분류기, 검증기, 스코어링 스크립트)와 집계된 데이터를 공개합니다.

결과

• 거절은 크기와 컨텍스트에 의존함:
  • 14B 모델은 두 데이터셋 모두에서 프롬프트에 대해 100% 거절했습니다.
  • 7B 모델은 PromSec 프롬프트(멀티 루트)에서는 **73%**를 거절했으나, SafeCoder 프롬프트(싱글 루트)에서는 단 **5%**만을 거절했습니다.
  • 3B 모델은 무시할 만한 수준의 거절(0~7%)을 보였습니다.
• Abliteration은 거절을 제거함:
  • Abliteration 이후, 모든 모델 크기와 데이터셋에서 거절률이 0%(또는 3B의 PromSec의 경우 1.7%와 같이 0에 가까운 수준)로 떨어졌습니다.
  • 능력 보존: 모든 abliterated 모델에서 구문적 타당성은 93% 이상을 유지했습니다. 즉, 이 개입은 유효하고 일관된 Python 코드를 생성하는 모델의 능력을 저하시키지 않았습니다.
• 능력은 용량에 제한됨:
  • 거절이 제거된 후, 취약점 주입 성공률은 모델 파라미터 크기에 따라 확장되었습니다:
    • 14B: 약 88~97%의 주입 성공률.
    • 7B: 약 89~90%의 주입 성공률.
    • 3B: 약 25~48%의 주입 성공률.
  • 3B 모델의 낮은 성공률은 abliteration 이후에도 지속되었으며, 이는 한계가 거절 메커즘이 아니라 생성 능력(구조적 편집을 올바르게 수행하는 능력)의 부족에서 기인함을 나타냅니다.
• 탐지기 간 일치도: 정적 분석 도구들은 다양한 수준의 합의를 보여주었습니다. CodeQL은 특정 관용구(예: flask_mysqldb)에 매우 특화되어 있었고, Bandit은 구문 패턴에 대해 더 높은 재현율(recall)을 보였습니다. 불일치를 해결하기 위해 수동 판정이 필수적이었습니다.

의의 및 주장
본 논문은 다음을 입증하는 예비 타당성 조사라고 주장합니다:

1. 거절은 능력에서 분리될 수 있음: 코드 LLM의 안전 정렬은 저차원 가중치 편집을 통해 생성적 기질을 손상시키지 않고 외과적으로 제거할 수 있는 "거절 반사" 역할을 합니다.
2. 데이터 생성의 실행 가능성: 이 파이플라인은 레이블링의 부담을 개방형 탐지(노이즈에 취약함)에서 제한된 이진 확인(binary confirmation)으로 전환하는 방법론을 제공합니다. 14B 및 7B 모델은 abliteration을 거친 후, 고품질의 명세 기반 취약점 데이터셋을 생성할 높은 잠재력을 보여줍니다.
3. 이중 용도(Dual-Use)의 함의: 저자들은 단순한 가중치 편집을 통해 거절을 제거할 수 있다는 점이 안전 정렬된 오픈 웨이트 모델을 악성 코드 생성 도구로 쉽게 전환할 수 있음을 의미하는 보안 우려 사항임을 강조합니다. 저자들은 복잡한 입력에 대한 abliteration의 공격 표면이 이미 단순한 입력에서도 기본적으로 존재하고 있음을 지적합니다(7B의 SafeCoder 사례 참조).
4. 방법론적 통찰: 본 연구는 안전 정렬된 모델을 단순히 "거절 + 실패" 비율만으로 평가하는 것은 두 가지 별개의 현상을 혼동하는 것임을 시사합니다. 모델의 민감한 작업에 대한 겉보기 실패는 능력의 결여가 아니라, 제거 가능한 거절 때문일 수 있습니다.

저자들은 본 연구가 단일 CWE(89), 단일 언어(Python), 그리고 하나의 모델 제품군에 국한되어 있다는 점을 언급하며 신중한 태도를 유지합니다. 또한, 추가적인 경험적 검증 없이는 본 연구 결과가 다른 CWE나 모델 아키텍처로 일반화될 수 있음을 명시적으로 밝히고 있습니다.