기술 요약: SPARK – 보안 지식 프라이밍 및 표현 유도형 지식 활성화

1. 문제 정의

대규모 언어 모델(LLM)은 명시적으로 보안 준수를 요청하더라도 취약점이 있는 코드를 생성하는 경우가 빈번합니다. 현대적인 LLM들은 보안 권고 사항, 취약점 데이터베이스(예: CWE, CVE), 개발자 문서가 풍부한 코퍼스로 사전 학습되었음에도 불구하고, 코드 생성 과정에서 이러한 지식을 적용하는 데 자주 실패합니다.

본 논문은 보안하지 않은 생성의 근본 원인이 **지식 결핍(knowledge deficit)**이 아니라 지식 휴면(knowledge dormancy) 문제라고 주장합니다. 명시적이고 타겟팅된 신호가 없다면, 흔한(종종 보안에 취약한) 학습 분포 패턴을 재현하려는 통계적 압력이 모델의 잠재적인 안전 관련 표현을 억제하게 됩니다. 기존의 방어 기제는 다음과 같은 방식으로 이를 해결하려 시도합니다:

• 미세 조정(Fine-tuning): 모델 파라미터를 재학습시키는 방식은 계산 비용이 많이 들고, 치명적 망각(catastrophic forgetting)의 위험이 있으며, 모든 새로운 백본 모델마다 모델별 파이프라인이 필요합니다.
• 검색 증강 생성(RAG): 프롬프트에 방대한 양의 외부 코드 예시를 주입하는 방식은 컨텍스트의 중복성을 초래하고 상당한 추론 오버헤드를 발생시킵니다.

저자들은 병목 현상이 지식의 부재가 아니라 추론 시점의 **활성화(activation)**에 있다고 상정하며, 모델 가중치를 수정하거나 중복된 데이터로 컨텍스트를 채우지 않고도 기존의 내부 표현을 트리거할 수 있는 방법이 필요하다고 제안합니다.

2. 방법론: SPARK

SPARK(Security Knowledge Priming And Representation-guided Knowledge Activation)는 잠재된 보안 지식을 활성화하기 위해 설계된, 훈련이 필요 없는(training-free) 모델 불가지론적(model-agnostic) 추론 시점 하네스입니다. 이는 두 가지 직교하는 구성 요소로 이루어져 있습니다:

구성 요소 I: 보안 지식 활성화 (프롬프트 레벨)

이 구성 요소는 생성이 시작되기 전, 입력 프롬프트에 구조화된 단서를 검색하여 추가함으로써 작동합니다.

• 메커니즘: RAG와 같이 전체 코드 예시를 검색하는 대신, SPARK는 코딩 작업에 기반하여 공통 취약점 목록(CWE) 카탈로그에서 가장 관련성이 높은 상위-$K$개의 항목을 검색합니다.
• 프로세스:
  1. 코딩 질문을 문장 트랜스포머(예: all-MiniLM-L6-v2)를 사용하여 인코딩합니다.
  2. 사전 인코딩된 CWE 항목들과 코사인 유사도를 계산합니다.
  3. 상위-$K$개의 항목을 CWE ID, 축약된 위험 설명, 완화 단계를 포함하는 간결한 블록으로 포맷팅합니다.
  4. 이 블록을 프롬프트의 접미사(suffix)로 추가하여, 토큰 생성 직전에 마지막으로 처리되는 정보가 되도록 합니다.
• 목표: 관련 취약점 클래스의 이름을 명시적으로 언급함으로써, 외부 코드 예시를 추가하지 않고도 모델의 기존 보안 표현을 표면화하는 "트리거" 역할을 수행합니다.

구성 요소 II: 안전 제약 디코딩 (로짓 레벨)

이 구성 요소는 자기회귀적(autoregressive) 디코딩 과정 중에 안전한 토큰 선택을 향한 지속적인 편향을 강제합니다.

• 메커니즘: 모델의 표현 공간 내에서 안전한 코드의 평균 은닉 상태($\bar{h}^+$)와 안전하지 않은 코드의 평균 은닉 상태($\bar{h}^-$) 사이의 단위 차이로 정의되는 안전 방향 벡터($\delta$)를 활용합니다.
• 오프라인 사전 계산:
  1. 쌍을 이룬 안전/불안전 코드의 소규모 데이터셋을 사용하여 $\bar{h}^+$와 $\bar{h}^-$를 계산합니다.
  2. 안전한 방향 $\delta = (\bar{h}^+ - \bar{h}^-) / \|\bar{h}^+ - \bar{h}^-\|$를 계산합니다.
  3. 이 벡터를 언어 모델 헤드($W_{lm}$)를 통해 투영하여 사전 계산된 토큰 안전 편향 $b = W_{lm} \cdot \delta$를 생성합니다.
• 추론: 매 디코딩 단계 $t$마다 편향 $b$가 로짓에 더해집니다: $\tilde{\ell}_t = \ell_t + b$.
• 비용: 이 개입은 매 토큰당 단 한 번의 벡터 덧셈만을 요구하며 무시할 만한 수준의 런타임 오버헤드만을 발생시킵니다.

통합

두 구성 요소는 결합 가능합니다. 구성 요소 I은 프롬프트 레벨에서 보안 관련 컨텍스트를 설정하고, 구성 요소 II는 이후의 모든 디코딩 단계에서 제약을 강화합니다. 구성 요소 I은 블랙박스 환경(API 접근)에서 작동하며, 구성 요소 II는 로짓에 대한 화이트박스 접근 권한을 필요로 합니다.

3. 주요 기여

1. 확장된 평가: 본 논문은 높은 성능에도 불구하고 보안 동작에 대한 조사가 미흡했던 최신 상용 시스템(GPT, Claude, DeepSeek 제품군)으로 보안 평가 범위를 확장했습니다.
2. 활성화에 대한 새로운 관점: 보안 지식은 이미 사전 학습된 모델에 인코딩되어 있으며, 외부 지식 주입이나 가중치 수정 없이 경량화된 추론 시점의 단서를 통해 활성화될 수 있다는 점을 제안합니다. 저자들은 CWE 단서가 내부 표현을 "안전한 방향"으로 이동시킨다는 것을 보여줌으로써 이를 검증합니다.
3. 포괄적인 실증 연구: 본 연구는 9개의 오픈 소스 모델(규모에 따른 분석 포함), 7개의 상용 모델, 3개의 프로그래밍 언어(C++, Java, Python)를 아우르며, SPARK를 7개의 베이스라인(미세 조정, 검색 증강 및 공동 디코딩 방법)과 비교합니다.

4. 실험 결과

보안 성능

• 훈련이 필요 없는 베이스라인: SPARK는 오픈 소스 모델 전반에서 평균 **63.8%의 안전한 코드 비율(Safe Code Rate)**을 달ตำ성, 프롬프트 전용 베이스라인(30.3%)과 검색 기반 방법(RESCUE: 48.9%, CodeGuarder: 54.1%)을 크게 상회했습니다. 또한 많은 설정에서 파라미터 업데이트 없이도 최고의 미세 조정 베이스라인과 일치하거나 이를 능가하는 성능을 보였습니다.
• 블랙박스 상용 모델: 구성 요소 I만으로도 프론티어 상용 모델(예: Claude, GPT-5.5, DeepSeek)의 안전한 코드 비율을 완전한 블랙박스 환경에서 평균 최대 **37.8%**까지 향상시켜, 최상위 모델들조차 특정 단서 없이는 보안 지식을 활성화하는 데 실패함을 입증했습니다.
• 미세 조정과의 시너지: 미세 조정과 결합했을 때(SPARK+), 이 방법은 평균 **85.8%**의 안전한 코드 비율에 도달하여 18개 모델-언어 설정 중 11개에서 최고 또는 공동 최고 기록을 달성했습니다. 이는 미세 조정만으로는 특정 언어에서 실패할 수 있는 "회귀(regression)" 현상을 효과적으로 복구합니다.

유틸리티 보존

• HumanEval: SPARK는 HumanEval 벤치마크에서 기능적 정확성(pass@1)을 유지합니다. 대부분의 모델에서 변화는 미미합니다(+평균 0.1%). 컨텍스트를 예시로 가득 채워 유틸리티를 저하시키는 검색 기반 방법들과 달리, SPARK의 간결한 단서는 모델의 기본 코딩 작업 해결 능력을 해치지 않습니다.
• 비교: 미세 조정 방법(예: SVEN, LoRA)은 SPARK에 비해 더 크고 가변적인 유틸리티 저하를 보였습니다.

절제 실험 및 분석

• 구성 요소 기여도: 구성 요소 I(CWE 단서)이 개선의 주요 동력이며, C++에 대한 CodeLlama-7B의 안전한 코드 비율을 2.1%에서 71.1%로 끌어올렸습니다. 구성 요소 II는 구성 요소 I 위에 쌓였을 때 일관되지만 완만한 추가 이득을 제공합니다.
• 표현 이동: 모델의 은닉 상태를 프로빙(probing)한 결과, CWE 단서가 표현을 안전 방향 벡터 $\delta$ 쪽으로 이동시킨다는 것을 확인하여 "활성화" 가설을 검증했습니다.
• 검색 깊이: 최적의 검색 깊이는 $K \in \{3, 5\}$인 것으로 나타났으며, $K$를 더 늘리면 어텐션 희석(attention dilution)이 발생하여 보안 성능이 감소합니다.

5. 의의 및 주장

본 논문은 보안하지 않은 코드 생성이 지식의 부족이 아니라 근본적으로 활성화 문제라고 주장합니다. SPARK는 다음을 입증합니다:

• 사전 학습된 모델은 기본 통계적 우선순위에 의해 억제된 상당한 잠재적 보안 지식을 보유하고 있습니다.
• 이 지식은 계산 효율적이고 모델 불가지론적인 경량화된 훈련 불필요 개입(구조화된 단서 및 로짓 편향)을 통해 잠금 해제될 수 있습니다.
• SPARK는 무거운 미세 조정이나 컨텍스트 집약적인 검색의 강력한 대안을 제공하며, 미세 조정된 모델의 분포적 편향을 보완하고 상용 API의 휴면 지식을 활성화하는 "안전 바닥(safety floor)"을 제공합니다.

저자들은 SPARK가 모델의 가장 큰 보안 자원인 사전 학습 지식을 활용함으로써, 추론 시점에 외부 보안 리소스를 사용할 필요를 대체한다고 결론짓습니다.