기술 요약: 최소한의 프롬프트 교란이 코드 취약점으로 이어짐

문제 제기

대형 언어 모델 (LLM) 기반 코딩 어시스턴트가 개발자 생산성 향상을 위해 빠르게 도입되고 있지만, 이들이 생성하는 코드의 보안은 여전히 중요한 우려 사항입니다. 기존 연구는 사소한 프롬프트 교란 (예: 오타, 문장 재구성) 이 생성된 코드의 기능적 정확성을 저하시킬 수 있음을 입증했습니다. 그러나 이러한 교란의 보안적 결과는 아직 연구되지 않았습니다. 개발 과정에서 표면적인 프롬프트의 변이가 출력의 보안 태세를 변경하지 않을 것이라는 자연스러운 가정이 존재합니다. 본 논문은 최소한의 선의적 프롬프트 변이가 LLM 생성 코드를 보안 상태에서 취약한 상태로 전환시킬 수 있는지, 그리고 이러한 취약점이 코드 생성 시작 전 모델의 내부 표현에 인코딩되어 있는지 조사합니다.

방법론

벤치마크 및 모델

본 연구는 기능성과 보안을 결과 기반 테스트 오라클을 통해 동시에 평가한다는 점에서 기존 보안 벤치마크 (예: CyberSecEval, SecurityEval) 와 구별되는 CWEval 벤치마크 (Peng et al., 2025) 를 활용합니다. 이 벤치마크는 C, C++, Go, JavaScript, Python 등 5 개 프로그래밍 언어에 걸쳐 31 가지 공통 약점 (CWE) 유형을 다룹니다.

실험에는 세 가지 오픈소스 코드 특화 LLM 이 사용되었습니다:

• CodeLlama (70B)
• DeepSeek-Coder (33B)
• Qwen3-Coder (30B)

실험은 안정적인 평가를 위해 온도 $T=0$에서 수행되었으며, 민감도 분석은 $T=0.8$에서 수행되었습니다.

교란 전략

저자들은 프롬프트에 체계적인 변형을 적용하였으며, 이는 의미적 교란의 정도에 따라 분류되었습니다:

1. 단일 문자 변경: 한 문자를 무작위 ASCII 문자로 대체.
2. 세 문자 변경: 단일 토큰 내에서 세 개의 무작위 문자를 교환.
3. 전체 토큰 교체: 임베딩 코사인 유사도를 기반으로 토큰을 유사한 무작위 토큰으로 대체.

숨은 상태 프로빙

생성 이전에 취약점 신호가 존재하는지 확인하기 위해, 저자들은 프롬프트의 마지막 토큰 숨은 상태에 대해 선형 (L2 정규화 로지스틱 회귀) 및 얕은 비선형 (2 층 MLP) 분류기를 훈련시켰습니다. 이러한 프로브는 특정 (모델, 언어, CWE, 변형) 인스턴스가 다음 결과를 초래할지 예측합니다:

1. 기능적 코드.
2. 기능적이면서 안전한 코드.

프로브는 (모델, 언어, CWE, 대상) 셀별로 80/20 학습/테스트 분할과 5 폴드 교차 검증을 사용하여 하이퍼파라미터 튜닝을 수행하며 훈련되었습니다.

주요 기여

1. 프롬프트 취약성 입증: 본 연구는 단일 문자와 같은 미세한 변형이 생성된 코드를 안전한 상태에서 취약한 상태로 (그 반대로도) 전환시킬 수 있음을 보여주며, 이는 기능성과 보안을 동시에 영향을 미칩니다.
2. 변형 동인 분해: 연구는 일부 교란의 경우 프롬프트 내 변형의 위치가 결정적임을 확인했습니다 (예: 프롬프트 중앙 부분의 변형이 가장 해로움). 반면 다른 경우에는 특정 문자 대체가 결과를 결정합니다.
3. 프로브 성능의 체계적 변동: 논문은 숨은 상태에서의 취약점 예측 가능성이 CWE 카테고리에 따라 체계적으로 변함을 입증했습니다. 구조적 변경 (입력 처리) 이 필요한 취약점은 단일 로컬 선택 (안전한 기본값) 에 의존하는 취약점보다 더 예측 가능합니다.

결과

변형의 영향

• 보편성: 변형은 모든 모델과 언어에 걸쳐 CWE 의 큰 부분을 영향을 미칩니다.
• 방향성: 변형은 일반적으로 개선보다 해를 더 많이 끼칩니다. CodeLlama (70B) 와 DeepSeek-Coder (33B) 의 경우, 악화율 (안전한 코드를 취약한 코드로 전환) 이 개선율을 크게 상회합니다.
• 모델 견고성: Qwen3-Coder (30B) 는 가장 견고한 성능을 보였으며, 다른 두 모델에 비해 일관되게 더 작은 악화 폭을 나타냈습니다.
• 언어 차이: 패턴은 언어에 따라 다릅니다. Python 의 경우 많은 CWE 가 영향을 받지만, 각 CWE 내에서 결과를 변경하는 변형의 비율은 낮습니다. 반면 Go 의 경우 영향을 받는 CWE 는 적지만, 영향을 받는 경우 변형에 강력하게 반응합니다.

프로빙 분석

• 전체 예측 가능성: 프롬프트 끝 숨은 상태로부터 기능적이고 안전한 결과를 동시에 예측하는 평균 곡선 아래 면적 (AUC) 은 모델 전반에 걸쳐 약 0.70입니다.
• CWE 특정 분산:
  • 그룹 I (입력 처리): 신뢰할 수 없는 입력이 민감한 싱크에 도달하는 취약점 (예: SQL 인젝션, 경로 탐색) 은 유효성 검사 로직을 추가해야 합니다. 이러한 취약점은 숨은 상태에서 매우 예측 가능합니다 (평균 AUC: 0.753).
  • 그룹 D (안전한 기본값): 수정이 단일 로컬 선택 (예: 강력한 알고리즘, 안전한 플래그 또는 키 크기 선택) 을 수반하는 취약점은 예측 가능성이 낮습니다 (평균 AUC: 0.674).
• 통계적 유의성: 한쪽 Mann-Whitney U 검정은 두 그룹 간의 통계적으로 유의미한 격차를 확인했습니다 ($p = 0.009$).

프로빙 결과 해석

저자들은 프롬프트 끝 숨은 상태가 모델이 초기에 결정하는 사항 (유효성 검사 가드 추가와 같은 구조적 변경) 을 인코딩한다고 주장합니다. 반면, 생성 중 특정 토큰 위치로 미루어진 결정 (특정 알고리즘 매개변수 선택과 같은) 은 다음 토큰 분포에 의해 지배되므로 최종 프롬프트 표현에서는 덜 가시적입니다.

중요성 및 주장

본 논문은 LLM 지원 코딩에 대한 위협 모델이 적대적 프롬프트 인젝션을 넘어 일반적인 프롬프트 변이 (오타, 문장 재구성) 까지 확장된다고 주장합니다. 연구 결과는 다음과 같습니다:

1. 입력 처리 결함은 프롬프트 표현을 분석함으로써 생성 시작 전에 잠재적으로 탐지 및 완화될 수 있습니다.
2. 안전한 기본값 결함은 프롬프트 단계에서 탐지하기 어렵고 디코딩 과정 중 개입이 필요할 수 있습니다.

저자들은 방어적 관점을 유지하며, 그들의 작업이 악용 레시피를 제공하는 것이 아니라 선의적 사용 하에서의 취약성을 식별하는 것임을 강조합니다. 그들은 프론티어 규모 폐쇄형 모델에 대한 프로빙의 계산 비용과 CWE 그룹화의 수동적 성격에 대한 한계를 지적하며, 향후 연구는 생성 중 잠재 표현을 프로빙하여 프롬프트 끝에서 놓친 "안전한 기본값" 신호를 포착할 수 있음을 제안합니다.