기술 요약: 영향 함수(Influence Functions)를 통한 오염된 코드 생성 프롬프트 배치 탐지

문제 정의

대규모 언어 모델(LLM)은 코드 생성 분야에 점점 더 많이 배치되고 있으나, 보안에 취약한 구현을 유도하는 프롬프트에 여전히 노출되어 있다. Bandit, Semgrep과 같은 정적 분석기나 테인트 트래커(taint trackers)와 같은 기존 방어 기제는 사전 정의된 위협 모델이나 알려진 취약점 패턴 카탈로그에 의존한다. 이러한 접근 방식은 특정 카탈로그 범위를 벗어난 새로운 공격 벡터나 변종을 식별하지 못한다. 또한, 지시 이행(instruction-following) 동작을 겨냥한 탈옥(jailbreak)이나 프롬프트 인젝션에 대한 탐지기는 존재하지만, 코드 생성에서의 '정렬 불량(misalignment)'—즉, 동일한 작업에 대한 양질의 결과물이라면 나타나지 않았을 보안 관련 약점(CWE/OWASP 기준)을 도입하는 현상을 탐지하는 신뢰할 수 있는 방법은 현재 존재하지 않는다. 핵심 과제는 특정 취약점 클래스나 공격 방법에 대한 사전 지식 없이 악성 프롬프트 배치를 탐지하는 것이다.

방법론: CodeSIFT

저자들은 영향 함수(influence functions)를 활용하여 비정상적인 모델 행동을 유도하는 프롬프트 배치를 식별하는 위협 모델 불가지론적(threat-model-agnostic) 탐지 방법인 CodeSIFT를 제안한다. CodeSIFT는 생성된 코드를 분석하여 특정 취약점을 찾는 대신, 생성된 코드의 "파라미터 공간 영향력(parameter-space influence)"을 측정하여 후보 프롬프트 집합이 양질의 참조 분포에서 벗어나는지 여부를 판단한다.

핵심 메커니즘

1. 영향 함수 (Influence Functions, IFs): 이 방법은 특정 훈련 예시(이 경우 생성된 응답)가 모델의 파라미터에 미치는 영향을 정량화한다. 이는 주어진 예시가 훈련 중에 가중치가 높아질 경우 모델의 파라미터가 얼마나 변화할지를 추정한다.

   • 형식적으로, 프롬프트 $z$와 응답 $\hat{z}$에 대해, 영향 점수는 수렴된 파라미터 $\hat{\theta}$와 근사 근접 브레그만 응답 함수(Proximal Bregman Response Function, PBRF)를 근사하는 선형화된 응답 함수 $\hat{r}$ 사이의 파라미터 업데이트 크기인 $\|\hat{\theta} - \hat{r}_{\hat{z}, \text{lin}}(\varepsilon)\|_p$를 측정한다.
   • 전제는 악성 프롬프트에 의해 유도된 응답(정렬 불량)이 모델의 양질의 훈련 분포와 일치하지 않으므로, 양질의 프롬프트로부터 나온 응답보다 더 큰 파라미터 변화를 요구할 것이라는 점이다.

2. 통계적 검정:

   • 알고리즘은 후보 배치($D$)와 알려진 양질의 참조 배치($D^*$)에 있는 모든 프롬프트에 대해 **영향 점수($IF_{p,\varepsilon}(z)$)**를 계산한다.
   • 이후 이 점수들을 집계하고, 후보 배치의 평균 영향력을 양질의 참조 배치와 비교하기 위해 **웰치의 일측 양집단 t-검정(Welch's one-sided two-sample t-test)**을 수행한다.
   • 가설: $H_0$ (양호): 후보 배치는 양질의 참조와 동일한 평균 파라미터 공간 영향력을 행사한다. $H_1$ (악성): 후보 배치는 유의미하게 더 큰 파라미터 변화를 유도한다.
   • p-값이 유의 수준 $\alpha$보다 낮으면 해당 배치는 오염된 것으로 간주된다.

3. 계산 효율성:

   • 대규모 모델에 대해 정확한 역 헤시안(inverse Hessian)을 계산하는 것의 어려움을 해결하기 위해, 저자들은 크로네커 인수 근사 곡률(Kronecker-Factored Approximate Curvature, K-FAC) 근사법을 채택했다.
   • 저자들은 "일측 단순화(one-sided simplification)"를 사용하여 트랜스포머의 은닉 차원(hidden dimension)에 해당하는 크로네커 인자만을 유지하고, 더 큰 MLP 중간 차원 인자는 제외했다.
   • 밀집 곡률 인자(Dense curvature factors)는 원래의 훈련 데이터에 접근할 필요 없이 모델의 사전 훈련 분포를 근사하는 별도의 곡률 데이터셋($D_c$, The Stack v2의 하위 집합)에서 사전 계산된다.

주요 기여

1. 새로운 탐지 프레임워크: 영향 함수를 기반으로 악성 코드 생성 프롬프트를 탐지하는 통계적 검정법인 CodeSIFT를 제안하였다. 해석 가능성이나 일반화 연구를 위해 IF를 사용했던 기존 연구와 달리, 본 연구는 IF를 집계적 탐지 통계량으로 사용하며 위협 모델에 대한 가정을 필요로 하지 않는다.
2. 새로운 벤치마크 데이터셋: 인증(authentication), 권한 부여(authorization), 세션 보안(session security)을 다루는 AuthSec과 인프라, 클라우드, 프로토콜 공격을 다루는 InfraCloud라는 두 개의 새로운 데이터셋을 구축하였다. 각 데이터셋은 200개의 악성 프롬프트와 그에 대응하는 양질의 참조 세트를 포함하며, 개별 샘플의 취약점 점수가 아닌 배치 단위의 구분을 위해 설계되었다.
3. 포괄적 평가: 세 가지 오픈 웨이트 코드 LLM(3B ~ 7B 파라미터)을 대상으로 세 가지 정적 분석 베이스라인(Bandit, Semgrep, 사용자 정의 AST 기반 테인트 트래커)과 CodeSIFT를 비교 평가하였다.

실험 결과

저자들은 Granite-3B, DeepSeek-Coder-6.7B, Qwen2.5-Coder-7B 세 모델에 대해 CodeSIFT를 평가하였다.

• 탐지 정확도 (AUROC):

  • CodeSIFT는 주입 비율(배치 내 악성 프롬프트의 백분율)이 증가함에 따라 탐지 정확도가 단조 증가함을 보여주었다.
  • AuthSec 데이터셋에서 CodeSIFT는 중간 정도의 오염(40-50%) 상황에서 완벽에 가까운 점수(1.0에 근접)를 기록했다.
  • 더 이질적인 InfraCloud 데이터셋에서 AUROC는 모델에 따라 0.88에서 0.98 사이의 정점을 찍었다.
  • 반면, 정적 베이스라인은 모델에 따라 일관되지 않은 성능을 보였다. Bandit은 DeepSeek-Coder에서는 좋은 성능을 보였으나 다른 모델에서는 우연 수준에 머물렀다. Semgrep과 AST 테인트 트래커는 주입 비율이 증가함에 따라 AUROC가 0.5 미만(실제 레이블과 역상관 관계)으로 떨어지는 경우가 빈번했다.

• 위양성 제어 (False Positive Control):

  • CodeSIFT는 모든 모델과 데이터셋에서 공칭 유의 수준 $\alpha$(0.01에서 0.09 사이)를 밀접하게 추적하며 잘 보정된 위양성률(FPR)을 유지했다.
  • 정적 베이스라인은 개별 샘플을 이진으로 플래깅하는 특성 때문에 계단형 패턴을 보이는 등 일관되지 않은 보정 능력을 보였다.

의의 및 주장

본 논문은 영향 함수 기반 탐지가 기초적인 취약점 클래스에 대한 사전 지식 없이도 악성 코드 생성 프롬프트를 식별할 수 있는 유망한 방향임을 주장한다.

• 위협 모델 불가지론: 이 방법은 취약점을 미리 목록화할 필요 없이 정렬 불량을 성공적으로 탐지하며, 이는 정적 분석기가 새로운 공격에 무력하다는 한계를 해결한다.
• 전이 가능성: 탐지 신호(파라미터 공간 영향력)는 표면적인 패턴 매칭(정적 분석)이 일관되게 일반화되지 못하는 것과 달리, 다양한 모델 아키텍처(3B ~ 7B 파라미터)와 모델군 전반에 걸쳐 전이된다.
• 배치 수준의 효능: 이 접근 방식은 특히 프롬프트가 그룹 단위로 처리되는 자동화된 개발 워크플로에서 중요한 능력인, 오염된 배치를 식별하는 데 효과적이다.

저자들은 현재의 평가가 파이썬과 특정 취약점 제품군으로 제한되어 있으며, 본 방법이 개별 악성 프롬프트를 국소화하기보다는 배치 수준의 테스트를 위해 설계되었다는 점을 언급하며 신중한 입장을 유지했다. 그들은 이 방식이 더 큰 모델(최대 52B 파라미터까지 언급)로 확장될 수 있으며, 다른 언어와 공격 표면으로도 확장될 수 있다고 제안한다.