기술 요약: CodeSentinel

문제 정의

Code LLM(코드 대규모 언어 모델)은 저장소, 문서, 이슈 스레드 및 에이전트 환경에서 검색된 외부 코드 컨텍스트에 의존하며 소프트웨어 개발 워크플로에 점점 더 많이 통합되고 있습니다. 이는 유용성을 높여주지만, **간접 프롬프트 주입(indirect prompt injection)**이라는 치명적인 보안 취약점을 초래합니다.

직접적인 탈옥(direct jailbreak)이 공격자가 악의적인 프롬프트를 직접 보내는 것과 달리, 간접 주입은 외부 코드 아티팩트를 "오염"시키는 것을 포함합니다. 공격자는 주석, 문자열 리터럴, 식별자 또는 미끼 코드 스니펫 내에 숨겨진 명령어를 삽ız합니다. 이러한 페이로드는 구문론적으로 유효하며 종종 런타임 효과를 발생시키지 않으므로 개발자가 탐지하기 어렵지만, Code LLM의 동작을 조작하는 데 매우 효과적입니다. 기존의 방어 기제들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 키워드 필터는 암시적이거나 난독화된 트리거를 포착하지 못합니다.
• 파일 수준의 퍼플렉시티(perplexity)(예: DePA)는 짧고 국소적인 악성 페이로드를 희석시킵니다.
• 학습 기반 방어는 블랙박스 상용 모델의 경우 실행이 불가능한 경우가 많습니다.

방법론: CodeSentinel

저자들은 다운스트림 피해 모델에 도달하기 전, 신뢰할 수 없는 코드를 대상으로 작동하도록 설계된 3계층 추론 시점 새니타이저(sanitizer)인 CodeSentinel을 제안합니다. 코드를 평면 텍스트로 취급하는 이전 방식들과 달리, CodeSentinel은 코드를 **구체 구문 트리(Concrete Syntax Tree, CST)**로 취급합니다. 입력 내용을 파싱하고, 모델에 노출될 위험이 높은 노드를 추출한 뒤, 순차적인 3계층 방어 메커니즘을 적용합니다.

1. 문제 정식화

시스템은 개발자 프롬프트와 외부 컨텍스트의 직렬화된 형태를 모델 대상 입력 $X$로 정의하며, 소스 스팬(source span)과 CST 노드 사이의 바이트 오프셋을 보존합니다. 또한 다음을 포함하는 고위험 노드 집합($D_{risk}$)을 식별합니다:

• 주석 ($D_{com}$)
• 문자열 리터럴 ($D_{str}$)
• 식별자 ($D_{id}$)
• 미끼형 노드 ($D_{decoy}$): 프로그램의 주요 로직과 연결성이 약하면서(낮은 도달 가능성) 모델에는 유의미하게 작용하는 구문론적으로 유효한 문장이나 블록.

목표는 숨겨진 트리거를 포함하는 노드 부분 집합($\hat{S}$)을 탐지하고, 피해 모델 $f_\theta$가 컨텍스트를 처리하기 전에 이를 정화(sanitize)하는 것입니다.

2. 3계층 방어

CodeSentinel은 세 가지 보완적인 계층을 순차적으로 적용합니다. 이전 계층에서 플래그가 지정된 노드는 이후의 더 계산 비용이 많이 드는 계층의 고려 대상에서 제외됩니다.

계층 1: 구문 가이드 사전 필터링 (Syntax-Guided Pre-Filtering)

이 계층는 무시할 수 있는 수준의 오버헤드로 명시적이거나 구조적으로 의심스러운 페이로드를 타겟팅합니다. 세 가지 정규화된 지표를 기반으로 위험 점수 $s_1(n)$을 계산합니다:

• 정규 표현식 매칭 ($R_{regex}$): 명령어 오버라이딩 문구, 역할 제어 지시어 및 의심스러운 명령 템플릿을 탐지합니다.
• 어휘-구조 검사 ($R_{lex}$): 보이지 않는 유니코드 문자, 과도한 비 ASCII 심볼, 비정상적인 구두점 밀도 및 비정상적으로 긴 연속 문자열을 식별합니다.
• 상호작용 그래프 분석 ($R_{graph}$): "미끼(decoy)" 공격(예: Flashboom)을 구체적으로 타겟팅하며, 진입점으로부터의 도달 가능성에 대한 노드의 돌출도(salience)를 측정합니다. 모델에는 잘 보이지만 메인 로직과는 단절된 노드는 높은 위험 점수를 받습니다.

계층 2: CST 가이드 동적 Min-K% 스코어링 (CST-Guided Dynamic Min-K% Scoring)

적대적 섭동(adversarial perturbations)(예: ShadowCode, INSEC)을 타겟팅하는 이 계층는 주석이나 문자열 내의 통계적으로 비정상적인 파편을 탐지합니다. 파일 수준의 퍼플렉시티에 의한 희석 효과를 피하기 위해 CST 노드 단위로 작동합니다.

• 토큰 수준 분석: 로컬 대리 모델(surrogate model)을 사용하여 노드 내 토큰에 대한 음의 로그 가능도(negative log-likelihood, NLL)를 계산합니다.
• 동적 Min-K%: 고정된 Min-K% 방식과 달리, CodeSentinel은 노드의 유형, 길이 및 엔트로피에 따라 선택되는 상위 손실 토큰의 비율($k_{dyn}$)을 동적으로 조정합니다.
• 이상 징후 신호: 다음 세 가지 신호를 계산합니다:
  1. MeanTopK: 최고 NLL 값들의 평균.
  2. MaxWinLoss: 슬라이딩 윈도우 내의 최대 평균 NLL (국소적 섭동 탐지).
  3. MaxSpike: 인접한 토큰 NLL 간의 최대 차이.
• 이러한 신호들은 동일한 CST 유형을 가진 깨끗한 검증 노드들에 대해 보정되어 최종 이상 점수 $s_2(n)$을 생성합니다.

계층 3: CST 가이드 노드 섭동 분석 (CST-Guided Node Perturbation Analysis)

구문론적으로 유효하고 통계적으로 자연스러워 보여서 가능도 기반 탐지를 회피하는, 자연스러운 형태의 의미론적 트리거(예: XOXO, ITGen)를 타겟팅합니다. 이 계층는 노드의 **행동적 영향력(behavioral influence)**을 측정합니다.

• 서프라이즈 게이팅 선택 (Surprise-Gated Selection): 비용을 줄이기 위해, 먼저 "서프라이즈(surprise)"(노드가 전체 컨텍스트에서 보일 때와 격리되었을 때의 NLL 차이)를 기준으로 노드를 필터링합니다. 높은 서프라이즈를 가진 노드만 다음 단계로 진행합니다.
• 중립화 및 영향력 점수화 (Neutralization & Influence Scoring): 선택된 노드에 대해, 시스템은 구문을 보존하는 중립적인 등가물로 교체된(예: 주석 제거, 문자열을 안전한 리터럴로 교체, 식별자 이름 변경) 정화된 입력 $X(n)$을 구성합니다.
• 젠슨-샤논 발산 (Jensen-Shannon Divergence, JSD): 원본 입력과 정화된 입력에 대한 대리 모델의 출력 분포를 비교합니다. 높은 JSD 점수($s_3(n)$)는 해당 노드가 모델의 예측을 크게 유도함을 나타내며, 이를 의미론적 트리거로 표시합니다.

3. 정화 (Sanitization)

노드 집합 $\hat{S}$가 식별되면, CodeSentinel은 **모델 대상 복사본(model-facing copy)**의 컨텍스트를 정화합니다.

• 프롬프트 전용 모드 (Prompt-Only Mode): 저장소 소스는 건드리지 않고, 모델로 전송되는 복사본만 정화합니다.
• 컴파일 보존 모드 (Compile-Preserving Mode): 언어별 재작성(rewriting)이 가능한 경우, 더 엄격한 편집(예: 범위 일관적 이름 변경, 도달 불가능한 미끼 블록 제거)을 수행하고 구문 유효성을 보장하기 위해 결과를 다시 파싱합니다.

주요 기여

1. 정식화: 본 논문은 간접 프롬프트 주입을 플랫 텍스트가 아닌 CST 노드 수준의 정화 문제로 정식화하며, 모델 대상의 고위험 영역에 집중합니다.
2. 아키텍처: 정적 코드 구조(CST), 노드 수준의 가능도 이상 징념, 그리고 로짓(logits) 수준의 행동 영향 분석을 독특하게 결합한 3계층 방어 체계인 CodeSentinel을 도입합니다.
3. 평가: 저자들은 6가지 최신 공격 제품군(XOXO, ITGen, Flashboom, ShadowCode, INSEC, CoTDeceptor)에 대해 CodeSentinel을 평가하고, 기존 베이스라인(CodeGarrison, DePA, KillBadCode)보다 우수한 성능을 입증했습니다.

실험 결과

평가는 6가지 공격 제품군(XOXO, ITGen, Flashboom, ShadowCode, INSEC, CoTDeceptor)을 대상으로 수행되었습니다.

• 성능: CodeSentinel은 평균 노드 수준 F1 점수 0.80을 달성하여 CodeGarrison(0.70), DePA(0.51), KillBadCode(0.30)를 능가했습니다.
• 세부 성과:
  • INSEC: 0.90 (CG의 0.73 대비)
  • ShadowCode: 0.85 (CG의 0.62 대비)
  • Flashboom: 0.79 (CG의 0.85 대비, 그러나 다른 모델들보다는 현저히 우수함)
  • XOXO: 0.80 (CG의 0.72 대비)
• 블랙박스 효능: 상용 블랙박스 피해 모델(예: Claude-3.5-Haiku, GPT-5.1-Codex-mini) 실험에서, CodeSentinel을 적용했을 때 공격 성공률(ASR)이 크게 감소했습니다. 예를 들어, Claude-3.5-Haiku에 대한 ASR은 27.11%에서 7.72%로 떨어졌습니다.
• 어블레이션 (Ablation): 누적 성능 분석을 통해 세 계층 모두가 최종 탐지 능력에 기여함을 확인했으며, 파이프라인이 다양한 대리 모델에 대해 견고한 일반화 성능을 보임을 입증했습니다.

의의 및 주장

본 논문은 CodeSentinel이 피해 모델을 재학습시키지 않고도 구조화된 코드 내의 암시적 트리거를 탐지할 수 있다는 점에서 현재 방어 기제의 핵심적인 한계를 해결한다고 주장합니다. CST 노드 단위로 작동하고 구문 보존 중립화와 행동 영향 분석을 결합함으로써, CodeSentinel은 오픈 웨이트 및 블랙박스 Code LLM 모두에 배포 가능한 솔루션을 제공합니다.

저자들은 이 접근 방식이 피해 모델의 가중치를 수정하는 것에 의존하지 않으므로, 외부 코드 컨텍스트가 검색되는 산업 워크플로에 즉시 배포하기 적합하다고 강조합니다. 이 시스템은 정화 작업이 코드의 구문적 유효성이나 실행 구조를 깨뜨리지 않도록 보장하면서, 높은 탐지 정확도와 양질의 코드 유용성 보존 사이의 균균형을 맞춥니다.