The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound

기술 요약: 코드 LLM의 보안 예산 (The Security Budget of Code LLMs)

문제 정의
AI 프로그래밍 어시스턴트는 소프트웨어 개발의 주요 인터페이스로서 자연어 프롬프트에 점점 더 의존하고 있습니다. 이러한 변화는 중요한 취약점을 야기합니다. 프롬프트에 가해지는 작은 섭동(perturbation)(예: 유의어 교체, 식별자 이름 변경, 주석 삽 injection 등)은 사용자의 의도를 부분적으로 인식 가능한 상태로 유지하면서도 생성된 코드를 변경할 수 있습니다. 기존의 평가 방식은 대개 섭동 전후의 실행 통과율(pass@1)에 의존합니다. 그러나 저자들은 이것이 대화형 어시스턴트를 평가하기에는 불충분하다고 주장합니다. 왜냐하면 이는 모델이 모든 작업 정보를 상실한 경우(이 경우 "강건성"이라는 개념 자체가 무의미함)와, 정보는 유지하여 인식은 가능하지만 구현 방식이 변한 경우를 구분하지 못하기 때문입니다. 따라서 기능적 용량(functional capacity)과 섭동 하에서의 보안성 사이의 트레이드오프를 이해하기 위해 작업 정보, 프롬프트 누출(prompt leakage), 그리고 생성 안정성을 분리하는 "예산 수준(budget-level)"의 관점이 필요합니다.

방법론
본 논문은 정보 이론을 사용하여 이 트레이드오프를 공식화하며, 코드 LLM $\pi$에 대해 두 가지 핵심 양을 정의합니다:

1. 용량 (Capacity, $Cap$): 정형 솔루션(canonical solution) $c^*$와 모델의 생성물 $c_\pi$ 사이의 상호 정보량인 $I(c^*; c_\pi)$를 의미합니다. 이는 모델이 작업의 내용을 얼마나 포착하는지를 측정합니다.
2. **보안 (Security, $Sec$):** 원래 프롬프트$p$하에서의 생성물($c_\pi$)과 적대적으로 섭동된 프롬프트$\tilde{p}$하에서의 생성물($\tilde{c}\pi$) 사이의 상호 정보량인$I(c\pi; \tilde{c}_\pi)$를 의미합니다. 이는 "섭동-유지 채널(perturbation-retention channel)"로서 역할을 하며, 깨끗한 출력과 섭동된 출력 사이의 공유된 정보를 측정합니다.

이론적 프레임워크
핵-이 되는 이론적 기여는 이 두 양의 합에 대한 상한을 설정하는 **정리 1(Theorem side 1)**입니다:
$$Cap + Sec \leq H(c^*) + I(p; \tilde{p})$$
여기서 $H(c^*)$는 정형 솔루션의 엔트로피(작업 엔트로피)이며, $I(p; \tilde{p})$는 원래 프롬프트와 섭동된 프롬프트 사이의 상호 정보량(프롬프트 누출)입니다. 증명은 다음과 같은 표준 정보 이론적 부등식에 기초합니다:

• $Cap \leq H(c^*)$는 상호 정보량의 정의를 따릅니다.
• $Sec \leq I(p; \tilde{p})$는 생성물 $c_\pi$와 $\tilde{c}_\pi$가 프롬프트 쌍 $(p, \tilde{p})$가 주어졌을 때 조건부 독립이라는 가정하에 데이터 처리 부등식(Data Processing Inequality, DPI)을 따릅니다.

모델의 내부 학습 데이터에 접근하지 않고도 이 상한을 실행 가능하게 만들기 위해, 저자들은 $H(c^*)$에 대한 폐쇄형(closed-form)의 모델 불가지론적 동반 상한을 도출합니다(정리 2). 이 상한은 소스 코드의 압축 가능성을 활용합니다:
$$H(c^*) \leq \min(L_{max} \log V, |c^*|_{gz})$$
여기서 $L_{max}$는 최대 토큰 길이, $V$는 어휘 사전 크기, $|c^*|_{gz}$는 정형 솔루션의 예상 gzip 압축 길이입니다.

실증적 검증
저자들은 **출력 전용 임베딩 프로토콜(output-only embedding protocol)**을 사용하여 **따끔 1(Corollary 1, 임베디드 변수 상한)**을 검증합니다. 증명에 필요한 마르코프 체인($z_\pi \to p \to \tilde{p} \to \tilde{z}_\pi$)을 보존하기 위해, 임베딩 $E$는 프롬프트 컨텍스트를 제외하고 오직 생성된 코드에만 적용됩니다.

• 모델 및 데이터셋: CodeLlama-7B와 Qwen2.5-Coder-7B를 대상으로 HumanEval 및 MBPP-sanitized 데이터셋에서 실험을 수행했습니다.
• 추정기(Estimators): 상호 정보량은 마지막 토큰의 은닉 상태(PCA로 차원 축소됨)에 대해 MINE(Mutual Information Neural Estimation) 및 KSG(Kraskov-Stögbauer-Grassberger) 추정기를 사용하여 추정되었습니다.
• 섭동: 유의어 교체, 부정(negation), 주석 삽입(보안-안티 주석 포함), 식별자 이름 변경을 포함한 23개의 섭동 풀(pool)이 사용되었습니다.

주요 결과

1. 상한 만족 여부: 6개의 개별 검증 구성(모델, 데이터셋, 정밀도, 임베딩 절제 변형 변화) 전반에 걸쳐, 임베디드 체크는 부등식을 만족했습니다. 포화 비율(saturation ratio) $(Cap + \max_T Sec) / (H(z^*) + \max_T I(p; \tilde{p}))$은 0.27에서 0.92 사이였으며, 양의 정리 슬랙(theorem slack)이 2.36에서 26.94 nats만큼 존재했습니다.
2. 안정성: 3-시드 안정성 진단 결과 평균 포화도는 0.87이었습니다.
3. 스트레스 테스트: 23개의 섭동 풀, 고정된 범용 보안-안티 접미사, 그래디언트 기반 PGD 공격을 포함한 적응형 스트레스 테스트 모두 양의 슬랙을 나타내어, 공격적인 섭동 전략 하에서도 상한이 유지됨을 확인했습니다.
4. 문제별 신호: 출력 전용 임베딩을 사용함에도 불구하고, 별도의 컨텍스트 혼합 임베딩 코사인(context-mixed embedding cosine)(프롬프트와 코드를 모두 조건화함)은 실행 수준의 pass@1과 상관관계($\rho=0.36$ for CodeLlama-HumanEval)를 보였으며, 이는 보안 상한과는 구별되는 실질적인 정렬 신호 역할을 합니다.
5. 누출 분석: 연구 결과, 식별자 이름 변경과 유의어 substitution이 가장 큰 공유 정보 천장(높은 $I(p; \tilde{p})$)을 남기는 반면, 보안-안티 주석은 프롬프트 정보를 적게 누출하지만 안전성 측면에서는 더 위험한 것으로 나타났습니다.

의의 및 주장
본 논문은 코드 생성의 안정성에 대한 정량적, 정보 이론적 예산을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 분해(Decomposition): "예산"을 작업 엔트로피와 프롬프트 누출으로 분리함으로써, 개발자가 프롬프트 누출($I(p; \tilde{p})$)을 줄이는 것이 반드시 기능적 용량을 증가시키지 않으면서도 적대자에게 가용한 최대 채널을 어떻게 좁히는지 이해할 수 있게 합니다.
• 모델 불가지론적 천장: $H(c^*)$에 대한 폐쇄형 상한은 모델 접근 권한이나 학습 데이터 없이도, 토크나이저와 정형 솔루션 분포만을 이용하여 새로운 모델과 태스크 세트에 대해 보안 천장을 계산할 수 있게 합니다.
• 실질적 가드레일: 저자들은 프로그래밍 어시스턴트의 가드레일이 단순히 pass@1에 의해 평가되는 것이 아니라, 프롬프트 섭동이 적대자에게 남겨두는 정보량에 의해 평가되어야 한다고 주장합니다. 이 상한은 프롬프트 경화(hardening)를 테스트하는 기준을 제공합니다: 즉, $I(p; \tilde{p})$를 줄이는 것은 보안 예산을 좁히는 결과를 낳습니다.

저자들은 자신들의 기여가 새로운 데이터 처리 정리의 발명이 아니라, 이러한 개념들을 코드 생성에 **구현(instantiation)**한 것(예산을 정의하고 폐쇄형 천장을 도출한 것)임을 명시하며 겸허한 태도를 유지합니다. 또한 MINE가 경계 근처에서 과대평가할 수 있는 MI 추정기의 민감도 문제와, 본 상한이 현실적인 적대자가 항상 이를 포화시킬 것임을 증명하는 것이 아니라 사용 가능한 안정성 예산을 특징짓는 것이라는 점을 한계로 인정합니다.