False Security Confidence in Benign LLM Code Generation

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 을 활용한 코드 생성 연구에서, 기능적 정확성 (Functional Correctness) 과 보안 정확성 (Security Correctness) 이 자연스럽게 일치한다고 오해하는 경향이 있습니다. 실제로는 LLM 이 단위 테스트를 통과하거나 예상된 출력을 생성하는 등 기능적으로 '정확한' 코드를 생성하더라도, 내부에는 SQL 인젝션, 불안전한 자격 증명 처리, 취약한 역직렬화 로직 등 심각한 보안 취약점이 숨겨져 있는 경우가 빈번합니다.

기존의 평가 방식은 이러한 '기능은 작동하지만 보안은 취약한' 코드를 단순히 '성공한 생성물'로 간주하여, 연구자와 사용자로 하여금 해당 코드의 품질을 과대평가하게 만듭니다. 본 논문은 이러한 현상을 "허위 보안 자신감 (False Security Confidence, FSC)" 이라고 명명하고, 공격적인 시나리오가 아닌 일반적인 (비공격적) 프롬프트 환경에서 이러한 불일치가 얼마나 자주, 어떤 형태로 발생하는지 측정하는 프레임워크의 부재를 지적합니다.

2. 방법론 (Methodology)

본 논문은 경험적 데이터 분석보다는 측정 프레임워크와 용어 정립에 중점을 둔 기술 보고서 (Technical Report) 입니다. 주요 방법론적 접근은 다음과 같습니다.

• FSC 의 정의:
  • 생성된 코드 샘플 $s$에 대해 기능적 정확성 지표 $FCR(s)=1$이면서 보안 성공 지표$SSR(s)=0$ 인 경우를 FSC로 정의합니다.
  • 즉, "기능적으로는 작동하지만 보안적으로는 실패하는" 코드를 식별합니다.
• FSC Rate (허위 보안 자신감 비율) 의 공식화:
  • 기존 취약점 발생률 (모든 생성물 대비) 과 구별하여, 기능적으로 정확한 생성물 집합 내에서 보안 실패가 발생한 비율을 계산합니다.
  • 공식: $FSC\text{-}rate(S) = \frac{|\{s \in S : FCR(s)=1 \land SSR(s)=0\}|}{|\{s \in S : FCR(s)=1\}|}$
  • 이 분모 (기능적으로 정확한 코드) 의 사용은 기능적 능력과 보안 행동의 변화를 분리하여, '성공으로 보이는 상황에서의 과신 위험'을 정량화하는 핵심입니다.
• 3 가지 생태계 (Three-Ecosystem) 관점:
  FSC 가 발생하는 맥락을 세 가지로 구분하여 분석합니다.
  1. 범용 프로그래밍 (General-Purpose Programming): 명시적인 보안 요구사항이 없는 일반 알고리즘/데이터 처리 작업.
  2. 배포 컨텍스트 작업 (Deployment-Context Tasks): 비밀 정보 처리, 권한 부여, 라우팅, 환경 설정 등 실제 배포 환경에서의 맥락을 포함하는 작업.
  3. 보안 명시적 프로그래밍 (Security-Explicit Programming): 검증, 암호화, 정제 등 보안 목표를 명시적으로 요청한 작업 (이 경우 모델이 보안 의도를 이해하는 듯하지만 여전히 취약한 코드를 생성하는지 확인).
• FSC-hard (FSC-하드) 개념:
  • 정적 분석 도구 (Static Analyzers) 로는 탐지되지 않지만, 동적 실행이나 시맨틱 검증을 통해 실제 공격 경로가 존재함이 확인되는 FSC 사례를 지칭합니다. 이는 현재 도구로는 가장 탐지하기 어렵고 위험한 영역입니다.

3. 주요 기여 (Key Contributions)

본 논문은 다음과 같은 4 가지 주요 기여를 합니다.

1. 측정 중심 개념 도입: 기능적으로 정확한 출력 내의 보안 실패를 연구하기 위한 'FSC' 개념을 도입했습니다.
2. 조건부 실패 지표 정립: 전체 생성물이 아닌, '기능적으로 올바른 코드'를 분모로 하는 'FSC Rate'를 정의하여, 기능적 성공에 가려진 보안 실패의 빈도를 정량화할 수 있는 기준을 마련했습니다.
3. 3 생태계 작업 뷰 제안: FSC 가 발생하는 맥락을 범용 프로그래밍, 배포 컨텍스트, 보안 명시적 프로그래밍으로 세분화하여, 맥락에 따른 보안 실패의 원인을 체계적으로 연구할 수 있는 틀을 제시했습니다.
4. FSC-hard 정의: 정적 도구가 놓치고 동적으로만 발견되는 취약점 영역을 'FSC-hard'로 정의하여, 현재 평가 스택의 한계를 지적하고 동적 검증의 필요성을 강조했습니다.

4. 결과 (Results)

• 경고: 본 논문은 특정 모델의 성능 점수나 구체적인 벤치마크 수치 (예: "모델 A 의 FSC Rate 는 20% 이다") 를 제시하는 경험적 연구 (Empirical Paper) 가 아닙니다.
• 목적: 대신, 향후 대규모 평가를 위한 용어, 측정 경계, 연구 설계 약속을 확립하는 것을 목표로 합니다.
• 기대 효과: 향후 연구자들이 FSC Rate 를 보고할 때, 단순한 취약점 비율이 아닌 "기능적 성공이 있을 때 보안 실패가 얼마나 자주 발생하는지"를 보고하도록 유도하며, FSC-hard 사례를 식별하기 위해 정적 분석만으로는 부족하고 동적 검증이 필수적임을 강조합니다.

5. 의의 및 중요성 (Significance)

• 평가의 함정 극복: 기존 평가 방식이 기능적 성공을 보안 성공으로 오인하게 만드는 '평가적 안락함 (Evaluation Comfort)'을 깨뜨립니다.
• 새로운 연구 방향 제시: SAFE 나 CWEval 과 같은 기존 결합 평가 지표와 달리, FSC 는 "성공으로 간주되는 경우 중 실패하는 비율"에 초점을 맞춰, 모델의 과신 (Over-trust) 위험을 정량화하는 새로운 차원을 제공합니다.
• 실무적 안전성 강화: 특히 'FSC-hard' 개념은 정적 분석 도구만 믿고 배포하는 경우 발생할 수 있는 치명적인 보안 사각지대를 경고하며, 실제 배포 환경에서의 동적 검증 중요성을 부각시킵니다.
• 미래 연구의 기초: 본 논문은 향후 다양한 모델, 언어, 작업 생태계 전반에 걸쳐 FSC Rate 를 정량화하는 대규모 벤치마크 연구의 이론적 기반을 제공합니다.

요약하자면, 이 논문은 LLM 이 생성한 코드가 "일해 (Functionally Correct)" 보일 때, 실제로는 얼마나 위험할 수 있는지를 체계적으로 측정하고 경고하기 위한 새로운 평가 패러다임 (FSC) 을 제안한 것입니다.