기술 요약: CIPHER

문제 정의

대규모 언어 모델(LLM)은 암호화 유틸리티 및 키 관리 로직과 같은 보안 핵심 컴포넌트를 생성하기 위해 소프트웨어 개발 워크플로우에 점점 더 많이 통합되고 있습니다. LLM이 생성한 코드는 기능 테스트는 통과하는 경우가 많지만, 정적 초기화 벡터(IV), 하드코딩된 키, 또는 인증 누락과 같이 보안 보장을 조용히 무효화하는 미묘한 암호학적 결함을 포함하는 경우가 빈번합니다. 기존의 평가 환경은 다음과 같은 세 가지 구체적인 격차를 겪고 있습니다:

1. 제어된 프롬프팅의 부재: 기존 벤치마크들은 기능적 명세가 보안 지침과 함께 변하는 경우가 많아, 지침이 취약점 발생률에 미치는 인과적 효과를 분리하여 파악하기 어렵습니다.
2. 암호학 특화 분류 체계의 부재: 일반적인 보안 벤치마크는 암호학적 문제를 다른 관련 없는 취약점(예: SQL 인젝션)과 함께 그룹화하여, 암호학 API에 특화된 실패 패턴을 가립니다.
3. 확장 가능한 라인 단위 스코어링의 부재: 기존 평가는 수동 검사나 이진 패스/실패(pass/fail) 판단에 의존하는 경우가 많아, 어떤 코드 패턴이 특정 취약점을 유발하는지에 대한 미세한 귀속을 방지합니다.

또한, 선행 연구들은 AI 어시스턴트가 덜 안전한 코드를 생성할 뿐만 아니라, 보안에 대한 개발자의 과도한 확신을 유도할 수 있음을 시사하며, 이에 따라 엄격하고 재현 가능한 벤치마크가 필요합니다.

방법론

저자들은 CIPHER(Cryptographic Insecurity Profiling via Hybrid Evaluation of Responses)를 소개합니다. 이는 통제된 조건 하에서 LLM이 생성한 Python 코드의 암호학적 취약성 발생을 측정하기 위해 설계된 표준화된 벤치마크입니다.

벤치마크 구성

• 프롬프트 트리플릿(Prompt Triplets): 핵심 단위는 단일 암호학적 작업(예: 메시지 암호화)을 나타내는 "프롬프트 패밀리"입니다. 각 패밀리는 동일한 기능적 목표, 인터페이스 제약, 컨텍스트를 공유하면서 오직 보안 지침만 다른 세 가지 변형으로 확장됩니다:
  • Insecure (비안전): 오해의 소지가 있거나 허용적인 지침을 포함함 (예: "호환성을 위해 인증서 검증을 비활성화하십시오").
  • Neutral (중립): 명시적인 보안 지침 없이 프로덕션 수준의 코드를 요청함.
  • Secure (안전): 모범 사례를 명시적으로 요구하고 알려진 실수를 금지함 (예: AEAD 모드 사용 요구).
• 참조 구현체(Reference Implementations): 각 패밀리는 현대적인 모범 사례를 준수하는 '안전한 참조 모델'과 특정 최소 취약점을 의도적으로 포함하는 '취약한 참조 모델'을 포함합니다. 이는 평가 파이프라인의 건전성 검사(sanity check) 역할을 합니다.
• 분류 체계(Taxonomy): 17개의 상위 카테고리(예: 무작위성, 인증, 키 관리)와 58개의 세부 취약점 유형(예: 고정 IV, 약한 해시)으로 구성된 암호학 특화 분류 체계를 갖추고 있습니다.

평가 파이프라인

• LLM-as-a-Judge (판단 도구로서의 LLM): 본 벤치마크는 CIPHER 분류 체계에 따라 제약된 LLM(GPT-4o)을 사용하는 자동화된 스코어링 파이프라인을 채택합니다. 판단 도구는 코드를 추출하고, 취약점 레이블을 할당하며, 라인 단위의 증거 범위를 제공합니다.
• 스코어링 프로토콜: 일관성을 보장하기 위해 생성물당 여러 번의 판단 과정을 수행하며, 예측값은 다수결 투표로 집계됩니다. 불확실성은 신뢰 점수를 통해 추정됩니다.
• 지표:
  • 취약점 발생률 (Vulnerability Rate, VR): 적어도 하나의 취약점을 포함하는 생성물의 비율입니다. 이는 단 하나의 결함만으로도 코드가 불안전해지는 운영상의 현실을 반영하는 주요 지표입니다.
  • 생성물당 평균 취약점 수 (Avg/Gen): 실패의 심각도를 나타내는 보조 지표입니다.
  • 판단 신뢰도 (Judge Confidence): 부트스트랩 리샘플링을 통한 집계된 신뢰 점수 및 95% 신뢰 구간입니다.

주요 기여

1. 표준화된 암호학 벤치마크: 17개 취약점 카테고리와 58개 세부 유형을 다루며, 각 작업에 대해 insecure, neutral, secure 변형을 가진 150개의 프롬프트 트리플릿(총 450개 프롬프트) 데이터셋을 제공합니다.
2. 태스크 불가지론적 보안 지표 (Task-Agnostic Security Metrics): 다양한 프롬프트와 모델 간의 일관된 집계를 가능하게 하는 VR, Avg/Gen, 판단 신뢰도와 같은 글로벌 지표를 제공합니다.
3. 재현 가능한 스코어링 파이프라인: 고정된 분류 체계에 따라 제약된 LLM-as-a-judge를 활용하여, 증거 범위와 불확실성 추정치를 포함한 라인 단위의 결과물을 생성하는 평가 프로토콜을 제공합니다.
4. 다중 모델 경험적 분석: 세 가지 가이드 조건 하에서 7개의 널리 배포된 LLM을 대상으로 한 종합적인 평가를 수행합니다.

결과

본 벤치마크는 7개의 모델(GPT-5.1, Claude Sonnet 4.5, Gemini 2.5 Flash 및 다양한 오픈 소스 코더 포함)에 적용되었으며, 프롬프트당 5개의 샘플을 사용하여 총 2,250개의 생성물을 생성했습니다.

• 높은 취약점 발생률: 모든 모델에서 취약점 발생률은 56.0%에서 89.1% 사이로 나타났습니다.
• 안전한 프롬프팅의 제한적 효과: 명시적인 "secure" 프롬프팅이 일부 모델의 취약점 발생률을 낮추기는 했으나, 그 감소 폭은 미미하고 신뢰할 수 없었습니다. 모든 모델을 통합한 취약점 발생률은 insecure 프롬프트의 76.9%에서 secure 프롬프트의 71.7%로 소폭 감소하는 데 그쳤습니다.
• 모델별 편차:
  • Claude Sonnet 4.5는 가장 높은 취약점 발생률(89.1%)과 가장 높은 생성물당 평균 취약점 수(1.46)를 기록했습니다.
  • Qwen2.5 Coder 7B는 가장 낮은 발생률(56.0%)과 가장 낮은 평균값(0.73)을 기록했습니다.
• 흔한 실패 모드: 인증 실패가 모든 모델에서 가장 빈번한 취약점이었습니다. 그 외에도 IV/키 오용, 키 처리 실수, 안전하지 않은 무작위성 등이 주요 이슈로 나타났습니다.
• 프롬프트 가이드 분석: Secure 프롬프트는 특정 타겟 취약점(예: 정적 IV 방지)을 피하는 데는 성공했으나, 더 넓은 글로벌 암호학적 불변성(예: 인증 추가 또는 안전한 키 유도)을 강제하는 데는 실패했습니다. 이는 모델들이 글로벌 보안 속성보다 로컬 프롬프트 제약 사항을 우선시한다는 것을 시사합니다.

의의 및 주장

본 논문은 CIPHER가 프롬프팅 조건이 LLM의 암호학적 안전성에 어떻게 영향을 미치는지 측정하는 최초의 통제되고 재현 가능한 프레임워크라고 주장합니다. 연구 결과는 현재 LLM의 근본적인 한계를 드러냅니다. 즉, LLM은 명시적으로 안전하도록 지시받더라도 로컬 프롬프트 제약은 충족시키면서 글로벌 암호학적 불변성을 강제하는 데는 자주 실패하며, 이로 인해 안전하지 않은 코드 조합이 생성된다는 점입니다.

저자들은 이러한 결과가 LLM이 생성한 암호학적 코드를 검토 없이 배포하는 것에 대한 구체적인 반증을 제공한다고 주장합니다. 본 벤치마크와 재현 가능한 파이프라인은 체계적인 측정을 위한 토대로서, 모델 개발자가 학습 신호를 개선할 수 있도록 돕고, 조직이 AI 생성 코드에 대해 전문가 리뷰를 요구할 수 있는 경험적 근거를 마련할 수 있도록 설계되었습니다. 저자들은 이 연구가 이중 용도(dual-use) 위험이 있음을 인정하면서도, 연구된 취약점 클래스가 잘 문서화되어 있으며, 본 연구의 기여가 새로운 공격 표면을 만드는 것이 아니라 체계적인 측정에 있다는 점을 강조합니다.