기술 요약: 메타모픽 테스팅 및 연관 규칙 마이닝을 통한 LLM 생성 코드의 교차 절단형 보안 분석

문제 정의

대규모 언어 모델(LLM)은 보안 취약점이 포함된 코드를 빈번하게 생성한다. 기존 연구들은 LLM이 생성한 코드가 종종 안전하지 않다는 점을 입증해 왔으나, 기존의 평가 방식은 취약점을 개별적인 결함(예: SQL 인젝션을 버퍼 오버플로와 별개로 분석)으로 취급하는 경향이 있다. 이러한 접근 방식은 인증, 자격 증명 관리, 입력 검증, 메모리 안전성 실패가 동일한 산출물 내에서 함께 발생하는 보안의 교차 절단적(cross-cutting) 특성을 간과한다. 결과적으로, 현재의 방법론들은 이러한 취약점들이 어떻게 서로 군집을 이루는지 진단하거나, 어떤 프롬프트 특성이 광범위하고 체계적인 보안 리스크를 유발하는지 식별하는 데 한계가 있다.

방법론

저자들은 **메타모픽 테스팅(Metamorphic Testing, MT)**과 연관 규칙(Association Rule, AR) 마이닝을 결합하여, LLM 생성 코드의 보안 실패를 탐지, 진단 및 설명하는 4단계 프레프레임워크를 제안한다.

1. 데이터 생성 (Phase A): 본 연구는 18개의 CWE(Common Weakness Enumeration) 카테고리를 다루는 148개의 고유한 자연어 프롬프트로 구성된 LLMSecEval 벤치마크를 활용한다. 이 프롬프트들을 5개의 오픈 소스 모델(Qwen3-Coder, Qwen2.5-Coder, DeepSeek-Coder, CodeGemma, Gemma4:e4b)에 대해 각각 5회씩 실행하여 총 3,700개의 코드 스니펫(Python 및 C)을 생성하였다.
2. 메타모픽 판단 (Phase B): 저자들은 SQL 인젝션(CWE-89), XSS(CWE-79), 커맨드 인젝션(CWE-78), 경로 탐색(CWE-22), 인증 우회(CWE-862), 하드코딩된 자격 증명(CWE-798), 취약한 암호화(CWE-327), 버퍼 오버플로(CWE-120), 정수 오버플로(CWE-190)를 포함하는 주요 CWE 카테고리를 아우르는 9가지 보안 지향적 메타모픽 관계(MR) 카탈로그를 정의한다.
   • LLM 기반 판독기(Claude Sonnet 4.6)가 각 스니펫을 이러한 MR에 따라 평가한다.
   • 각 MR에 대해, 판독기는 적용 가능 여부, 판정(위반/통과/해당 없음), 그리고 근거를 제공한다.
   • 이 과정을 통해 행은 스니펫을, 열은 MR을 나타내는 이진 위반 행렬(binary violation matrix)을 구축한다.
3. 연관 규칙 마이닝 (Phase C): 위반 행렬은 Apriori 알고리즘을 사용하여 빈번한 공동 위반 패턴을 발견하도록 처리된다. 규칙은 지지도(support), 신뢰도(confidence), 향상도(lift, 통계적 독립성을 넘어 1보다 큰 경우 양의 연관성을 나타냄)를 기준으로 평가된다. 이 단계는 "교차 절단형" 취약점 클러스터를 식별한다.
4. 프롬프트 수준 리스크 분석 (Phase D): 저자들은 식별된 위반 패턴을 구조적 메트릭, 주제 키워드(예: 데이터베이스, 인증, 메모리), 보안 인식 문구, 다중 주제 복잡성을 포함한 프롬프트 특징과 상관 분석한다. 또한, 취약점이 프롬프트에 내재된 것인지 아니면 모델 의존적인 것인지를 결정하기 위해 교차 모델 일관성을 측정한다.

베이스라인: 제안된 방식은 4개의 정적 분석 도구(CodeQL, Bandit, Flawfinder, Semgrep) 및 LLMSecEval 벤치마크에서 제공하는 보안 코드 샘플과 비교된다.

핵심 기여

1. 보안 지향적 MR 카탈로그: LLM 생성 코드 검증에 특화되어 주요 CWE 카테고리를 포괄하는 9가지 메타모픽 관계의 정의 및 적용.
2. 교차 절단적 구조적 진단: AR 마이닝을 MR 결과와 통합하여 보안 실패가 독립적인 결함이 아니라 구조화된 클러스터를 형성함을 밝힘.
3. 프롬프트 수준 리스크 분석: 위반 클러스터를 특정 프롬프트 특성과 연결하여, 어떤 주제가 광범위한 불안전성을 유발하는지 식별하는 새로운 분석법.
4. 대규모 경험적 평가: 5개의 다양한 오픈 모델로부터 추출한 3,700개의 스니펫에 대한 종합적인 평가를 통해, 교차 절단형 취약점의 유병률과 성격에 대한 증거를 제시함.

주요 결과

취약점 유병률

• 생성된 모든 스니펫의 **68.8%**가 적어도 하나의 MR을 위반했다.
• 적용 가능한 스니펫 중 **하드코딩된 자격 증명(MR6)**과 **커맨드 인젝션(MR3)**이 가장 빈번한 실패(각각 79.1% 및 74.4%)였다.
• **SQL 인젝션(MR1)**은 가장 낮은 위반율(11.5%)을 보였으며, 이는 LLM이 매개변수화된 쿼리 패턴을 부분적으로 내재화했음을 시사한다.
• 모델 성능: DeepSeek-Coder (6.7B)는 가장 취약한 코드(위반율 73.8%)를 생성한 반 반면, Gemma4:e4b (4.5B)는 가장 안전한 코드(65.1%)를 생성했다. 주목할 점은 모델 규모와 안전성이 선형적으로 상관관계가 없었다는 것이다. 가장 큰 모델(Qwen3-Coder, 30B)이 가장 안전한 것은 아니었다.

탐지 효과성

• MR 기반 접근 방식은 취약한 스니펫의 **68.8%**를 탐지했다.
• 반면, 4개의 표준 SAST 도구(CodeQL, Bandit, Semgrep, Flawfinder)의 합집합은 단 **34.2%**만을 탐지했다.
• SAST 도구들은 인증 우회(탐지율 0%)나 하드코딩된 자격 증명(651개 중 44개만 탐지)과 같은 시맨틱 위반을 탐지하는 데 실패했다.

교차 절단형 공동 위반 패턴 (RQ2)

AR 마이닝을 통해 44개의 연관 규칙이 식별되었으며, 두 가지 주요 취약점 클러스터가 드러났다:

1. 인증–자격 증명–암호화 클러스터: 인증 우회(MR5), 하드코딩된 자격 증명(MR6), 취약한 암호화(MR7)가 밀접하게 결합된 그룹이다.
   • 핵심 발견: 규칙 XSS ∧ WeakCrypto ⇒ HardCred는 **82.5%**의 신뢰도와 3.23의 향상도를 가진다.
   • 하드코딩된 자격 증명과 누락된 권한 확인(authorization checks)이 가장 빈번한 공동 위반 쌍이었다(226개 스니펫).
2. 입력 처리–메모리 안전 클러스터: XSS, 경로 탐색, 버퍼 오버플로를 연결한다.
   • 핵심 발견: XSS ∧ PathTrav ⇒ BuffOvf (신뢰도 63.0%, 향상도 2.04).

• 클러스터 간 가교(Bridge): AuthByp ∧ BuffOvf ⇒ XSS (신뢰도 33.3%) 규칙은 두 클러스터를 연결하며, 일부 프롬프트가 인증과 메모리 안전 영역 모두에 걸친 실패를 유발함을 나타낸다.

프롬프트 수준의 동인 (RQ3)

• 예측 변수: 데이터베이스 관련 프롬프트가 전체적인 취약성의 가장 강력한 예측 변수였으며(r = 0.52), 인증 주제가 그 뒤를 이었다(r = 0.43).
• 클러스터 특이성: 데이터베이스 및 인증 키워드는 클러스터 1을 강력하게 예측했으나 클러스터 2는 예측하지 못했다. 반대로, 파일 I/O 키워드는 클러스터 2의 유일한 예측 변수였다(r = 0.31). 이는 총량 분석으로는 놓칠 수 있는 관계이다.
• 보안 인식: 보안 코드를 명시적으로 요청하는 것(예: "secure", "sanitize"와 같은 키워드 사용)은 더 안전한 출력과 상관관계가 없었다(r = -0.04).
• 교차 모델 일관성: **65.5%**의 프롬프트에서 5개 모델 모두 위반 상태에 대해 일치했다. 고위험 프롬프트(두 클러스터를 모두 유발하는 프롬프트)는 저위험 프롬프트보다 데이터베이스 키워드를 포함할 확률이 14.2배, 인증 키워드를 포함할 확률이 6.8배 더 높았다.

의의 및 주장

본 논문은 LLM에 의한 불안전한 코드 생성이 단순히 독립적인 결함의 집합이 아니라, 구조화되고 프롬프트에 의해 조건화된 현상이라고 주장한다.

• 전체론적 보안 실패: 교차 절단형 클러스터(예: 인증 우회, 하드코딩된 자격 증명, 취약한 암호화의 삼중주)의 발견은 LLM이 보안에 대한 전체론적 모델을 결여하고 있음을 시사한다. 즉, LLM은 SQL 쿼리를 매개변수화하는 법(낮은 SQLi 비율)은 학습했을지 모르나, 해당 쿼리에 필요한 자격 증명을 하드코딩하지 않는 법(높은 HardCred 비율)은 동시에 놓칠 수 있다.
• 프롬프트 주도 리스크: 높은 교차 모델 일관성(65.5%)은 취약성이 특정 모델 아키텍처보다는 프롬프트 내용에 의해 주로 결정됨을 나타낸다. 이는 모델 크기가 비슷한 모델 간의 교체보다는 프롬프트 엔지니어링이나 학습 데이터에 집중하는 완화 전략이 더 효과적일 수 있음을 의미한다.
• 실무적 시사점:
  • 클러스터 인지 검증: 개발자는 "클러스터 기반" 리뷰 전략을 채택해야 한다. 즉, 하나의 취약점(예: 하드코딩된 자격 증명)을 발견하면 동일 클러스터 내의 연관된 취약점(예: 취약한 암호화)에 대한 즉각적인 점검을 수행해야 한다.
  • 타겟팅된 개입: 자동화 도구는 단순한 전체 리스크 추정이 아니라, 특정 주제 키워드(예: 데이터베이스 + 파일 I/O)를 기반으로 특정 취약점 클러스터를 예측하여 플래그를 지정할 수 있다.
  • 표면적 지침의 한계: 보안 인식 문구와 안전한 출력 사이의 상관관계 부재는 현재의 LLM이 표면적인 보안 지침에 반응하지 않음을 재확인시켜 주며, 생성 후 검증이 필수적임을 강조한다.

저자들은 본 프레임워크가 단순한 탐지를 넘어 구조적 진단과 프롬프트 수준의 설명을 가능하게 함으로써, 데이터 기반의 통찰력을 통해 교차 절단형 보안 실패의 본질을 파악하고 더 안전한 LLM 지원 프로그래밍의 토대를 제공한다고 결론짓는다.