기술 요약: 코드 프로비넌스(Provenance) 및 보안 패턴을 위한 오픈 소스 인텔리전스(OSINT)

문제 정의

개발자들은 현재 두 가지 서로 다른 기원에서 소스 코드를 가져옵전다: Stack Overflow와 같은 플랫폼에 축적된 인간의 답변과 대규모 언어 모델(LLM)의 출력물입니다. 두 소스 모두 측정 가능한 보안 비용을 수반합니다. 인간 기반의 코드는 높은 추천수를 받은 답변들의 노후화된 특성으로 인해 보안 취약한 패턴을 전파하는 경우가 많은 반면, LLM 생성 코드는 보안하지 않은 출력물과 개발자의 과도한 의존성이라는 새로운 위험을 도입합니다. 본 논문은 이 분리된 두 소스에 관한 두 가지 핵심 질문을 다룹니다:

1. 프로비넌스(Provenance): 코드 스니펫 자체로부터 (경량화되고 해석 가능한 특징을 사용하여) 해당 코드의 기원(인간 vs 특정 LLM)을 복구할 수 있는가?
2. 보안 발산(Security Divergence): 동일한 프로그래밍 작업에 대해 이 두 소스가 서로 다른 보안 패턴을 채택하는가? 만약 그렇다면, 어느 지점에서 발산하는가?

본 연구는 완전한 재현성을 보장하기 위해 공개 데이터(Stack Overflow API)와 오픈 웨이트 모델만을 사용하는 OSINT(Open-Source Intelligence) 연습으로 프레임워크를 구성하였습니다.

방법론

저자들은 31가지 보안 민감 프로그래밍 작업(예: PKCE를 포함한 OAuth, JWT 검증, 비밀번호 해싱, SQL 접근 등)에 걸쳐 코드 샘플을 수집하고 분석하기 위한 완전히 재현 가능한 데이터 기반 파이프라인을 구축했습니다.

• 데이터 수집:

  • 인간 코퍼스(Human Corpus): 각 작업에 대한 특정 검색 쿼리를 사용하여 공개 Stack Overflow API를 통해 추출되었습니다. 연구에서는 시간적 편향을 고려하기 위해 긍정적인 점수를 받은 답변 중 가장 큰 코드 블록을 유지하였으며, 해당 답변의 연령과 점수를 기록했습니다.
  • 모델 코퍼스(Model Corpus): OpenAI 호환 인터페이스를 통해 9개의 다양한 오픈 웨이트 모델(Mistral, Nemotron, Qwen, Tencent 계열 포함)을 노출하는 로컬 게이트웨이를 사용하여 생성되었습니다. 프롬프트는 단일 완성형 솔루션을 요청하는 고정된 시스템 지침과 함께 원문 그대로 전달되었습니다.
  • 규모: 최종 데이터셋은 5개 언어(Python, JavaScript, Go, Java, HTML)에 걸친 528개의 실제 샘플(인간 117개, 모델 411개)로 구성됩니다.

• 특징 추출(Feature Extraction):

  • 보안 패턴 체크: 각 작업에 대해 "안전함" 또는 "안전하지 않음"으로 태깅된 결정론적 정규 표현식(Regular Expressions)을 사용했습니다 (예: bcrypt 존재 여부 vs md5, 매개변수화된 쿼리 vs 문자열 결합).
  • 스타일 메트릭: 코드의 형태를 포착하는 언어 불가지론적 메트릭으로, 라인 수, 문자 수, 주석 밀도, 임포트(import) 수, 에러 핸들링 존재 여부, 평균 라인 길 등을 포함합니다.

• 분석:

  • 프로비넌스 속성 부여(Provenance Attribution): 인간과 모델 코드를 구분(이진 분류)하고, 모델 코드를 특정 모델에 할당(7-way 분류)하기 위해 Random Forest 분류기를 훈련하고 교차 검증을 수행했습니다.
  • 보안 점수 산출: 각 샘 샘플에 대해 채택된 안전한 패턴의 비율에서 존재하는 안전하지 않은 패턴의 비율을 뺀 결정론적 점수를 계산했습니다.
  • 취약점 수리 사례 연구: 12개의 CWE 클래스를 포함하는 21개의 보안 취약한 코드 스니펫을 모델에게 제공하고 이를 수정하도록 지시했습니다. 성공 여부는 엄격하게 '안전하지 않은 패턴의 제거'와 '올바른 방어 기제의 추가'를 모두 충つ족했는지로 정의되었습니다.

주요 기여

1. 재현 가능한 OSINT 파이프라인: 새로운 작업(프롬프트, 쿼리, 탐지기)을 단 하나의 데이터 엔트리로 추가함으로써, 새로운 코드 작성 없이도 연구를 일반화할 수 있는 명세 기반 파이프라인을 제공합니다.
2. 프로비넌스 속성 부여 결과: 코드의 프로비넌스가 표면적 특징으로부터 매우 잘 복구될 수 있음을 입증했습니다.
3. 보안 발산 분석: 인간과 모델이 채택한 보안 패턴을 세밀하게 비교하여, 개선이 필요한 영역과 퇴보가 발생하는 영역을 식별했습니다.
4. 교차 언어 검증: 보안 및 스타일의 차이가 소스의 특성인지 아니면 프로그래밍 언어의 특성인지를 분석했습니다.
5. Fail-Closed 체커: 저장된 아티팩트로부터 모든 보고된 수치를 다시 도출해내는 메커니즘을 통해 결과의 무결성을 보장합니다.

주요 결과

1. 프로비넌스 속성 부여 (Provenance Attribution)

• 인간 vs 모델: 분류기는 인간과 모델 코드를 93%의 정확도(모델 클래스에 대해 F1 0.955)로 구분해냈으며, 이는 78%의 다수 클래스 베이스라인을 크게 상회하는 수치입니다.
• 모델 vs 모델: 7-way 분류기는 특정 모델의 기원을 48%의 정확도(베이스라인 17% 대비)로 식별했습니다.
• 특징 중요도: 신호(Signal)는 보안 내용보다는 스타일(코드 크기, 구조, 스캐폴딩)에 의해 지배됩니다. 모델 코드는 인간의 스니펫보다 유의미하게 더 크고, 구조적이며, 더 많은 에러 핸들링과 임포트를 포함합니다.
• 언어 특이성: 프로비넌스의 경계는 언어 간에 대칭적이지 않습니다. JavaScript로 훈련된 분류기는 Python으로 잘 전이되지만(정확도 89%), 그 반대(Python에서 JavaScript로)는 베이스라인 근처로 떨어집니다.

2. 보안 발산 (Security Divergence)

• 종합 보안: 모델은 인간 코퍼스보다 훨씬 높은 비율로 안전한 패턴을 채택합니다. 종합 보안 점수는 모델이 0.40, 인간이 0.12입니다.
• 개선 영역: 모델은 현대적인 보안 코딩 가이드와 라이브러리 기반의 지침이 잘 확립된 작업에서 탁월한 성능을 보입니다:
  • 비밀번호 해싱을 위한 강력한 키 유도 함수(KDF) 사용.
  • OAuth를 위한 PKCE 구현.
  • SQL을 위한 매개변수화된 쿼리 사용.
  • JWT를 위한 알고리즘 고정 및 만료 확인.
• 퇴보 영역 (The "Completeness Hazard"): 모델은 특정 실패 모드인 **하드코딩된 비밀값(Hardcoded Secrets)**을 도입합니다. 모델은 "완전하고 실행 가능한 프로그램"을 만드는 것을 목표로 하기 때문에, 플레이스홀더 비밀값(예: client_secret = "placeholder")을 그대로 인라인으로 삽로 넣는 경우가 빈번하며 이를 수정하지 않은 채 남겨둡니다. 반면, 인간의 답변은 이러한 값을 아예 생략하여 독자가 직접 설정하도록 남겨두는 경우가 많습니다.
• 수리 능력: 취약점 수리 사례 연구에서 모델은 77%의 성공률을 달립했습니다. 그러나 "수리" 중 16%는 안전하지 않은 패턴은 제거되었으나 올-바른 방어 기제가 추가되지 않은 부분적 수정(예: md5 호출은 삭제했지만 비밀번호를 평문으로 저장함)이었습니다.

3. 교차 언어 분석

• 보안: 보안 발산(방어 패턴에서는 모델이 더 안전하지만, 비밀값 처리에서는 더 나쁜 현상)은 Python, JavaScript, Go 전반에서 일관되게 나타납니다.
• 스타일: 프로비넌스 속성 부여를 주도하는 스타일적 차이는 언어 생태계마다 다릅니다. 예를 들어, Go와 Python 사이의 스캐폴딩 양은 크게 다르므로, 프로비넌스 분류기는 언어별로 보정이 필요합니다.

의의 및 주장

본 논문은 두 소스가 단순히 "안전함" 대 "안전하지 않음"으로 구분되는 것이 아니라, 서로 다른 지점에서 실패한다고 주장합니다.

• 인간 코드: 소스 자료의 노후화로 인해 레거시 기반의 누락(예: CSRF 토큰 누락, 약한 해싱)에 취서히합니다.
• 모델 코드: "완전성"을 추구하는 목적 때문에 발생하는 특정 위험(예: 인라인된 비밀값, 언급되지 않은 위협인 SSRF 등에 대한 체크 누락)에 취약합니다.

검토를 위한 시사점:
저자들은 프로비넌스 속성 부여가 코드 리뷰를 위한 라우터(Router) 역할을 해야 한다고 제안합니다.

• 인간 생성으로 분류된 코드는 레거시 방어 누락(해싱, 토큰 기본값 등)에 대한 검사를 받도록 라우팅되어야 합니다.
• 모델 생성으로 분류된 코드는 인라인된 비밀값 및 플레이스홀더 설정에 대한 검사를 받도록 라우팅되어야 합니다.

한계 및 겸손한 태도:

• 본 연구는 의미론적 분석이 아닌 **어휘적 패턴 매칭(Regex)**에 의존합니다. 따라서 높은 보안 점수는 패턴의 채택을 의미할 뿐, 절대적인 안전을 보장하는 것은 아닙니다.
• 모델 코퍼스는 특정 게이트웨이를 통해 사용 가능한 오픈 웨이트 모델로 제한되어 있으며, 주요 상용 어시스턴트는 제외되었습니다.
• 프로비넌스 분류기는 폐쇄 세계(Closed-world) 실험입니다. 따라서 보지 못한 모델이 등장하는 오픈 세계 환경에서는 정확도가 저하될 수 있습니다.
• 결과는 스냅샷입니다. (노후화되는) 인간 코퍼스와 (진화하는) 모델 학습 데이터 모두 시간이 지남에 따라 변화할 것입니다.

결론적으로, 모델은 최근의 보안 합의를 인간의 아카이브된 코퍼스보다 더 잘 흡수했지만, 완전성을 향한 동기로 인해 새로운 위험을 도입합니다. 제공된 파이프라인을 통해 커뮤니티는 모델과 관행이 진화함에 따라 이러한 지표를 재평가할 수 있습니다.