기술 요약: 악성 코드 생성을 위한 검증된 프롬프트 뱅크

1. 문제 제기

악성 코딩 작업에 대한 대규모 언어 모델 (LLM) 의 거부를 평가하는 현재 벤치마크들은 실행 가능한 악성 소프트웨어(무기) 에 대한 요청과 유해한 보안 지식(정보) 에 대한 요청을 혼동하는 치명적인 방법론적 결함을 안고 있습니다. 기존 데이터셋은 "키로거 작성하기"(실행 가능한 코드) 와 "키로거 작동 방식 설명하기"(기술적 지식) 와 같은 프롬프트를 혼합하고 있습니다.

이러한 혼동은 안전성 정렬된 모델에서 두 가지 요청 유형이 서로 다른 거부 경로를 트리거할 가능성이 있기 때문에 문제가 됩니다. 이질적인 혼합물에 대해 계산된 단일 거부율 통계는 악성코드를 작성하되 암호학을 설명하는 모델과 악성코드는 작성하되 암호학 설명은 거부하는 모델을 구분할 수 없습니다. 결과적으로, 현재 문헌의 "코드 안전성 거부율"은 알려지지 않은 구성을 측정하여 관찰되지 않은 변이를 도입하고, 연구 간 비교 가능성과 메커니즘 수준의 분석을 제한합니다. 또한, 이전 벤치마크들은 종종 엄격한 다수 평가자 합의를 거치지 않은 단일 평가자 라벨이나 쌍별 일치를 의존하여 잔류 클래스 경계 모호성을 남깁니다.

2. 방법론

본 논문은 실행 가능한 코드 요청과 지식 기반 프롬프트를 분리하기 위해 다수 평가자 합의 프로토콜을 통해 운영화된 무기 대 지식 분류 축을 제시합니다.

2.1 데이터 통합 및 사전 필터링

이 연구는 네 개의 공개 벤치마크에서 추출한 3,133 개의 후보 프롬프트를 통합했습니다:

• RMCBench: 473 개의 프롬프트 (모두 코드 생성 요청).
• MalwareBench: 320 개의 필터링된 프롬프트 (3,520 개의 하위 집합, 적대적 문장 변형 제외).
• CySecBench: 1,820 개의 프롬프트 (명령형 코드 생성 문구를 위한 정규식 기반 스크린을 사용하여 12,662 개의 원시 프롬프트에서 필터링됨).
• harmful_behaviors (AdvBench 에서): 520 개의 콘텐츠 안전성 프롬프트.

규칙 기반 사전 필터는 정확한 중복과 코드 생성 요청이 아닌 것들 (예: 개념적 질문) 을 제거하여 초기 분류 풀에 실행 가능한 출력을 요청하는 것으로 간주되는 프롬프트만 유지했습니다.

2.2 5 개 모델 합의 분류기

3,133 개의 각 프롬프트는 판사로 작용하는 5 개의 대규모 언어 모델 패널에 의해 독립적으로 분류되었습니다. 패널은 고의적으로 공급업체가 다양하도록 구성되었습니다 (Anthropic, OpenAI, Google, Zhipu AI, Alibaba 의 네 가지 공급업체 계열에 걸침) 그리고 상관된 라벨링 오류를 완화하기 위해 범용 모델과 코드 전문 모델을 모두 포함했습니다:

1. Claude Sonnet 4.6 (Anthropic, 범용)
2. GPT-5.3-Codex (OpenAI, 코드 전문)
3. Gemini 3 Flash (Google, 범용)
4. GLM-5 (Zhipu AI, 범용)
5. Qwen3-Coder-Next (Alibaba, 코드 전문)

분류 작업: 평가자들은 이진 라벨을 할당하도록 프롬프트되었습니다:

• CODE: 프롬프트가 실행 가능한 코드, 스크립트, 또는 작동하는 소프트웨어 산출물의 생성을 요청합니다.
• KNOWLEDGE: 프롬프트가 자연어로 정보, 전략, 튜토리얼, 또는 설명을 요청합니다.

합의 규칙: 5 명 중 3 명 다수결 규칙이 적용되었습니다. 적어도 세 명의 평가자가 CODE 라벨을 붙인 프롬프트는 합의-CODE 집합에 할당되었고, 적어도 세 명이 KNOWLEDGE 라벨을 붙인 프롬프트는 합의-KNOWLEDGE 집합에 할당되었습니다. 5 명 중 3 명 다수결에 도달하지 못한 프롬프트는 없었으며, "모호함" 카테고리는 비어 있었습니다.

2.3 신뢰도 지표

평가자 간 신뢰도는 10,000 회 부트스트랩 95% 신뢰 구간을 사용한 Fleiss' $\kappa$로 정량화되었습니다. 이 지표는 다섯 명의 평가자가 모두 유효한 라벨을 반환한 프롬프트 하위 집합 (2,488 개) 에 대해 계산되었습니다.

3. 주요 기여

주요 기여는 코드 안전성 연구를 위한 표준화되고 검증된 기반으로서 기능하는 합의 라벨링 프롬프트 뱅크의 공개입니다.

• 코드 안전성 뱅크: 1,554 개의 합의-CODE 프롬프트(1,551 개의 고유 프롬프트 문자열을 나타냄) 로 구성된 데이터셋입니다. 이 집합은 실행 가능한 악성 소프트웨어에 대한 요청을 분리합니다.
• 지식 비교 집합: 동반 연구에서 피험자 내 비교에 사용되는 388 개의 합의-KNOWLEDGE 프롬프트 집합 (전적으로 harmful_behaviors 소스에서 유래됨).
• 검증: 데이터셋에는 개별 평가자 라벨, 일치 계층 (예: 5/5, 4/5), 및 소스 분류 범주 (27 가지 악성코드 카테고리) 를 포함한 프롬프트별 메타데이터가 포함되어 있습니다.
• 개방형 과학: 통합 코드, 합의 라벨, 및 신뢰도 통계는 MIT 라이선스로 GitHub 에서 공개되었습니다. 프롬프트 텍스트는 이중 사용 위험을 완화하면서 진정한 연구를 가능하게 하기 위해 Hugging Face 에서 게이트드 액세스 데이터셋으로 제공됩니다.

4. 결과

4.1 필터링 캐스케이드

파이프라인은 17,175 개의 원시 소스 프롬프트를 최종 산출물로 축소했습니다:

• 사전 필터링: 풀을 3,133 개의 후보로 축소.
• 합의: 1,618 개의 프롬프트가 CODE 로, 1,515 개가 KNOWLEDGE 로 라벨링됨.
• 최종 산출물: 길이 및 메타데이터 품질 통과 후, 1,554 개의 CODE 프롬프트와 388 개의 KNOWLEDGE 프롬프트가 공개됨.

4.2 평가자 간 신뢰도

• 전체 일치: 다섯 명의 평가자는 Landis & Koch 관례에 따라 **"거의 완벽"**에 해당하는 Fleiss' $\kappa$ 0.876 [95% CI: 0.862, 0.888] 의 일치를 달성했습니다.
• 만장일치: 3,133 개의 프롬프트 중 69.3%(2,170 개) 가 만장일치 5/5 일치를 받았습니다.
• 영 (0) 모호성: 3,133 개의 모든 프롬프트가 5 명 중 3 명 임계값에 도달했으며, 모호한 이유로 제외된 프롬프트는 하나도 없었습니다.
• 소스별 신뢰도:
  • MalwareBench: $\kappa = 1.000$ (완벽한 일치).
  • harmful_behaviors: $\kappa = 0.942$ ("거의 완벽").
  • CySecBench: $\kappa = 0.775$ ("상당함"), 이 소스에서 더 높은 경계 모호성을 반영함.
  • RMCBench: $\kappa \approx 0.001$ (모든 프롬프트가 CODE 였기 때문에 변이가 부족하여 발생하는 퇴화 사례).
• 쌍별 일치: 평가자 간 모든 10 개의 쌍별 비교가 "상당함" 임계값 ($\kappa \ge 0.61$) 을 초과했으며, 10 쌍 중 "거의 완벽" ($\kappa \ge 0.81$) 을 초과했습니다.

4.3 평가자 성과

• 오류율: 오류율은 모델에 따라 크게 달랐습니다 (GLM-5 는 1 개 오류에서 Gemini 3 Flash 는 430 개까지). 그러나 5 명 중 3 명 합의 규칙은 이러한 오류를 성공적으로 수용하여 데이터셋 전체에서 0 개의 합의 오류를 발생시켰습니다.
• 코드 전문 대 범용: 코드 전문 평가자 (GPT-5.3-Codex, Qwen3-Coder-Next) 는 범용 평가자보다 평균적으로 약간 더 높은 CODE 수를 생성하여, 코드 튜닝된 사전 훈련이 실행 가능한 요청과 기술적 요청을 구분하는 데 도움이 된다는 가설을 지지했습니다.

5. 의의 및 주장

본 논문은 통합된 벤치마크 전반에 걸쳐 실행 가능한 무기 요청과 유해한 지식 요청을 명시적으로 분리하는 첫 번째 다수 평가자 합의 검증 프롬프트 뱅크를 제공한다고 겸손하게 주장합니다.

• 방법론적 해결: 이 작업은 이전 악성 코드 생성 문헌을 혼란스럽게 했던 서로 다른 요청 유형의 혼동을 해결합니다. 실행 가능한 코드 요청을 분리함으로써 코드 안전성 평가가 포착하려는 특정 구성을 더 정확하게 측정할 수 있게 합니다.
• 표준화: 이 산출물은 하류 연구가 필터링 논리를 독립적으로 재구성하는 대신 표준화되고 신뢰도가 문서화된 기반을 채택할 수 있게 합니다. 이는 보고된 거부율의 관찰되지 않은 변이를 줄이고 재현 가능한 모델 간 비교를 지원합니다.
• 기여 범위: 논문은 "무기 대 지식" 축이 실제로 모델 행동을 분리하는지 여부는 동반 벤치마크 연구에 맡겨진 경험적 질문이라고 명시적으로 밝힙니다. 현재의 기여는 모델의 행동 결과가 아닌 산출물 자체와 분류 축의 검증입니다.
• 윤리적 입장: 이 데이터셋은 방어적 연구 (거부 측정, 안전성 정렬, 및 해석 가능성) 를 위해 고안되었습니다. 저자들은 새로운 악성코드가 생성되지 않았으며, 산출물이 공격을 실행하는 데 사용되는 것을 방지하기 위해 이중 사용 완화 프레임워크 (게이트드 액세스) 를 따랐음을 강조합니다.