기술 요약: 코드를 무기로서: 악성 코드 요청에 대한 코딩 모델의 준수성을 측정하기 위한 합의 라벨링 프롬프트 뱅크

문제 제기

이 논문은 AI 안전성에서 중요한 비대칭성을 다룹니다. 일반적인 목적의 언어 모델이 해로운 쿼리에 응답할 때는 텍스트를 반환하지만, 코딩 전문 모델이 동일한 의도에 따라 준수할 경우 실행 가능한 "무기"(예: 키로거, 랜섬웨어 드로퍼, 익스플로이트 페이로드) 를 생성할 수 있습니다. 악성 코드 거부를 측정하는 현재의 벤치마크는 실행 가능한 소프트웨어(CODE) 에 대한 요청과 해로운 보안 지식(KNOWLEDGE) 에 대한 요청을 구분하지 못합니다. 기존 코퍼라는 이러한 구별된 요청 유형을 혼합하여 단일 준수율 통계를 해석 불가능하게 만들고, 직접적인 코퍼스 간 비교를 방해합니다. 또한, 이전의 합의 라벨링 노력은 범위 (네 개의 코퍼스) 가 제한적이었으며 유료 상용 API 에 의존하여 재현성과 비용 효율적인 확장을 저해했습니다.

방법론

저자들은 합의 라벨링 프롬프트 뱅크의 v2를 제시하며, 범위를 네 개의 상류 코퍼스에서 여덟 개로 확장하고 평가 패널을 비용이 제로인 마진 비용, 오픈 가중치, 또는 무료 티어 모델을 활용할 수 있도록 갱신했습니다.

1. 코퍼스 확장

데이터셋 풀은 네 개의 새로운 공개된 코퍼스를 통합하여 3,133 개의 프롬프트 (v1) 에서 6,675 개의 프롬프트로 확장되었습니다:

• ASTRA: 자일브레이크로 장식된 단일 턴 텍스트 - 코드 요청이 포함된 1,995 개의 프롬프트.
• Scam2Prompt (Innoc2Scam-bench): 악성 의도를 무해한 개발자 요청으로 위장한 1,377 개의 간접 유도 프롬프트.
• JailbreakBench (코딩 하위 집합): 실행 가능한 코드 생성을 목표로 하는 10 개의 프롬프트.
• RedCode: 코드 인터프리터 에이전트 궤적을 목표로 하는 160 개의 프롬프트.
  v1 코퍼스 (RMCBench, MalwareBench, CySecBench, AdvBench/harmful_behaviors) 는 연속성을 보장하기 위해 새로운 패널 하에서 재분류되었습니다.

2. 판사 패널 및 프로토콜

OpenRouter 와 Ollama Cloud 를 통해 접근 가능하며 마진 API 비용이 제로인 다섯 개의 서로 다른 벤더 패밀리에서 선별된 5 인 판사 패널이 구성되었습니다:

• NVIDIA: Nemotron-3-Super (일반 목적)
• Alibaba: Qwen3-Coder-Next (코딩 전문)
• DeepSeek: DeepSeek-V4-Pro (일반 목적)
• OpenAI: GPT-OSS-120B (오픈 가중치, 일반 목적)
• Zhipu AI: GLM-5.1 (일반 목적)

분류 프로토콜:

• 템플릿: 실행 가능한 소프트웨어/무기에 대한 요청인 CODE와 텍스트 기반 정보/설명에 대한 요청인 KNOWLEDGE를 구분하는 이진 스키마. 템플릿은 편향을 방지하기 위해 v1 과 바이트 단위로 동일합니다.
• 합의 규칙: 5 명 중 3 명 이상의 다수결 규칙. 적어도 세 명의 판사가 동의하면 프롬프트는 CODE 또는 KNOWLEDGE 로 라벨링되며, 그렇지 않으면 AMBIGUOUS 로 라벨링됩니다.
• 신뢰도 지표: 모든 다섯 명의 판사가 유효한 라벨을 반환한 하위 집합 (6,552 개의 프롬프트) 에 대해 계산된 10,000 회 부트스트랩 95% 신뢰 구간을 가진 Fleiss' $\kappa$.

주요 기여

1. 확장된 합의 라벨링 뱅크

공개된 아티팩트는 다음을 포함합니다:

• 4,748 개의 합의-CODE 프롬프트 (v1 대비 3.1 배 확장).
• 1,923 개의 합의-KNOWLEDGE 프롬프트 (v1 대비 5.0 배 확장).
• 4 개의 AMBIGUOUS 프롬프트 (하류 재임계화를 위해 판사별 투표와 함께 공개됨).
  데이터셋은 악성 소프트웨어 생성 시스템을 훈련하는 데 데이터 사용을 금지하는 특정 제한 사항이 포함된 OpenRAIL++ 라이선스로 공개되었습니다.

2. 방법론적 발견

이 논문은 v2 구축에서 도출된 두 가지 중요한 방법론적 관찰을 문서화합니다:

• 높은 동의율과 낮은-$\kappa$ 역설: 합의가 99% 이상 CODE 인 네 개의 편향된 코퍼스 (ASTRA, MalwareBench, RedCode, RMCBench) 에서 Fleiss' $\kappa$는 높은 관찰 동의율 ($P_o$) 이 있음에도 불구하고 거의 0 또는 음수 값으로 퇴화합니다. 저자들은 이것이 기대되는 우연 일치 ($P_e$) 가 1.0 에 근접하는 Feinstein-Cicchetti 역설에 기인한다고 주장합니다. 결과적으로, 이 논문은 prevalence 가 혼합된 코퍼스에 대해서는 $\kappa$를 보고하고, prevalence 가 편향된 코퍼스에 대해서는 관찰 동의율 ($P_o$) 을 보고하는 이중 통계 보고 관례를 제안합니다.
• 공급자 측 콘텐츠 정책 거부: 한 명의 판사 (OpenRouter 의 OpenInference 공급자를 통해 라우팅된 GPT-OSS-120B) 는 프롬프트의 1.84%(총 123 개) 에서 결정적 HTTP 403 거부를 반환했는데, 이는 harmful_behaviors 코퍼스에 집중되어 있었습니다. 논문은 이를 모델이 프롬프트를 처리하기 전에 콘텐츠 필터를 적용하는 무료 티어 라우팅 공급자의 구조적 특성으로 식별합니다. 5 명 중 3 명 이상의 합의 규칙은 이러한 거부를 AMBIGUOUS 라벨을 생성하지 않고 성공적으로 흡수했지만, 저자들은 이를 패널을 재현하는 연구자들에게 중요한 요소로 지적합니다.

3. 패널 간 안정성

v2 패널 (오픈 가중치/무료 티어) 은 3,133 개의 중복 프롬프트에 대해 v1 패널 (유료 상용 API) 과 비교되었습니다. 패널은 합의 라벨에서 94.45% 의 동의율을 달성했으며, 이진 - 이진 하위 집합에서 Cohen's $\kappa$는 0.952(거의 완벽) 였습니다. 이는 비용이 제로인 패널이 공유 코퍼스에서 상용 패널의 견고한 대안이 될 수 있음을 검증합니다.

결과

• 전체 신뢰도: 전체 패널 하위 집합 (6,552 개의 프롬프트) 에서 Fleiss' $\kappa$는 0.767 [95% CI: 0.755, 0.777] 로, Landis-Koch 척도의 "상당함" 동의 밴드에 해당합니다.
• 코퍼스별 신뢰도:
  • Prevalence-Mixed: Scam2Prompt ($\kappa=0.768$), CySecBench ($\kappa=0.664$), harmful_behaviors ($\kappa=0.910$) 는 해석 가능한 동의를 보입니다.
  • Prevalence-Skewed: ASTRA, MalwareBench, RedCode, RMCBench 는 한계 분포의 퇴화로 인해 $\kappa$ 값이 0 에 가깝거나 음수이지만, 평균 관찰 동의율 ($P_o$) 은 0.850 에서 0.989 사이입니다.
• 판사 견고성: Leave-one-out 분석은 단일 판사가 패널을 지배하지 않음을 확인합니다. 가장 이질적인 판사 (Nemotron-3-Super) 를 제거하면 실제로 $\kappa$가 0.832 로 증가하여, 이 판사가 도입한 불일치가 노이즈가 아닌 의미 있는 경계 사례 작업임을 확인시켜 줍니다.
• 동의 단계: 프롬프트의 76.9% 가 만장일치인 5/5 동의를 달성했으며, 95.0% 가 적어도 4/5 동의를 달성했습니다.

중요성 및 주장

이 논문은 악성 코드 요청에 대한 코딩 모델의 준수성을 측정하기 위한 구성 - 안정적 기질을 제공한다고 주장합니다. 실행 가능한 소프트웨어 요청과 지식 요청을 명확히 구분함으로써, 이 뱅크는 이전의 혼합 코퍼스 벤치마크보다 더 정밀한 안전성 평가를 가능하게 합니다.

저자들은 이 작업을 기존 네 개 코퍼스 공개 [1] 의 확장 및 방법론적 정교화로 겸손하게 위치시키며, 근본적인 CODE 대 KNOWLEDGE 축의 재평가는 아닙니다. 주요 중요성은 다음과 같습니다:

1. 확장성 및 재현성: 비용이 제로인 마진 비용, 오픈 가중치 모델을 사용하여 높은 신뢰도의 합의 라벨링을 달성할 수 있음을 입증함으로써, 하류 연구자들의 재정적 장벽을 제거합니다.
2. 표준화: prevalence 가 편향된 코퍼스를 처리하기 위한 프로토콜 (이중 통계 보고) 을 확립하고, 무료 티어 판사 가용성에 영향을 미치는 공급자 측 필터링 행위를 문서화합니다.
3. 데이터 가용성: 이전에 직접 해석 불가능했던 코퍼스 간 비교를 가능하게 하는 훨씬 더 큰, 다중 판사, 신뢰도 정량화 데이터셋 (6,675 개의 프롬프트) 을 공개합니다.

이 논문은 v2 뱅크에 대한 대상 코딩 LLM 의 응답 방식이라는 행동적 질문에는 다루지 않는다고 명시적으로 밝히며, 그러한 평가는 별도의 하류 작업의 범위임을 지적합니다.