기술 요약: 코딩 LLM 및 코드 에이전트에서의 거절 평가

문제 제기

악성 코드 생성 작업에 대한 대규모 언어 모델 (LLM) 의 거절 평가는 최소 13 개의 공개된 프롬프트 코퍼스 (예: AdvBench, CyberSecEval, RMCBench, RedCode, MOCHA, ASTRA, JAWS-Bench) 로 분열되어 있습니다. 이러한 데이터셋은 상이한 프로토콜 하에 구축되었으며, 서로 다른 라이선스 조건을 활용하고 있으며, 표준화된 평가자 간 신뢰도 (IRR) 검증을 결여하고 있습니다. 기존 문헌은 "거절 평가"(모델이 악성 코드 요청을 거절하는가?) 와 "취약점 평가"(모델이 합법적인 요청 시 버그가 있는 코드를 생성하는가?) 를 혼동하거나, 프롬프트 코퍼스를 광범위한 보안 분류 체계의 부수적 맥락으로만 취급합니다. 결과적으로, 이러한 코퍼스 간에 보고된 거절률 통계는 직접 비교할 수 없습니다. 프롬프트 구성, 모달리티 (단일 턴 대 다중 턴 대 에이전트), 그리고 라벨링 프로토콜 (인간 대 자동화 대 LLM 판사) 의 차이로 인해 동등하지 않은 구성 요소를 측정하기 때문입니다. 멀웨어 카테고리에 대한 정형화된 스키마는 존재하지 않으며, 하류 연구자들은 새로운 연구마다 포함 기준을 처음부터 재구성해야 합니다.

방법론

본 논문은 13 개의 대상 코퍼스를 주요 분석 단위로 삼아 PRISMA 스타일의 체계적 검토 프로토콜을 적용합니다.

• 검색 전략: arXiv, Google Scholar, ACL, IEEE, ACM 을 통한 다중 엔진 검색과 주요 진입점 코퍼스에서 시작하는 스노우볼 백-인용 추적을 결합합니다.
• 포함 기준: 코딩 LLM 이나 코드 인터프리터 에이전트를 대상으로 하거나, 프롬프트 코퍼스를 공개적으로 출시 (또는 상세히 기술) 하며, 실행 가능한 악성 코드 요청에 대한 거절을 평가하는 코퍼스여야 합니다.
• 제외 기준: 취약점 탐지 벤치마크 (역방향 작업), 일반 능력 벤치마크 (예: HumanEval), 코딩이 아닌 지옥 탈출 (jailbreak), 그리고 지식 추출형 객관식 문제 (예: WMDP) 는 제외되었습니다.
• 추출 과정: 각 코퍼스의 주요 논문 및 출시 산출물에 대해 통일된 추출 템플릿을 적용했습니다. 필드에는 구축 방법론, 프롬프트 수, 모달리티, 멀웨어 분류 체계, 대상 모델 패널, 보고된 거절률, IRR 통계, 그리고 라이선스/접근 정책이 포함되었습니다. 새로운 실증 측정이나 재라벨링은 수행되지 않았으며, 검토는 출시된 메타데이터를 종합합니다.

주요 기여

본 논문은 분산된 벤치마크의 집합에서 구조화되고 비교 가능한 풍경으로 분야를 재정의하는 네 가지 종합 산출물을 생산합니다:

1. 코퍼스 간 방법론 비교: 13 개 코퍼스에 대한 10 가지 비교 축을 추출한 종합 표 (표 1) 입니다. 이는 구축 전략이 순수한 수작업에서 LLM 생성 합성 및 오라클 기반 에이전트 루프에 이르기까지 다양함을 보여줍니다. 특히, 13 개 코퍼스 중 단 한 개도 거절 라벨에 대한 Fleiss' $\kappa$ 스타일의 평가자 간 신뢰도 통계를 보고하지 않았음을 문서화합니다.
2. 프롬프트 구축 분류 체계: 코퍼스가 악성 코드를 유도하는 방식을 특징짓는 3 축 프레임워크 (모달리티, 턴 구조, 유도 스타일) 입니다.
   • 모달리티: 텍스트-투-코드, 코드-투-코드, 다중 턴, 에이전트, 그리고 인터프리터.
   • 턴 구조: 단일 턴, 다중 턴, 또는 에이전트 궤적.
   • 유도 스타일: 직접적, 지옥 탈출 장식이 있는, 또는 간접적/합법적으로 보이는.
   • 이 분류 체계는 설계 공간의 "빈 셀"(예: 지옥 탈출 장식이 있는 다중 턴 프롬프트) 을 시각화하여 현재 평가 커버리지의 구조적 공백을 강조합니다.
3. 재현성 및 라이선스 풍경: 배포 장소, 라이선스, 그리고 접근 정책을 catalog 한 목록 (표 2) 입니다. 대부분의 코퍼스가 오픈 액세스인 반면, 5 개는 랜딩 페이지에 명시적인 라이선스 진술이 없으며, 실행 가능한 멀웨어 페이로드를 포함하고 있음에도 불구하고 어떤 코퍼스도 삭제 정책이나 책임 있는 공개 연락처를 문서화하지 않았음을 발견합니다.
4. 멀웨어 카테고리 커버리지 맵: 모든 코퍼스 분류 체계의 합집합에서 파생된 통합된 22 개 카테고리 온톨로지입니다. 이 맵은 잘 커버된 카테고리 (예: 트로이 목마, 랜섬웨어, 피싱) 와 과소 대표된 영역, 특히 펌웨어 익스플로잇, 하드웨어/사이드 채널 공격, IoT/임베디드 공격, 그리고 공급망 공격을 식별합니다.

주요 결과

• 신뢰도 지표의 균일한 부재: 13 개 코퍼스 전반에 걸쳐 거절 라벨에 대한 평가자 간 신뢰도 (예: Fleiss' $\kappa$) 보고가 없습니다. 라벨은 저자만의 할당, 상위 출처, 또는 인간 주석가 기준 보정 없이 자동화된 분류기를 통해 도출됩니다.
• 구성 불일치: 프롬프트 분포 (예: 수작업 시드 대 LLM 재문장) 와 유도 스타일 (직접적 대 지옥 탈출 대 간접적) 이 다르기 때문에 코퍼스 간 거절률은 비교할 수 없습니다.
• 거버넌스 공백: 조사된 코퍼스 중 어느 것도 게이트드 액세스, 등록 연구자 검토, 또는 문서화된 삭제 정책을 구현하지 않습니다. 5 개 코퍼스는 프리프린트 단계에서 명시적인 라이선스 조건 없이 배포됩니다.
• 분류 체계 분열: 정형화된 멀웨어 스키마는 존재하지 않습니다. 기존 분류 체계 (MITRE 유래, 기능적 가족, 공격 유형) 가 서로 깔끔하게 매핑되지 않기 때문에, 코퍼스 간 비교를 가능하게 하기 위해 검토는 22 개 카테고리 합집합 온톨로지를 구축해야 했습니다.
• 커버리지 불균형: 일반적인 멀웨어 유형은 포화 상태이지만, 펌웨어 익스플로잇 및 공급망 공격과 같은 중요한 신흥 벡터는 과소 대표되어 있으며, 종종 한두 개의 코퍼스로만 커버됩니다.

중요성 및 주장

본 논문은 코드 보안이나 지옥 탈출 분류 체계의 부수적 맥락으로 취급하는 대신, 악성 코드 프롬프트 코퍼스 자체를 분석 단위로 삼는 최초의 체계적 검토임을 주장합니다. 그 중요성은 다음과 같습니다:

• 분야 감사: 코퍼스 출시의 빠른 속도가 유효한 비교에 필요한 방법론적 발판보다 앞서 나가고 있음을 폭로합니다.
• 기준선 제공: 향후 연구자들이 선택 결정을 감사하고 데이터셋을 비교할 수 있는 구조화된 어휘 (분류 체계) 와 통합된 온톨로지 (22 개 카테고리) 를 제공합니다.
• 방법론적 기대치 정의: 포함 기준의 사전 등록, 벤더가 다양한 다중 판사 라벨 검증, 부트스트랩 신뢰 구간을 포함한 Fleiss' $\kappa$ 보고, 그리고 정형화된 멀웨어 분류 체계의 채택을 포함한 차세대 코퍼스 구축을 위한 체크리스트를 제안합니다.
• 향후 작업: 저자들은 공통 다중 판사 프로토콜을 사용한 13 개 코퍼스에 대한 평가자 간 신뢰도의 균일한 실증 재평가를 필수적인 다음 단계로 식별하며, 이는 향후 작업으로 이월됩니다.

이 검토는 분야가 풍부한 평가 산출물을 생성했지만, 표준화된 신뢰도 보고, 라이선스 거버넌스, 그리고 분류 체계 정렬의 부재로 인해 현재 LLM 안전성을 위한 일관되고 해석 가능한 지표로 거절률 통계를 집계하는 것이 불가능하다고 결론 내립니다.