SecLens: 보안 취약점 탐지를 위한 LLM 역할별 평가 프레임워크 기술 요약

이 논문은 대규모 언어 모델 (LLM) 기반 보안 취약점 탐지 성능을 평가할 때, 기존의 단일 점수 (Aggregate Score) 방식이 조직 내 다양한 이해관계자의 상충되는 요구사항을 반영하지 못한다는 문제를 지적하고, 이를 해결하기 위한 SecLens-R이라는 새로운 다중 이해관계자 평가 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

기존의 LLM 보안 벤치마크 (CyberSecEval, PrimeVul, SEC-bench 등) 는 모델의 복잡한 성능 프로파일을 하나의 숫자로 축소합니다. 그러나 조직 내 다른 직책은 서로 다른 우선순위를 가집니다.

• CISO (최고정보보안책임자): 치명적 취약점의 누락 (False Negative) 을 최소화하고 중대성 (Severity) 을 고려한 재현율 (Recall) 을 최우선으로 합니다.
• Head of Engineering (엔지니어링 책임자): 개발자 신뢰를 해치는 오탐지 (False Positive) 를 줄이고, 처리 속도 및 비용 효율성을 중시합니다.
• CAIO (최고인공지능책임자): 비용 대비 성능 (MCC-per-dollar) 과 자율적 실행 능력을 평가합니다.
• Security Researcher: 취약점의 기계적 이해도, 증거 체인, 그리고 CWE 분류 정확도를 요구합니다.

단일 벤치마크 점수는 이러한 상반된 요구사항을 모두 충족시키는 '최적의 모델'을 선택하는 데 실패하며, 동일한 모델이라도 평가자의 역할에 따라 성능 인식이 극명하게 달라질 수 있음을 보여줍니다.

2. 방법론 (Methodology)

2.1 SecLens-R 프레임워크 구조

SecLens-R 은 7 가지 측정 카테고리 (Category) 에 속한 **35 개의 공유 평가 차원 (Dimensions)**을 기반으로 하며, 이를 5 가지 역할별 가중치 프로파일로 적용합니다.

• 평가 차원 (35 개, 7 카테고리):

  • 탐지 (Detection): MCC, 재현율, 정밀도, F1, CWE 정확도, 위치 정확도 등.
  • 커버리지 (Coverage): CWE 및 언어별 일관성, SAST 오탐지 필터링 등.
  • 추론 (Reasoning): 증거 완성도, 추론 존재 여부 등.
  • 운영 효율성 (Efficiency): 작업당 비용, 처리량, 토큰 사용량 등.
  • 도구 사용 (Tool-Use): 도구 호출 수, 탐색 효율성 등.
  • 위험 및 중대성 (Risk & Severity): 중대성 가중 재현율, 치명적 누락률 등.
  • 강건성 (Robustness): 파싱 성공률, 형식 준수, 오류 처리, 자율적 완료 등.

• 역할별 가중치 프로파일 (5 가지 역할):
  각 역할은 35 개 차원 중 12~16 개를 선택하여 가중치를 부여하며, 총 가중치 합은 80으로 고정됩니다.

  • CISO: 탐지 (34 점) 와 위험/중대성 (18 점) 에 높은 가중치 부여.
  • Head of Engineering: 탐지 (35 점) 와 효율성 (22 점) 에 집중 (정밀도와 실행 가능한 발견률 중시).
  • Security Researcher: 탐지 (39 점) 와 추론 (21 점) 에 집중 (CWE 정확도 중시).
  • CAIO: 강건성, 효율성, 탐지, 도구 사용을 균형 있게 배분.
  • AI-as-Actor: 강건성 (36 점) 과 도구 사용 (18 점) 에 집중 (자율 운영 능력 평가).

2.2 평가 레이어 (Evaluation Layers)

SecLens 벤치마크를 기반으로 두 가지 레이어에서 평가를 수행합니다.

1. Code-in-Prompt (CIP): 취약한 코드를 프롬프트에 직접 제공하여 단일 스니펫 기반의 추론 능력을 평가.
2. Tool-Use (TU): 샌드박스로 된 리포지토리 복제본과 파일 읽기/검색 도구를 제공하여 실제 환경에서의 멀티턴 탐색 및 감사 능력을 평가.

2.3 점수 산정 (Scoring)

• Decision Score: 역할별 가중치와 차원별 정규화 점수 (01) 를 곱하여 합산한 후, 가용한 차원의 가중치 합으로 나누어 0100 점으로 변환합니다.
• 동적 차원 제외: 특정 평가 환경 (예: CIP 레이어) 에서 계산 불가능한 차원 (도구 사용 관련 등) 이 있을 경우, 분모를 자동으로 조정하여 점수 편향을 방지합니다.
• 등급 매기기: 75 점 이상 (A), 60 점 이상 (B), 50 점 이상 (C), 40 점 이상 (D), 40 점 미만 (F) 으로 등급을 매깁니다.

3. 주요 기여 (Key Contributions)

1. 다중 이해관계자 평가 프레임워크: 35 개의 공유 차원과 5 가지 역할별 가중치 프로파일을 도입하여, 단일 점수로는 알 수 없는 역할별 성능 차이를 정량화했습니다.
2. 동적 점수 산정 방식: 평가 환경에 따라 사용 불가능한 차원을 자동으로 제외하고 점수를 재계산하는 방법을 제시했습니다.
3. 실증적 검증: 12 개의 최첨단 모델 (Frontier Models) 을 93 개의 오픈소스 프로젝트, 10 개 프로그래밍 언어, 8 가지 OWASP 취약점 카테고리에 해당하는 406 개의 태스크로 평가했습니다.
4. 오픈소스 도구: SecLens-R 평가 파이프라인을 오픈소스로 공개하여 조직별 커스터마이징을 지원합니다.

4. 주요 결과 (Results)

4.1 역할별 점수 편차 (Role Divergence)

동일한 모델이라도 평가 역할에 따라 점수 차이가 최대 31 점까지 발생했습니다.

• Qwen3-Coder: Head of Engineering 관점에서는 **A (76.3 점)**를 받았으나, CISO 관점에서는 **D (45.2 점)**를 받았습니다. (높은 정밀도, 낮은 재현율 특성)
• GPT-5.4: Head of Engineering 관점에서는 **A (76.7 점)**였으나, CISO 관점에서는 **D (48.4 점)**였습니다.
• Claude Haiku 4.5: 전체 리더보드에서는 8 위였으나, CISO 관점에서는 2 위 (71.2 점) 를 기록했습니다.

4.2 역할별 선호 모델

• CISO: 재현율과 중대성 기반 탐지에 강한 Gemini 3 Flash Preview와 Claude Haiku 4.5가 선호되었습니다.
• Head of Engineering: 정밀도와 비용 효율성이 높은 GPT-5.4와 Qwen3-Coder 시리즈가 선호되었습니다.
• AI-as-Actor: 모든 모델이 A 등급을 받아, 현재 모델들의 파싱 및 형식 준수 능력은 이미 해결된 수준임을 시사했습니다.

4.3 비용 및 효율성

• GPT-5.4: 작업당 비용 ($0.007) 이 가장 낮았으며, 비용 대비 성능 (MCC/$) 이 가장 우수했습니다.
• Tool-Use (TU) 대 CIP: TU 평가는 CIP 대비 10~100 배 더 비쌌으며, 성능은 전반적으로 저하되었습니다. 특히 TU 환경에서는 엔지니어링 관점의 점수가 급격히 떨어졌습니다.

5. 의의 및 결론 (Significance)

이 연구는 **"보안 취약점 탐지를 위한 모델 선택은 단일 목적 함수 (Single-objective) 문제가 아니다"**라는 중요한 결론을 도출했습니다.

1. 리더보드 순위의 한계: 전체 리더보드 1 위 모델이 특정 조직 (예: CISO 가 있는 조직) 에서는 최악의 선택이 될 수 있음을 입증했습니다.
2. 역할 기반 의사결정: 조직은 자신의 우선순위 (예: 오탐지 최소화 vs 누락 최소화) 에 맞는 모델을 선택해야 하며, 이를 위해 SecLens-R 과 같은 역할별 평가가 필수적입니다.
3. 보안과 공학의 트레이드오프: 엔지니어링 팀이 선호하는 '고정밀도/저재현율' 모델은 CISO 가 원하는 '광범위한 탐지'와 상충됩니다.
4. 실무 적용 가능성: YAML 기반의 가중치 프로파일 구조를 통해 조직은 자체적인 위험 허용 범위와 운영 제약에 맞춰 평가 기준을 쉽게 커스터마이징할 수 있습니다.

결론적으로, SecLens-R 은 LLM 기반 보안 도구의 도입 결정 시, 단순한 성능 점수가 아닌 조직의 구체적인 역할과 목표에 부합하는 데이터 기반 의사결정을 가능하게 하는 핵심 프레임워크입니다.