기술 요약: Talk is (Not) Cheap: LLM 공격에 대한 분류 체계 및 벤치마크 커버리지 감사

문제 제기

대형 언어 모델 (LLM) 보안 연구의 급속한 확산은 위협 표면이 제대로 이해되지 않고 평가 인프라가 실제 위험과 정렬되지 않은 분열된 환경을 조성했습니다. 저자들은 세 가지 상호 연결된 문제를 식별했습니다:

1. 정량적 분류 체계의 부재: 기존 조사들은 수동으로 50~150 편의 논문만을 다루어 해당 분야의 성장 (저자들의 코퍼스에는 932 편의 고유 논문과 6,300 건 이상의 공격 언급이 존재) 에 따라 확장되지 못했습니다.
2. 명명 분열: 공격들이 미세한 변형으로 자주 재발견되어 동일한 기법에 대해 여러 표면적 이름이 사용되고 있습니다 (예: GCG 공격은 376 편의 논문에서 29 개의 서로 다른 이름으로 나타남). 이는 재현성과 메타 분석을 방해합니다.
3. 평가의 맹점: 현재 벤치마크들은 '외적 타당성'이 부족합니다. 개별 벤치마크는 내부적으로 일관될 수 있으나, 집단적 평가 인프라가 전체 공격 표면을 포괄하는지는 명확하지 않습니다. 위협 환경에 대한 명확한 지도가 없으면 방어 프레임워크는 정의되지 않은 정도로 사용자를 취약하게 만들 수 있습니다.

방법론

저자들은 실제 위협 표면에 대한 LLM 공격 벤치마크의 커버리지를 감사하기 위해 데이터 기반의 프레임워크를 구축했습니다.

코퍼스 및 추출

• 데이터 소스: 2023 년 상반기부터 2026 년 상반기까지 발표된 932 편의 arXiv 논문으로 구성된 코퍼스로, Promptfoo LLM 보안 데이터베이스에서 출처를 확보했습니다.
• 추출 파이프라인: 추론 시간 공격 (데이터 중독과 같은 학습 단계 공격 제외) 을 추출하기 위해 Gemini 3.1 Pro 를 활용했습니다. 이 과정을 통해 초기 6,366 건의 공격 언급이 도출되었습니다.
• 정규화: 대소문자 정규화, 별칭 병합, 중복 제거를 통해 언급을 2,521 개의 고유 공격 그룹으로 축소했습니다. 이 과정에는 명명 분열을 해결하기 위해 50 개 이상의 변형 클러스터에 대한 수동 큐레이션이 포함되었습니다.
• 검증: 3 단계 분류 체계 (직접 조회, 퍼지 매칭, 의미론적 매칭) 가 사용되었습니다. 200 개의 층화 표본에 대한 인간 평가는 92.0% 의 정확도를 보였으며, 행렬 셀 수준의 평가자 간 일치도는 86.1% 였습니다.

분류 체계 및 행렬 구성

저자들은 두 가지 상호 보완적인 구조를 개발했습니다:

1. 507 개의 리프 (Leaf) 를 가진 분류 체계: 공격을 5 가지 추론 시간 카테고리 (탈옥, 프롬프트 인젝션, 정보 유출, 서비스 중단, 디코딩 조작) 와 공격 생성 방법을 위한 1 개의 직교 카테고리로 조직화하는 계층적 구조입니다. 401 개의 리프는 코퍼스로 채워졌으며, 106 개의 리프는 위협 모델링에서 파생된 자리 표시자입니다.
2. 4×6 대상 × 기법 행렬: STRIDE 위협 모델에 기반한 이 행렬은 공격을 다음과 같이 매핑합니다:
   • 대상 행 (4 개): 안전성 및 정렬 우회, 시스템 및 도구 장악, 정보 유출, 서비스 중단.
   • 기법 열 (6 개): 지시적, 설득적, 은폐, 크로스-모달, 간접 인젝션, 모델 내부.
   • 분류 논리: 공격은 우회하는 특정 방어 계층 (예: 입력 필터 대 정렬 학습) 과 적대적 목표에 따라 셀에 매핑됩니다.

벤치마크 커버리지 감사

저자들은 평가된 방법들을 해당 분류 체계의 리프와 행렬 셀에 매칭시킴으로써 6 개의 공개 벤치마크 (HarmBench, InjecAgent, AgentDojo, AdvBench, JailbreakBench, StrongREJECT) 를 행렬에 매핑했습니다.

주요 결과

1. 극심한 집중과 분열

• 연구 불균형: 안전성 및 정렬 우회가 문헌을 지배하여 모든 분류 체계 리프의 74.4%(377/507) 를 차지합니다.
• 명명 혼란: GCG 공격은 가장 많이 언급되지만 일관되지 않게 명명되어 29 가지 형태로 나타납니다. 60 개의 분류 체계 리프는 각각 10 개 이상의 서로 다른 기법을 흡수하는 '캐치올 (catch-all)' 역할을 하여 겉보기 신규성을 과장하고 비교를 복잡하게 만듭니다.
• 시간적 추세: 안전성 우회가 여전히 지배적이지만, 2023 년 하반기에서 2026 년 상반기 사이 고유 공격 그룹 중 그 비중은 92% 에서 74% 로 감소했으며, 이에 상응하여 시스템 장악과 정보 유출이 증가했습니다. 그러나 신규성 비율은 약 18% 로 안정화되어 해당 분야가 성숙해지고 있지만 여전히 확장 중임을 시사합니다.

2. 치명적인 평가 격차

감사 결과, 세 가지 주요 벤치마크 (HarmBench, InjecAgent, AgentDojo) 는 서로 겹치지 않는 셀을 차지하며, collectively 최대 24 개 셀 행렬의 25% 만을 커버하는 것으로 나타났습니다.

• 중첩 없음: HarmBench 는 은폐, 설득, 지시적, 크로스-모달 기법을 사용하여 안전성 우회에만 집중하는 반면, InjecAgent 와 AgentDojo 는 시스템 장악과 정보 유출을 위한 간접 인젝션에 집중합니다.
• 주요 맹점:
  • 서비스 중단 (전체 행): 가용성을 목표로 하는 공격 (예: 자원 고갈, 지갑 거부) 을 평가하는 벤치마크는 없습니다. 46 배 토큰 증폭과 100 배 지연 시간 증가를 달성한 공개된 공격들이 있음에도 불구하고, 이 카테고리는 표준화된 평가가 전혀 없습니다.
  • 모델 내부 (전체 열): 활성화 제어, 로그트 억제, 사이드 채널 프로빙과 같은 메커니즘을 평가하는 벤치마크는 없습니다. 이 카테고리의 공격들 (예: 로그트 억제) 은 표준 행동에 대해 96% 의 공격 성공률을 보였음에도 기존 인프라에서 테스트되지 않았습니다.
  • 안전성 우회 × 간접 인젝션: 외부 데이터를 통한 간접 인젝션이 안전성 정렬을 우회하여 유해한 콘텐츠를 생성할 수 있는지 테스트하는 벤치마크는 없습니다.

3. 구조적 특성

이 논문은 해당 분야가 '데이터셋 불일치'(기법 공간에서 너무 좁게 표본을 추출하는 벤치마크) 와 '지표 불일치'(특정 공격에 필요한 비용, 지연 시간, 화이트박스 접근에 대한 지표 부재) 로 고통받고 있음을 식별합니다. 안전성 우회에 대한 연구 집중은 생산 환경에서 공격이 가장 비용이 많이 드는 곳에서 체계적인 맹점을 만듭니다.

중요성 및 주장

이 논문의 주요 기여는 단순히 격차를 발견하는 것이 아니라, 벤치마크 외부 검증을 위한 재사용 가능한 프레임워크를 제공한다는 점입니다. 단일 벤치마크가 주장하는 것을 측정하는지 평가하는 것 (내적 타당성) 에서 분야 평가 인프라가 collectively 위협 표면을 포괄하는지 감사하는 것 (외적 타당성) 으로 전환함으로써, 저자들은 시간에 따른 평가 격차를 추적할 수 있는 메커니즘을 제공합니다.

저자들은 다음과 같이 주장합니다:

• 현재 평가 환경은 구조적으로 불완전하여 전체 STRIDE 위협 카테고리 (서비스 중단, 모델 내부) 가 표준화된 공개 평가 없이 남아 있습니다.
• 공개된 분류 체계, 공격 기록, 커버리지 매핑은 확장 가능한 산물 (artifacts) 로서 기능합니다. 새로운 벤치마크가 등장하면 동일한 행렬에 매핑할 수 있어 커뮤니티가 커버리지 격차가 해소되고 있는지 객관적으로 판단할 수 있습니다.
• 이러한 격차를 해소하려면 현재 프롬프트 수준 벤치마크가 제공할 수 없는 새로운 측정 인프라 (예: 서비스 중단을 위한 요청 단위 자원 회계) 가 필요합니다.

이 연구는 벤치마크가 공격 표면의 좁은 조각에 집중하는 것이 우연이 아닌 구조적 문제이며, 이러한 격차를 해소하는 것이 LLM 보안 평가의 성숙에 필수적이라고 결론지었습니다.