RedBench: A Universal Dataset for Comprehensive Red Teaming of Large Language Models

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 이 의료, 법률 등 안전이 중요한 분야에 통합됨에 따라, 적대적 프롬프트 (Adversarial Prompts) 에 대한 견고성 확보가 시급해졌습니다. 그러나 기존 연구와 데이터셋은 다음과 같은 한계를 가지고 있어 체계적인 취약점 평가가 어렵습니다.

• 일관성 부재: 위험 카테고리 (Risk Categories) 정의가 불일치하고, 레이블이 중복되거나 모호합니다.
• 제한된 범위: 특정 도메인 (예: 해킹, 폭력) 에 치우쳐 있어 다양한 실제 배포 시나리오를 포괄하지 못합니다.
• 구식 평가: 최신 SOTA(State-of-the-Art) 모델 (Qwen2.5, Llama 3.1, Gemma 2 등) 에 대한 평가 기준이 부족하며, 주로 구형 아키텍처에 초점을 맞춥니다.
• 편향된 평가: 공격 (Attack) 프롬프트와 거부 (Refusal) 프롬프트를 통합적으로 다루지 못해, 모델의 과방어 (Over-refusal) 문제와 취약점을 동시에 분석하기 어렵습니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 구성

저자들은 RedBench 를 구축하기 위해 NeurIPS, ACL, ICML, ICLR 등 주요 컨퍼런스와 arXiv 의 37 개 벤치마크 데이터셋을 통합했습니다.

• 총 샘플 수: 29,362 개
• 구성:
  • 공격 (Attack): 33 개 데이터셋 (유해한 응답을 유도하는 프롬프트).
  • 거부 (Refusal): 4 개 데이터셋 (합법적인 프롬프트를 불필요하게 거부하는지 평가).

2.2 표준화된 분류 체계 (Taxonomy)

데이터의 일관성을 확보하기 위해 29,362 개 샘플 모두에 대해 두 가지 차원의 레이블을 부여하는 표준 분류 체계를 도입했습니다.

• 위험 카테고리 (Risk Categories): 22 가지 (예: 학대적 콘텐츠, 사이버 보안 위협, 범죄 콘텐츠, 편향, 허위 정보 등).
• 도메인 (Domains): 19 가지 (예: 의료, 금융, 정치, 기술, 군사, 환경 등).
• 주석 과정 (Annotation): Qwen2.5-72B-Instruct 모델을 활용한 반자동 파이프라인을 구축하고, 인간 어노테이터의 검증을 통해 정확도를 높였습니다. (도메인 분류 일치율 97.73%, 위험 카테고리 일치율 84.68%).

2.3 실험 설정

• 평가 대상 모델: 6 가지 안전 정렬 (Safety-aligned) LLM (Llama-3.1-8B, Gemma-2-9B, Qwen2.5-7B, Ministral-8B, GPT-4o-Mini, GPT-4.1-Nano).
• 평가 지표:
  • 공격: 공격 성공률 (ASR, Attack Success Rate). 유해한 응답을 유도한 비율.
  • 거부: 거부율 (RR, Rejection Rate). 합법적인 프롬프트를 잘못 거부한 비율.
• 적대적 생성 방법: Direct, ZeroShot, HumanJailbreak, RainbowPlus(적응형 품질 - 다양성 탐색) 등 4 가지 방법을 적용.

3. 주요 기여 (Key Contributions)

1. RedBench 데이터셋: 37 개의 기존 데이터셋을 통합하고 22 가지 위험 카테고리 및 19 가지 도메인으로 표준화한 최초의 범용 (Universal) 적색팀링 (Red Teaming) 데이터셋.
2. 포괄적 분석: 기존 데이터셋의 편향 (예: '일반 지식'과 '기술' 도메인 과대표, '선거 개입' 등 특정 위험의 부재) 을 정량적으로 분석하고 향후 연구 방향 제시.
3. 최신 모델 베이스라인: 최신 LLM 들의 적대적 프롬프트에 대한 취약점과 과방어 경향을 평가한 벤치마크 결과 제공.
4. 오픈소스 리소스: 데이터셋과 평가 코드를 공개하여 투명성과 재현성을 보장.

4. 실험 결과 (Results)

4.1 거부 (Refusal) 평가 결과

• 과방어 (Over-refusal) 현상: 모델 간 거부율 편차가 큽니다.
  • Llama-3.1-8B-Instruct: 평균 거부율 28.53% 로 가장 높게 나타났으며, 특히 '일반 지식' 도메인에서 합법적인 요청을 과도하게 차단하는 경향이 있었습니다.
  • Gemma-2-9B-It: 평균 거부율 13.46% 로 가장 낮아 사용성은 높으나 안전 장벽이 약할 수 있음을 시사합니다.
  • GPT-4.1-Nano: ORBench 데이터셋에서 35.18% 의 높은 거부율을 보여 데이터셋별 프롬프트 설계의 영향을 받음을 보였습니다.

4.2 공격 (Attack) 평가 결과

• 모델별 취약성: 오픈소스 모델이 폐쇄형 모델보다 훨씬 취약했습니다.
  • Ministral-8B-Instruct-2410: RainbowPlus 방법에서 **97.81%**의 ASR 을 기록하여 거의 모든 공격에 취약했습니다.
  • Llama-3.1-8B-Instruct: RainbowPlus 기준 96.25% ASR.
  • 폐쇄형 모델 (GPT-4.1-Nano 등): RainbowPlus 기준 6.88% ASR 로 강력한 방어 능력을 보였습니다.
• 적대적 방법의 효과:
  • RainbowPlus: 오픈소스 및 폐쇄형 모델 모두에서 가장 효과적이었으며, 다양한 위험 카테고리 (경제적 해악, 극단주의 등) 와 도메인 (환경, 영양) 에서 높은 성공률을 보였습니다.
  • HumanJailbreak: 오픈소스 모델에는 효과적이었으나 (90% 이상), 폐쇄형 모델에는 거의 통하지 않았습니다.

4.3 도메인 및 위험 카테고리별 편향

• 과대표: '학대적 콘텐츠 (Abusive Content)', '사이버 보안 위협', '일반 지식', '기술' 도메인이 데이터의 대부분을 차지합니다.
• 부족: '허위 정보 (Confabulation, 71 개)', '선거 개입 (158 개)', '종교', '여행' 도메인은 샘플 수가 매우 적어 평가의 공백이 존재합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 표준화된 평가 프레임워크: RedBench 는 서로 다른 연구 간의 비교를 가능하게 하며, LLM 안전성 평가의 일관성을 확립합니다.
• 안전과 사용성의 트레이드오프: 고수준의 안전성 (낮은 ASR) 을 가진 폐쇄형 모델은 사용성 (높은 거부율) 을 희생할 수 있으며, 오픈소스 모델은 안전성 측면에서 여전히 개선이 필요함을 보여줍니다.
• 향후 연구 방향: 특정 도메인 (의료, 금융, 환경) 과 위험 카테고리 (선거 개입, 허위 정보) 에 대한 데이터 확장이 시급하며, RainbowPlus 와 같은 고급 적색팀링 기법에 대한 대응책 연구가 필요합니다.
• 실용적 가치: RedBench 는 의료, 법률 등 안전이 중요한 분야에서 LLM 을 신뢰할 수 있게 배포하기 위한 필수적인 도구로 작용할 것입니다.

이 논문은 LLM 의 안전성 평가가 단순한 공격 성공률 측정을 넘어, 다양한 도메인과 위험 유형을 포괄하는 체계적인 접근이 필요함을 강조하며, 이를 위한 강력한 인프라 (RedBench) 를 제시했다는 점에서 의의가 큽니다.