기술 요약: RACC: LLM 안전성 테스트를 위한 표현 인식 커버리지 기준

1. 문제 제기

대형 언어 모델 (LLM) 은 모델의 취약점을 악용해 유해한 콘텐츠를 생성하는 재일브 (jailbreak) 공격으로 인해 심각한 안전성 위험에 직면해 있습니다. 현재의 안전성 테스트는 주로 SafetyBench, SorryBench 와 같은 정적 오픈소스 데이터셋에 크게 의존하며, 테스트 스위트의 품질과 적절성을 평가할 수 있는 체계적인 기준이 부족합니다. 커버리지 기준은 뉴런 활성화를 모니터링함으로써 소형 심층 신경망 (DNN) 에서는 효과적임이 입증되었으나, LLM 에는 다음과 같은 두 가지 주요 이유로 적합하지 않습니다:

1. 확장성: 모든 레이어에 걸쳐 수십억 개의 뉴런을 프로파일링하는 계산 오버헤드는 LLM 에 있어 금지될 정도로 큽니다.
2. 목표 불일치: 전통적인 뉴런 수준의 기준은 모든 활성화를 동등하게 취급합니다. LLM 에서는 뉴런 활성화의 대다수가 안전성과 무관하거나 중복된 것입니다. 결과적으로 뉴런 수준의 지표는 의미 있는 안전 관련 프롬프트와 의미상 중복되거나 benign 한 입력을 구분하지 못해 커버리지 평가에 노이즈를 도입합니다.

LLM 에 확장 가능하고, 원시 활성화 통계가 아닌 안전성 관련 신호에 기반한 커버리지 기준이 시급히 필요합니다.

2. 방법론: RACC 프레임워크

저자들은 개별 뉴런 활성화에서 **안전 표현 (safety representations)**으로 커버리지 측정을 전환하는 RACC(Representation-Aware Coverage Criteria) 프레임워크를 제안합니다. 이는 모델의 숨겨진 상태 공간에서 특정 안전 개념을 인코딩하는 저차원 방향을 의미합니다.

2.1 핵심 설계 원칙

RACC 는 LLM 안전성 테스트에 맞춰진 세 가지 설계 원칙을 기반으로 합니다:

• 동의어 불감성: 의미상 유사한 프롬프트 (예: 재작성된 재일브) 가 커버리지 지표를 인위적으로 높여서는 안 됩니다.
• 유효성 불감성: benign 이거나 비적대적인 입력은 모델이 유해한 콘텐츠를 거부하는 능력을 테스트하는 것이 목표이므로 커버리지에 기여해서는 안 됩니다.
• 재일브 감수성: 지표는 유해한 행동을 성공적으로 유발하거나 안전성 핵심 개념을 활성화하는 프롬프트를 우선시해야 합니다.

2.2 기술 워크플로우

RACC 프레임워크는 세 단계로 운영됩니다:

1. 안전 표현 추출:

   • 특정 안전 카테고리를 대표하는 유해 프롬프트의 작은 **보정 세트 (calibration set)**를 선별합니다.
   • 모델의 중간 레이어에서 이러한 프롬프트에 대한 숨겨진 상태 활성화를 수집합니다.
   • 이러한 활성화에 **주성분 분석 (PCA)**을 적용하여 상위 $n$개의 주성분을 식별합니다. 이러한 성분들은 숨겨진 공간 내 안전 개념의 주요 방향을 나타내는 안전 표현을 형성합니다.

2. 개념 활성화 계산:

   • 임의의 입력 프롬프트에 대해 모델의 숨겨진 상태를 식별된 안전 표현에 투영합니다.
   • 이 투영의 크기를 개념 활성화 점수로 사용하여, 입력에 의해 유발된 특정 안전 개념의 강도를 정량화합니다.

3. 커버리지 계산:
   RACC 는 두 차원으로 나뉜 여섯 가지 하위 기준을 정의합니다:

   • 차원 I: 개별 개념 커버리지
     • 안전 기능 커버리지 (SFC): 적어도 하나의 프롬프트에 의해 임계값 이상 활성화된 안전 기능의 비율을 측정합니다.
     • Top-K 기능 커버리지 (TKFC): 적어도 하나의 프롬프트에 대해 가장 활발한 기능 상위 $k$개에 나타나는 안전 기능의 비율을 측정합니다.
     • 기능 강도 커버리지 (FIC): 활성화 크기를 빈 (bins) 으로 이산화하여 기능 전반에 걸친 활성화 강도의 다양성을 측정합니다.
   • 차원 II: 구성적 개념 커버리지
     • 의미 군집 커버리지 (SCC): 투영된 안전 벡터에 K-Means 클러스터링을 적용하여 테스트 스위트가 방문한 의미 모드의 다양성을 측정합니다.
     • 쌍대 개념 커버리지 (PCC): 안전 기능 쌍의 공존을 측정하여 개념 간의 상호작용을 포착합니다.
     • 군집 경계 커버리지 (CBC): 의미 군집 사이의 저밀도 영역에 위치한 프롬프트를 식별하여, 모델이 가장 취약한 모호한 안전 경계를 대상으로 합니다.

3. 주요 기여

• RACC 프레임워크: 뉴런 수준 지표의 한계를 해결하기 위해 LLM 안전성을 위해 설계된 확장 가능하고 표현 인식적인 커버리지 기준 제안.
• 여섯 가지 하위 기준: 원시 뉴런이 아닌 안전 표현에 기반하여 개별 개념 활성화와 구성적 상호작용을 모두 포괄하는 새로운 지표 세트.
• 실증적 검증: RACC 가 세 가지 설계 원칙 (동의어 불감성, 유효성 불감성, 재일브 감수성) 을 충족하고 기존 뉴런 수준 기준보다 우수함을 입증하는 포괄적인 실험.
• 실용적 응용: 테스트 스위트 우선순위 지정(중복/유효하지 않은 프롬프트 필터링) 및 공격 프롬프트 샘플링(다양하고 성공적인 재일브 선택) 에서 RACC 의 유용성 입증.
• 오픈 소스: 추가 연구를 촉진하기 위한 구현체 공개.

4. 실험 결과

저자들은 SorryBench 및 ORBench-Toxic 와 같은 벤치마크를 사용하여 세 가지 오픈소스 LLM(Vicuna-7B, Llama-2-7B, Qwen-2.5-7B) 에서 RACC 를 평가했습니다.

• 뉴런 수준 기준 대비 효과성:
  • RACC 지표는 재일브 공격(예: $S_{JA}$) 에 대해 높은 감수성을 보이며 상당한 커버리지 향상을 달성했습니다.
  • 중요한 점은 RACC 가 유효하지 않은 입력(benign 프롬프트) 과 중복된 의미(동의어) 에는 불감하게 유지되었다는 것입니다. 반면, 뉴런 수준 기준 (예: NC, TKNC) 은 benign 또는 동의어 프롬프트가 추가될 때 오해의 소지가 큰 커버리지 증가를 보이며 효과적인 안전 테스트와 노이즈를 구분하지 못했습니다.
• 위험 유형 다양성: 테스트 스위트 내 안전 위반 카테고리의 다양성이 증가함에 따라 RACC 지표는 단조롭게 증가한 반면, 뉴런 수준 지표는 정체되거나 무작위로 변동했습니다.
• 개념적 정렬: 보정 세트와의 의미적 중복도가 다양한 테스트 스위트가 구성되었을 때, 중복도가 감소함에 따라 RACC 점수가 엄격하게 감소하여, 이 지표가 일반적인 이상 현상이 아닌 특정 안전 개념을 측정함을 확인했습니다.
• 응용:
  • 우선순위 지정: RACC 기반 선택은 뉴런 수준 기준보다 유효한 후보를 훨씬 더 일찍 선별했습니다 (예: SorryBench 에서 AUC 0.667 대 0.340).
  • 샘플링: RACC 는 기준에 비해 성공적인 재일브와 다양한 공격 카테고리 발견을 가속화했습니다.
• 일반화: RACC 는 다양한 모델 크기 (13B 로 확장), 보정 세트 크기 (작은 세트에서도 효과적), 추출 레이어, 하이퍼파라미터 구성에서 견고함이 입증되었습니다. 또한 수동 튜닝을 제거하기 위한 적응형 파라미터 선택 전략 (AdaRACC) 이 제안되었습니다.

5. 중요성과 주장

이 논문은 RACC 가 커버리지 기반 LLM 안전성 테스트를 위한 확장 가능하고 원칙적인 기반을 제공한다고 주장합니다. 원시 뉴런 활성화가 아닌 안전 개념 방향에 커버리지를 기반함으로써, RACC 는 전통적인 DNN 커버리지 기준에 내재된 확장성 병목 현상과 목표 정렬 격차를 해결합니다.

저자들은 RACC 가 단순한 범용 이상 탐지기가 아니라 안전 관련 의미의 활성화를 구체적으로 측정하는 도구라고 주장합니다. 이를 통해 안전성 테스트 스위트의 엄격한 평가, 우선순위 지정, 최적화가 가능해지며, 정적 데이터셋에 대한 의존을 넘어 동적이고 커버리지 인식적인 안전 공학으로 분야를 발전시킵니다. 이 연구는 저차원 안전 표현에 초점을 맞추는 것이 LLM 안전성 테스트의 적절성을 평가하는 데 실행 가능하고 우월한 접근법임을 확립합니다.