기술 요약: RAS: 거절 정렬(Refusal Alignment)을 통한 LLM 안전성 측정

문제 정의

현재 대규모 언어 모델(LLM)의 안전성 평가는 주로 **출력 수준 패러다임(output-level paradigms)**에 의존하고 있습니다. 이러한 방법은 모델에 유해하거나 탈옥(jailbreak) 프롬프트를 쿼리한 후, 생성된 응답이 안전 정책을 위반하는지 여부를 인간의 주석, 규칙 기반 필터 또는 LLM-as-a-judge 분류기를 사용하여 판단하는 방식입니다. 효과적이기는 하지만, 저자들은 이 접근 방식의 네 가지 결정적인 한계를 다음과 같이 지적합니다:

1. 비용: 전체 생성이 필요하며 종종 보조 판별 모델이 필요하기 때문에 계산 비용이 많이 듭니다.
2. 민감도: 디코딩 파라미터, 거절 템플릿 및 판별 모델의 특정 동작에 결과가 매우 민감하게 반응합니다.
3. 노후화: 모델이 알려진 질문 뱅크에 맞춰 학습됨에 따라 벤치마크가 빠르게 구식화됩니다.
4. 지연 시간: 출력 수준의 안전성은 후기 단계의 행동 신호입니다. 이는 모델이 거절을 하는지는 확인해주지만, 모델이 내부적으로 요청을 어떻게 처리하는지 또는 계산 과정 중에 거절 관련 상태에 진입하는지 여부는 밝혀내지 못합니다.

본 논문은 안전성이 **표현 수준(representation level)**에서 평가될 수 있다고 상정하며, 거절 행동이 은닉 활성화 공간(hidden activation spaces) 내의 특정 방향에 의해 매개된다는 연구 결과에 주목합니다.

방법론: SafeVec 및 RAS

저자들은 생성된 출력이 아닌 내부 은닉 상태를 분석하여 안전성을 측정하는 화이트박스 평가 절차인 SafeVec을 제안합니다. 이 절차에서 도출된 핵심 지표는 보정된 0–100 안전 점수인 **거절 정렬 점수(Refusal Alignment Score, RAS)**입니다.

시스템 모델

이 방법은 대상 모델의 은닉 상태(각 디코더 레이어의 잔차 스트림 활성화 값)에 대한 접근을 가정하므로, 폐쇄형 API에는 적용할 수 없으나 오픈 웨이트 모델 및 내부 감사에는 적용 가능합니다. 평가는 세 가지 프롬프트 세트를 활용합니다:

• 안전($S$): 무해한 사용자 요청.
• 유해($U$): 유해한 콘텐츠에 대한 직접적인 요청.
• 탈옥($J$): 적대적 또는 역할 수행 지침으로 감싸진 유해한 의도.

이 절차에는 동일한 아키텍처 계열의 **안전 정렬 참조 모델($M_{ref}$)**과 다양한 안전 수준(정렬된 모델, 검열되지 않은 모델, 에블레이티드(ablaterated) 모델)을 포함하는 **보정 세트($C_a$)**가 필요합니다.

SafeVec 파이프라인

방법은 다섯 단계로 진행됩니다:

1. 거절 방향 추출:
   각 레이어 $l$에 대해, 저자들은 안전한($\mu^{safe}_l$) 프롬프트와 유해한($\mu^{unsafe}_l$) 프롬프트에 대한 평균 잔차 스트림 활성화를 계산합니다. 레이어별 거절 방향($r_l$)은 다음과 같은 차이 벡터로 정의됩니다:
   $$r_l = \mu^{unsafe}_l - \mu^{safe}_l$$
   이 벡터는 모델이 안전한 요청과 유해한 요청을 처리할 때 발생하는 표현의 변화를 포착합니다.

2. 레이어 윈도우 선택:
   모든 레이어가 동일하게 유익한 것은 아닙니다. 저자들은 안전한 코사인 평균과 유해한 코사인 평균 사이의 간격이 크고 안정적인 연속적인 레이어 윈도우($W$)를 선택합니다. 이 윈도우는 더 안전한 모델이 유해한 프롬프트 하에서 거절 방향에 대해 더 높은 정렬도를 보임을 보장하기 위해 보정 모델을 사용하여 검증됩니다.

3. 보정 모델 점수 산출:
   보정 세트에 있는 모델들에 대해, 저자들은 유해 및 탈옥 프롬프트에 대한 모델의 은닉 상태와 참조 거절 방향($\hat{r}_l$) 사이의 평균 코사인 유사도를 계산합니다. 이 원시 점수는 내부적 거절 정렬의 정도를 측정합니다.

4. RAS 보정:
   원시 코사인 유사도를 비교 가능한 0–100 척도로 매핑하기 위해, 저자들은 다단계 보정을 수행합니다:

   • 거절 드롭(Refusal Drop): 참조 모델 대비 정렬도의 하락을 계산합니다.
   • Bad-Anchor 스케일: 높은 공격 성공률(ASR)을 가진 고위험 보정 모델들을 사용하여 기초가 되는 "나쁜" 스케일($b_a$)을 추정합니다.
   • 심각도 기울기(Severity Slope): 정규화된 거절 드롭과 ASR 증가 사이의 상관관계를 통해 아키텍처 특유의 심각도 기울기($\alpha_a$)를 결정합니다.
   • 최종 매핑: 정렬된 드롭을 시그모이드 함수를 사용하여 0–100 점수로 매핑합니다:
     $$RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$$

높은 RAS는 더 강력한 거절 정렬과 더 높은 추정 안전성을 나타냅니다.

5. 대상 모델 점수 산출:
   대상 모델은 사전 보정된 거절 방향과의 정렬도를 계산하고 계열 특유의 RAS 매핑을 적용하여 점수를 부여받습니다.

주요 기여

1. SafeVec: 거절 정렬에 기반한 표현 수준의 화이트박스 안전성 평가 절차.
2. RAS (거절 정렬 점수): 내부 은닉 상태 정렬을 표준화된 0–100 안전 점수로 변환하는 보정된 지표.
3. 경험적 검증: Llama, Gemma, Qwen의 세 가지 주요 계열에서 정렬된 모델, 검열되지 않은 모델, 에블레이티드 모델을 신뢰성 있게 구분함을 입증.

실험 결과

저자들은 Llama-3.1-8B, Gemma-3-4B, Qwen2.5-7B 계열에 대해 RAS를 평가했습니다.

• 표현 수준의 분리 (RQ1): 안전한 모델과 유해한 모델은 거절 방향 정렬에서 명확한 분리를 보입니다. 선택된 레이어 윈도우에서, 안전하게 정렬된 모델은 검열되지 않거나 에블레이티드된 변체들에 비해 유해 및 탈옥 프롬프트 하에서 거절 방향에 대해 일관되게 높은 코사인 유사도를 보입니다.
• 출력 행동과의 상관관계 (RQ2): RAS는 출력 수준의 공격 성공률(ASR)과 강한 상관관계를 가집니다. 높은 RAS를 가진 모델은 일반적으로 낮은 ASR을 보입니다. 원시 점수는 광범위한 추세를 반영하지만, 보정된 RAS는 이러한 추세를 유지하면서 표준화된 척도를 제공합니다.
• 일반화 (RQ3): 본 절차는 서로 다른 모델 계열 간에도 일반화됩니다. 원시 점수가 아키텍처 간에 직접 비교될 수는 없지만, 계열별 보정을 통해 RAS는 정렬된 모델을 유해한 변체보다 일관되게 높게 순위 매깁 수 있습니다.
• 효율성 (RQ4): RAS는 판별 모델 기반 평가보다 훨씬 빠릅니다. 응답 생성이나 외부 판별 모델 없이 순방향 패스(forward pass)만 필요하기 때문에, 저자들의 실험 설정에서 평균적으로 약 216.88배 더 빠릅니다.

의의 및 주장

본 논문은 거절 정렬이 화이트박스 LLM 안전성 평가를 위한 효율적인 신호를 제공한다고 주장합니다.

• 보완적 역할: 저자들은 RAS가 폐쇄형 시스템을 위한 행동 평가 프레임워크를 대체하거나 모든 특정 요청에 대한 결정적인 안전 증명으로 사용되기를 의도한 것이 아님을 명시합니다. 대신, 이는 안전하게 정렬된 모델 변체를 비교하고, 사후 학습 비교를 수행하며, 안전성 회귀 테스트를 수행하기 위한 빠른 표현 수준의 지표 역할을 합니다.
• 조기 탐지: 내부 상태를 측정함으로써, RAS는 모델이 유해한 출력을 생성하기 전에 약화된 거절 행동을 탐지하여, 디코딩 파라미터 및 판별 모델의 편향으로부터 독립적인 신호를 제공합니다.
• 한계: 저자들은 RAS가 화이트박스 접근(은닉 상태)을 필요로 하며 모델 계열 내에서 보정된다는 점을 인정합니다. 또한, 안전성이 특정 거절 방향을 통해 인코딩된다고 가정하므로, 향후 모델이 근본적으로 다른 내부 안전 메커니즘을 사용한다면 거절 방향을 재추정해야 할 수도 있습니다.

결론적으로, 최종 배포 검증을 위해서는 출력 수준의 평가가 여전히 필요하지만, RAS와 같은 표현 수준의 지표는 오픈 웨이트 모델의 신속한 감사를 위한 확장 가능하고 효율적이며 견고한 대안을 제공합니다.