기술 요약: BarrierSteer: 학습된 장벽 조정을 통한 LLM 안전성

문제 제기

다양한 작업에서 대규모 언어 모델 (LLM) 의 뛰어난 성능에도 불구하고, 적대적 공격에 대한 취약성과 안전하지 않은 콘텐츠 생성은 특히 고위험 환경에서의 배포를 위한 주요 장벽으로 남아 있습니다. 기존 안전 메커니즘은 효과성과 효율성 사이의 트레이드오프에 직면해 있습니다:

• 학습 시 방어 (Training-time defenses) (예: RLHF, DPO) 는 모델 파라미터를 업데이트하지만 적대적 프롬프트에 여전히 취약합니다.
• 추론 시 방어 (Inference-time defenses) 는 종종 사후 텍스트 필터링 (파라프레이징에 취약함) 이나 추가 분류기 실행 (높은 계산 오버헤드) 에 의존합니다.
• 잠재 공간 조정 방법 (Latent-space steering methods) (예: SaP) 은 유망하지만 선형 제약 가정과 추론 지연 시간을 증가시키는 비용이 많이 드는 최적화 기반 조정 절차에 의해 제한됩니다.

기저 LLM 파라미터를 수정하지 않고 실시간 배포에 필요한 계산 효율성을 갖추면서도 이론적으로 근거를 두고 비선형 안전 경계를 처리할 수 있는 추론 시 프레임워크가 필요합니다.

방법론: BarrierSteer

BarrierSteer 는 학습된 비선형 안전 제약을 모델의 잠재 표현 공간에 직접 임베딩하는 새로운 추론 시 프레임워크입니다. 이는 동적 상태를 안전한 영역 내에 유지하는 제어 이론의 표준 도구인 **제어 장벽 함수 (Control Barrier Functions, CBFs)**로 숨겨진 상태 안전 분류기를 취급합니다.

이 프레임워크는 세 단계 파이프라인을 통해 작동합니다:

1. 잠재 안전 분류 (Latent Safety Classification):

   • 시스템은 생성 중 사전 훈련된 LLM 에서 중간 숨겨진 상태를 추출합니다.
   • 안전하고 안전하지 않은 응답 (응답 수준에서 레이블 지정됨) 의 데이터셋을 사용하여, 각 토큰의 숨겨진 상태가 해당 응답의 안전 레이블을 물려받는 잠재 학습 세트를 구성합니다.
   • 선형 경계를 사용하는 이전 연구와 달리, BarrierSteer 는 잠재 공간에서 안전 집합을 정의하는 장벽 함수 $\{b_k\}$를 학습하기 위해 **비선형 신경망 (MLP)**을 훈련합니다.

2. 제어 장벽 함수 (CBF) 공식화:

   • 자기회귀 생성은 숨겨진 상태 $h_t$가 시간에 따라 진화하는 잠재 동적 시스템으로 모델링됩니다.
   • 학습된 분류기는 CBF 로 취급됩니다. 함수 $b(h)$는 시스템 상태가 안전한 집합 $C = \{h \mid b(h) \ge 0\}$ 내에 있도록 보장할 때 CBF 입니다.
   • 목표는 원래 궤적에서의 편차를 최소화하면서 CBF 조건 $\dot{b}(h, u) \ge -\beta(b(h))$을 만족하는 제어 입력 $u$(숨겨진 상태에 대한 보정) 를 찾는 것입니다.

3. 폐쇄형 조정 및 조합 (Closed-Form Steering and Composition):

   • 조정 규칙: BarrierSteer 는 안전 제약을 만족하는 최적 제어 $u^*$를 찾기 위해 조정 문제를 2 차 계획법 (Quadratic Program, QP) 으로 공식화합니다.
   • 효율성: 모든 토큰에서 QP 를 풀고자 하는 높은 비용을 피하기 위해, 저자는 조정 업데이트에 대한 **폐쇄형 해 (closed-form solutions)**를 유도합니다.
   • 제약 조합: 여러 안전 제약 (예: "해악 방지" 및 "개인정보 보호") 을 처리하기 위해, 프레임워크는 여러 장벽을 단일하고 매끄러운 미분 가능한 장벽 함수로 조합하는 Log-Sum-Exp (LSE) 공식을 사용합니다. 이를 통해 여러 제약을 동시에 효율적으로 강제할 수 있습니다.
   • 구현: 이 방법은 다음 토큰을 샘플링하기 전에 숨겨진 상태 $h_t$에 경량 폐쇄형 업데이트를 적용하여 모델 가중치를 변경하지 않고도 학습된 안전 영역으로 궤적을 효과적으로 조정합니다.

주요 기여

1. 비선형 잠재 안전 제약: 잠재 안전 탐지와 제약 기반 조정 간의 간극을 연결하는, 비선형 숨겨진 상태 안전 분류기를 학습하고 이를 CBF 로 취급하는 BarrierSteer 의 도입.
2. 폐쇄형 CBF 조정 및 조합: 단일 및 조합된 CBF 제약에 대한 효율적인 폐쇄형 조정 업데이트 유도. 여기에는 자기회귀 디코딩 중 비용이 많이 드는 최적화 없이 여러 안전 제약을 공동으로 강제할 수 있는 Log-Sum-Exp 조합 규칙이 포함됩니다.
3. 효과적인 저지연 탈출구 방어: BarrierSteer 가 모델 유용성 (MMLU, GSM8K) 을 유지하고 고정 방향 조정에서 흔히 발생하는 과도한 거부 문제를 피하면서 적대적 공격 성공률을 실질적으로 감소시킨다는 실증적 증명. 주목할 점은 SaP 와 같은 가장 가까운 베이스라인보다 58~79 배 빠른 조정 지연 시간을 달성한다는 것입니다.

실험 결과

저자들은 네 가지 모델 계열 (Gemma-2-9B, Ministral-8B, Llama-2-7B, Qwen2-1.5B) 과 열 가지 적대적 공격 방법 (GCG, AutoDAN, 적응형 공격 포함) 을 통해 BarrierSteer 를 평가했습니다.

• 적대적 방어: BarrierSteer(LSE 변형) 는 모든 모델에서 정적 HarmBench 벤치마크에서 거의 0 에 가까운 공격 성공률 (ASR) 을 달성하여 SaP, Activation Addition, Circuit Breakers 와 같은 베이스라인을 크게 능가했습니다. 예를 들어, Ministral-8B 에서 SaP 의 $23.91\%$에 비해 ASR 을 $0.83\%$로 감소시켰습니다.
• 적응형 공격에 대한 강건성: 이 방법은 방어에 대해 특히 최적화된 적응형 공격에 대해 강력한 강건성을 유지하여 다른 추론 시 방법들에 비해 적응형 ASR 을 크게 감소시켰습니다.
• 유용성 보존: 종종 선량한 작업에서 성능을 저하시키는 고정 방향 조정 방법 (예: Directional Ablation) 과 달리, BarrierSteer 는 기본 모델과 가까운 MMLU 및 GSM8K 점수를 유지했습니다.
• 과도한 거부: 이 방법은 일부 베이스라인에서 관찰된 심각한 과도한 거부 (선량한 프롬프트 거부) 를 피했으나, 더 높은 조정 강도 ($\alpha$) 가 안전성을 높이는 대신 과도한 거부율을 약간 증가시킨다는 트레이드오프가 존재합니다.
• 모듈성: 14 개의 독립적으로 훈련된 안전 장벽 (WildGuard 위험 범주 포함) 을 조합하는 실험에서 LSE 조합은 유해 생성률을 $0.86\%$로 감소시켜 다양한 안전 개념을 효과적으로 결합할 수 있음을 보여주었습니다.
• 효율성: BarrierSteer(LSE) 의 토큰당 조정 지연 시간은 약 2.40 ms였으며, 반복적 경사 하강법이 필요한 SaP 의 경우 139~190 ms였습니다.

중요성 및 주장

이 논문은 BarrierSteer 가 LLM 안전성을 위한 원칙적이고 모듈화되며 계산적으로 효율적인 접근법을 제공한다고 주장합니다. 제어 장벽 함수를 활용함으로써 (학습된 장벽이 안전 속성을 정확하게 포착한다는 조건 하에) 잠재 궤적이 안전한 영역 내에 머무른다는 이론적 보장을 제공합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 기저 LLM 의 재훈련이 필요하지 않아 배포를 위한 유연한 레이어가 됩니다.
• 이전 잠재 조정 방법의 선형성 한계를 극복하여 더 표현력 있는 안전 경계를 가능하게 합니다.
• 폐쇄형 업데이트를 유도함으로써 제약 기반 조정의 지연 병목 현상을 해결하여 실시간 응용 프로그램에 실현 가능하게 만듭니다.

이 논문은 안전 보장이 학습된 장벽의 품질에 조건부이며 생성된 텍스트에 대한 엄격한 최악의 경우 보장을 제공하는 것이 아니라 잠재 표현에 적용된다는 제한 사항에 대한 겸손한 인정으로 마무리됩니다. 향후 연구는 학습된 장벽의 강건성을 개선하고 방법을 최첨단 모델로 확장하는 것이 제안됩니다.