기술 요약: PALETTE

문제 정의

기반 모델 (LLM 및 VLM) 의 현재 안전 정렬은 대부분 "일률적" 패러다임을 따르며, 모든 사용자와 맥락에 걸쳐 보편적인 거절 정책을 강제합니다. 일반적인 해악 예방에는 효과적이지만, 이 접근법은 종종 **과도한 거절 (over-refusal)**로 이어집니다. 즉, 모델이 특정 승인된 전문 맥락 내에서 정당한 지시를 거부하는 경우입니다 (예: 백신 연구자가 바이러스 분리체에 대해 묻거나, 게임 개발자가 내러티브를 위한 폭력적 대화를 요청하는 경우).

이 문제에 대한 기존 해결책은 다음과 같은 중대한 한계에 직면해 있습니다:

• 재학습 기반 방법: 새로운 안전 요구사항이나 사용자 프로필마다 비용이 많이 드는 데이터 수집과 반복적인 최적화가 필요합니다.
• 추론 시간 조향 (예: CAST): 더 가벼운 대안을 제공하지만 정밀한 제어에 취약합니다 (종종 관련 없는 도메인에서 안전 누출을 초래함), 개입 계층과 강도의 수동 조정이 필요하며 추론 시 지연을 초래합니다.
• 확장성: 승인된 도메인의 수가 증가함에 따라 가능한 사용자 승인 프로필의 수가 기하급수적으로 증가하여 사용자별 재학습이나 수동 조향은 비실용적입니다.

핵심 과제는 일반 모델의 유용성을 희생하거나 값비싼 재학습을 요구하지 않으면서, 승인된 대상 도메인에 대해서는 거절 행동을 선택적으로 완화하고 다른 모든 맥락에서는 표준 안전 정렬을 유지할 수 있는 프레임워크를 개발하는 것입니다.

방법론: PALETTE

저자들은 온디맨드 승인된 안전 정렬 완화를 위해 설계된 모듈식, 제어 가능하며 효율적인 프레임워크인 PALETTE를 제안합니다. 이 프레임워크는 세 가지 주요 단계를 통해 작동합니다:

1. 거절 방향에 대한 다목적 탐색

수동으로 조향 방향을 선택하는 대신, PALETTE 는 다목적 탐색을 통해 최적의 거절 방향을 자동으로 식별합니다.

• 후보 생성: 준수 (compliance) 및 거절 (refusal) 프롬프트 간의 활성화 차이 (difference-in-means) 방법을 사용하여 후보 거절 방향의 풀을 생성합니다.
• 목적 함수: 탐색은 두 가지 상충되는 목표를 최적화합니다:
  1. 안전 제어: 허용 집합 ($P_{allowed}$) 에 대한 준수를 극대화하면서 불허용 집합 ($P_{disallowed}$) 에 대한 의도치 않은 준수를 억제합니다. 이는 우회 점수 목적 함수 $O_{control}$로 정량화됩니다.
  2. 유용성 보존: 안전 프롬프트 ($P_{safe}$) 에서 원본과 조향된 분포 간의 KL 발산을 최소화하여 일반 유용성이 저하되지 않도록 합니다.
• 선택: 이 방법은 높은 제어 가능성과 최소한의 유용성 손실 사이의 균형을 이루는 파레토 프론티어 (Pareto frontier) 상에 있는 후보 방향을 선택합니다.

2. 경량 적응을 통한 내부화 된 거절 튜닝

추론 시간 오버헤드를 피하기 위해, PALETTE 는 선택된 거절 방향을 직접 모델 파라미터에 내부화합니다.

• 메커니즘: 경량 적응 (LoRA 사용) 을 특정 블록 (일반적으로 $(n-1)$번째 블록) 에 적용하여 행동 변화를 인코딩합니다.
• 학습 목적 함수: 모델은 안전 및 불허용 프롬프트에 대한 바닐라 (vanilla) 활성화를 재구성하여 (원래 안전성 보존) 허용 프롬프트에 대해서는 숨겨진 상태를 음의 거절 방향 ($-\lambda r^*$) 을 따라 이동시키도록 학습됩니다.
• 하드 네거티브 마이닝: 비대상 도메인에서의 안전 누출을 방지하기 위해, 프레임워크는 사전 단계에서 "하드" 불허용 샘플 (조향에 가장 취약한 경계 사례) 을 식별하고 학습 중 이를 우선시합니다.

3. 구성적 안전을 위한 파라미터 병합

주요 아키텍처 특징은 재학습 없이 여러 도메인에 대한 안전 제어를 구성할 수 있는 능력입니다.

• 중립성 제약: 도메인별 어댑터를 학습하는 동안, 모델은 비대상 도메인에 대한 바닐라 활성화를 재구성하도록 강제됩니다. 이는 어댑터의 업데이트가 특정 도메인 밖에서는 대략 0 이 되도록 보장합니다.
• 병합: 업데이트가 국소화되어 있기 때문에, 서로 다른 도메인 (예: "혐오" 및 "허위 정보") 에 대한 어댑터는 간단한 파라미터 추가 (LoRA 가중치 병합) 를 통해 결합될 수 있습니다. 이를 통해 새로운 학습 데이터나 모델을 생성하지 않고도 온디맨드로 복잡한 다도메인 승인 프로필을 생성할 수 있습니다.

주요 기여

1. 모듈식 프레임워크: PALETTE 는 도메인별 안전 제어를 분리하는 안전 정렬에 대한 새로운 접근법을 도입하여, 개인화된 안전 정책의 확장 가능하고 감사 가능한 관리를 가능하게 합니다.
2. 재학습 없이 정밀 제어: 이 방법은 승인된 도메인에서의 거절을 정밀하게 완화하면서도 관련 없는 도메인에서는 엄격한 안전을 유지하며, 전체 파인튜닝이 아닌 경량 적응을 통해 달성됩니다.
3. 구성 능력: 이 프레임워크는 단일 도메인 어댑터를 병합하여 이질적인 승인 범위를 처리할 수 있도록 지원하여, 프로필의 기하급수적 증가라는 확장성 문제를 해결합니다.
4. 효율성: 이 접근법은 매우 자원 효율적이며, 7B 규모 모델을 단일 RTX 4090 에서 몇 분 내에 적응시킬 수 있으며, 일반 유용성 벤치마크 (MMLU, GSM8K) 에 미치는 영향은 미미합니다.

실험 결과

저자들은 PALETTE 를 네 가지 벤치마크 (GenHarm, WMDP, CoSApien, MM-SafetyBench) 와 여러 모델 아키텍처 (LLaMA2/3, Qwen) 및 모달리티 (텍스트 및 비전 - 언어) 에 걸쳐 평가했습니다.

• 단일 도메인 제어: PALETTE 는 베이스라인 (AutoDAN, CAST, SFT) 보다 크게 우월한 성능을 발휘했습니다. 예를 들어, WMDP 벤치마크에서 "화학 보안"을 허용하면 거절률이 0.964 에서 0.072 로 감소하는 반면, "생물 보안" 및 "사이버 보안"에 대한 거절률은 높게 유지되었습니다 (기본 모델 수준에 근접). 반면, CAST 와 같은 베이스라인은 상당한 안전 누출을 보였습니다.
• 다중 도메인 제어: 파라미터 병합을 통해 PALETTE 는 여러 도메인의 동시 승인 (예: "혐오" 및 "허위 정보" 모두 허용) 을 성공적으로 처리하며, 허용된 도메인에 대해서만 거절률이 감소하고 다른 도메인에서는 안전성을 유지했습니다.
• 유용성 보존: 모든 모델에서 PALETTE 는 기본 모델과 거의 동일한 일반 유용성 점수 (MMLU, GSM8K, MMMU) 를 유지한 반면, SFT 기반 접근법은 종종 성능을 저하시켰습니다.
• 세밀한 제어: 게임 개발자 대 공익 검사관과 같은 미묘한 역할별 안전 구성이 포함된 CoSApien 벤치마크에서, PALETTE 는 베이스라인에 비해 우수한 응답 정확도를 달성했습니다.
• 강건성: 제거 연구 (ablation studies) 는 의미적으로 중복되는 부정적 샘플이 학습 세트에 포함되어 있다면 (하드 네거티브 마이닝 전략을 검증함), 이 방법이 분포 외 (out-of-distribution) 부정적 도메인에 대해 강건함을 확인했습니다.

중요성 및 주장

이 논문은 PALETTE 가 안전이나 유용성을 훼손하지 않으면서 다양한 전문적 요구에 적응하는 기반 모델로 가는 실용적인 경로를 제공한다고 주장합니다.

• 정렬 패러다임의 전환: 이 연구는 단일화되고 정적인 안전 정렬에서 모듈식, 계층 기반 접근법으로의 전환을 시사합니다. 이는 안전을 고정된 모델 아티팩트가 아닌 구성 가능한 계층으로 관리할 수 있게 합니다.
• 배포 이점: 모듈식 설계는 감사 가능성 (각 어댑터는 문서화된 범위를 가짐), 가역성 (어댑터는 기본 모델을 수정하지 않고 제거 가능), 버전 관리 (정책이 진화함에 따라 어댑터를 독립적으로 업데이트 가능) 를 용이하게 합니다.
• 한계: 저자들은 명시적으로 그들의 방법이 사용자 승인이 외부 메커니즘에 의해 이미 검증되었다고 가정한다고 지적합니다. 즉, 승인 자체의 문제를 해결하지는 않습니다. 또한, 이 방법은 대표적인 학습 샘플에 의존하며, 불완전한 커버리지는 보지 못한 관련 사례에서 안전 누출로 이어질 수 있습니다.

요약하자면, PALETTE 는 개인화된 안전 정렬을 위한 확장 가능하고 효율적이며 정밀한 솔루션을 제공하여, 기반 모델이 정당한 요구를 가진 승인된 전문가들을 지원하면서도 일반 대중을 위한 견고한 안전 장치를 유지할 수 있게 합니다.