기술 요약: 동적 라우팅 적응형 정렬 (Dynamic Routing Adaptive Alignment, DRAA)

1. 문제 정의

대규모 파운데이션 모델(LFMs)의 광범위한 배포로 인해, 안전 위협이 블랙박스 탈옥(black-box jailbreaks)에서 **화이트박스 구조적 공격(white-box structural attacks)**으로 변화했습니다. 이러한 시나리오에서 공격자는 내부 파라미터에 접근하여 안전한 거절을 담당하는 특정 뉴런이나 인과적 경로를 정확하게 식별하고 차단할 수 있습니다.

기존의 방어 메커니즘은 정적 안전 유닛(static safety units) 또는 고정된 거절 경로(예: 특정 뉴런을 동결하거나 가중치를 고정하는 방식)에 의존합니다. 본 논문은 이러한 방법들이 "정적 구성 요소" 가정에 기반하고 있다고 주장합니다. 즉, 보호된 구조가 배포 중에도 온전하게 유지될 것이라고 전제한다는 것입니다. 화이트박스 위협 하에서는, 일단 이러한 고정된 방어 경로가 정밀하게 가지치기(pruning)되거나 섭동(perturbation)을 받으면, 모델은 보상 메커니즘이 결여되어 있기 때문에 거절 능력이 완전히 붕괴됩니다. 핵심 문제는 현재의 안전 정렬에 **동적 중복성(dynamic redundancy)**이 부족하여, 타겟팅된 경로 수준의 공격에 취약하다는 점입니다.

2. 방법론: 동적 라우팅 적응형 정렬 (DRAA)

제안된 프레임워크인 DRAA는 안전 정렬을 **경로 복구 문제(route-recovery problem)**로 재정의합니다. 단순히 하나의 정적 경로를 강화하는 대신, DRAA는 핵심 경로가 손상되었을 때 안전한 행동을 동적으로 재구성할 수 있는 능력을 모델에 부여하는 것을 목표로 합니다. 이 프레임워크는 세 가지 주요 단계로 구성됩니다.

A. 안전 경로 국소화 (Safety Route Localization)

DRAA는 먼저 모델이 안전한 거절을 위해 현재 의존하고 있는 특정 "안전 경로"를 식별합니다.

• 메커니즘: 안전한 입력 샘플과 안전하지 않은 입력 샘플 사이의 내부 활성화(internal activations)를 대조합니다.
• 지표: 각 레이어의 뉴런에 대해 두 가지 점수를 계산합니다:
  1. 효과 크기 (Effect Size, ES): 안전한 입력과 안전하지 않은 입력 사이의 분포적 분리 정도를 측정합니다.
  2. 안전 활성화 변화량 (Safety Activation Shift, SAS): 레이어 평균 대비 안전하지 않은 입력 하에서의 활성화 방향성 증폭 정도를 측정합니다.
• 결과: 뉴런 집합 $S$ (안전 경로)는 여러 레이어에 걸쳐 높은 ES 및 SAS 점수를 가진 뉴런들의 합집합으로 정의됩니다.

B. 인과적 실패 마이닝 (Causal Failure Mining)

주요 안전 경로의 실패를 처리하도록 모델을 훈련하기 위해, DRAA는 타겟팅된 공격을 시뮬레이션합니다.

• 개입: 식별된 안전 경로 $S$를 추론 중에 일시적으로 마스킹(zeroing out)합니다.
• 데이터 구축: 온전한 모델은 안전한 거절($y_{ori}$)을 생성하지만, 경로가 비활성화된 모델은 실패하여 안전하지 않은 응답($y_{cut}$)을 생성하는 샘플들을 수집합니다.
• 선호 쌍 (Preference Pairs): 이러한 케이스들은 "실패 인지 선호 쌍(failure-aware preference pairs)" $(x, y_{ori}, y_{cut})$을 형성하며, 이는 주요 안전 메커니즘이 깨진 시나리오를 구체적으로 겨냥하는 데이터셋($D_{fail}$)을 생성합니다.

C. 동적 라우팅 직접 선호 최적화 (DR-DPO)

마지막 단계는 이제 취약해진 주요 경로를 강화하는 대신, **보상 경로(compensatory routes)**를 학습하도록 모델을 훈련합니다.

• 경로 잠금 (Route Locking): DPO 최적화 과정 동안, 식별된 안전 경로 $S$에 해당하는 파라미터는 LoRA 어댑터를 통한 그래디언트 마스킹(gradient masking)을 통해 **동결(frozen)**됩니다.
• 목표: 모델은 오직 제한되지 않은 파라미터 공간($\theta_R$)만을 사용하여 선호도 손실(preference loss)을 최소화하도록 강제됩니다.
• 전략: 이는 "차단되었을 때 우회하기(detour when blocked)" 전략을 구현합니다. 모델은 단순히 기존의 취약한 경로를 강화할 수 없으며, 남은 파라미터 내에서 잠재적인 대안 경로(보상 경로)를 발견하고 강화해야만 주 경로가 비활성화된 상태에서도 안전한 거절 행동을 유지할 수 있습니다.
• 추론: 실제 추론 시에는 안전 경로가 활성화된 상태를 유지하지만, 새로 학습된 보상 경로가 주 경로가 섭동을 받을 경우 추가적인 방어 능력을 제공합니다.

3. 주요 기여

1. 프레임워크 제안: 정적 노드를 보호하는 것에서 공격 하에 거절 메커니즘을 동적으로 재구성하는 것으로 안전 정렬의 패러다임을 전환하는 DRAA를 도입했습니다.
2. DR-DPO 목적 함수: 안전 경로를 잠금으로써, 모델이 공격받지 않은 파라미터 공간 내에서 보상 경로를 학습하도록 강제하는 새로운 최적화 목적 함수를 제시했습니다.
3. 실증적 검증: DRAA가 일반적인 유용성을 유지하면서도 심각한 화이트박스 가지치기 공격에 대해 유의미하게 향상된 강건성을 보여줌을 광범전한 실험을 통해 입증했습니다.

4. 실험 결과

본 논문은 다양한 LLM 백본(Qwen2.5, LLaMA-3.2, Gemma, Phi)과 멀티모달 LLM(Qwen2.5-VL, LLaVA)에 대해 네 가지 가지치기 설정(ORI(가지치기 없음), ES, SAS, FULL(ES와 SAS 뉴런의 합집합)) 하에서 DRAA를 평가했습니다.

• 가지치기에 대한 강건성: 가장 강력한 FULL 가지치기 설정에서, DRAA는 SN-Tune, RLHF-Safety, SafeNeuron과 같은 베이스라인 모델들에 비해 일관되게 가장 낮은 공격 성공률(ASR)을 달s성했습니다.
  • 예시: Qwen2.5-7B에서, DRAA는 FULL ASR을 26/313으로 낮춘 반면, 원본 모델은 279/313, SafeNeuron은 183/313을 기록했습니다.
  • 예시: LLaMA-3.2-8B에서, DRAA는 FULL 가지치기 하에서 11/313의 ASR을 달성했으며, 이는 원본 모델의 221/313과 대조됩니다.
• 멀티모달 안전성: DRAA는 시각적 탈옥 시나리오(VL-Question 및 NSFW 작업)에서 탁월한 강건성을 입증하였으며, FULL ASR을 크게 감소시켰습니다 (예: Qwen2.5-VL-7B의 VL-Question 작업에서 174/313에서 5/313으로 감소).
• 미학습 공격에 대한 일반화: DRAA는 훈련에 사용되지 않은 미학습 화이트박스 공격 메커니즘(GRAD, WANDA, ABLATE)에 대해서도 강건성을 유지하여, 단순히 특정 가지치기 패턴에 과적합되지 않음을 보여주었습니다.
• 유용성 보존: DRAA는 상당한 저하 없이 일반적인 능력(ARC, GSM8K, TruthfulQA로 측정)을 보존했습니다.
• 효율성: 이 접근 방식은 추론 시 오버헤드가 거의 없습니다. 국소화에는 1,000개 샘플당 약 0.58분이 소요되며, 훈련에는 약 12.7분이 소요됩니다. 어댑터를 병합한 후, 모델은 원래의 파라미터 수와 추론 속도를 유지합니다.

5. 의의 및 주장

본 논문은 DRAA가 현재의 안전 정렬이 가진 결정적인 취약점, 즉 타겟팅된 화이트박스 공격에 의해 무너지는 정적, 단일 지점 방어에 대한 의존성을 해결한다고 주장합니다. 동적 보상 경로를 도입함으로써, 이 프레임워크는 모델 안전의 근저에 있는 경로 의존성을 재구조화합니다.

저자들은 DRAA가 단순히 알려진 공격에 대한 안전성을 개선하는 것을 넘어, 모델의 아키텍처를 근본적으로 **공격 탄력적(attack-resilient)**으로 변화시킨다고 강조합니다. "차단되었을 때 우회하기" 메커니즘은 공격자가 주요 안전 뉴런을 성공적으로 식별하고 제거하더라도, 모델이 학습된 대안 경로를 통해 유해한 요청을 거절할 수 있는 능력을 유지하도록 보장합니다. 이 접근 방식은 내부 파라미터가 적대자에게 노출될 수 있는 개방형 환경에서 대규모 언어 모델(LFMs)을 배포하기 위한 더욱 강력한 패러다임을 제공합니다.