기술 요약: HARC – 강건한 안전 정렬을 위한 유해성 및 거절 방향의 결합 (Coupling Harmfulness and Refusal Directions for Robust Safety Alignment)

1. 문제 정의

정렬(Alignment) 노력에도 불구하고, 대규모 언어 모델(LLM)은 여전히 적대적 탈옥 공격(예: 적대적 접미사, 설득 기반 재작성, 난독화)에 취약합니다. 기존의 해석 가능성 연구는 정렬된 LLM이 프롬프트 측 토큰 위치의 잔차 스트림(residual stream)에서 유해성($v_{harm}$)과 거절($v_{ref}$)을 분리 가능한 선형 방향으로 인코딩한다는 것을 밝혀냈으나, 특정 탈옥이 왜 성공하는지에 대한 내부 메커니즘은 여전히 불분명합니다. 또한, 기존의 안전 개입 방식은 종종 강건성, 일반 능력, 그리고 과잉 거절(무해한 요청을 불필요하게 거절하는 현상) 사이의 트레이드오프를 발생시킵니다. 본 논문이 다루는 핵심 문제는 모델이 유해한 콘텐츠를 인식하는 것과 거절하려는 의지 사이의 해리(dissociation)이며, 공격자들은 이를 이용해 안전 필터를 우회합니다.

2. 방법론

2.1 내부 표현 분석

저자들은 프롬프트 측 분석을 응답 토큰 위치(생성 중)로 확장했습니다. 이들은 네 가지 뚜렷한 방향 벡터를 추출합니다:

1. 프롬프트 측 유해성 ($v_{harm}$): 마지막 지시 토큰($t_{inst}$)에서 추출.
2. 프롬프트 측 거절 ($v_{ref}$): 지시 후 토큰($t_{post-inst}$)에서 추출.
3. 응답 측 유해성 ($v^{resp}_{harm}$): 처음 32개 응답 토큰의 평균 풀링된 잔차에서 추출.
4. 응답 측 거절 ($v^{resp}_{ref}$): 응답 토큰에서 유사하게 추출.

표현에 관한 주요 발견:

• 디커플링(Decoupling): 모델의 후기 레이어에서 $v_{harm}$과 $v_{ref}$는 거의 직교하게 됩니다. 이는 모델이 한 개념을 활성화하면서 다른 개념은 활성화하지 않을 수 있음을 의미합니다.
• 공격 메커니즘: 성공적인 탈옥은 프롬프트 인코딩 과정에서 특정 방향을 억제함으로써 이 디커플링을 악용합니다:
  • DAN (페르소나 프레이밍): $v_{ref}$를 억제하면서 $v_{harm}$은 활성 상태로 유지합니다.
  • PAIR (의미적 재작성): $v_{harm}$을 억제(음수 방향으로 유도)하면서 $v_{ref}$는 활성 상태로 유지합니다.
  • CodeAttack (난독화): 두 방향을 모두 억제하여 무해한 프롬프트와 유사하게 클러스터링합니다.
• 인식의 지속성: 결정적으로, 프롬프트 측 거절이 실패하더라도(예: DAN 또는 PAIR 공격), 모델은 생성 도중에 유해한 콘텐츠를 다시 인식($v^{resp}_{harm}$ 활성화)하는 경우가 많습니다. 그러나 이러한 인식은 프롬프트 측 거절 신호가 이미 억제되었기 때문에, 생성 궤적을 변경하기에는 너무 늦게 나타납니다.

2.2 HARC: 유해성 및 거절 결합 (Harmfulness-And-Refusal Coupling)

유해성 인식이 거절이 억제된 상황에서도 지속된다는 발견에 착안하여, 저자들은 저차원 적응(LoRA)을 사용하는 미세 조정 방법인 HARC를 제안합니다.

핵리 메커니즘:
HARC는 프롬프트와 응답 위치 모두에서 유해성 방향과 거절 방향을 결합합니다. 목표는 어느 한 방향이 활성화되면 반드시 거절이 트리거되도록 보장하여, 공격자가 한 방향을 억제하더라도 다른 방향이 활성화되어 공격을 우회하는 것을 방지하는 것입니다.

손실 함수 (Loss Function):
전체 손실($L_{total}$)은 네 가지 항으로 구성됩니다:

1. 프롬프트 측 결합 ($L^{prompt}_{couple}$): 프롬프트 경계에서의 코사인 투영에 대한 가산 마진 힌지 손실(additive margin hinge loss)입니다. 이는 유해한 입력에 대해 두 방향이 모두 활성화(투영 $\ge m$)되도록 강제합니다.
2. 응답 측 결합 ($L^{response}_{couple}$): 처음 32개 응답 토큰의 평균 풀링된 잔차에 적용되는 유사한 힌지 손실로, $v^{resp}_{harm}$과 $v^{resp}_{ref}$를 결합합니다.
3. KL 발산 ($L_{kl}$): 무해한 입력에 대해 LoRA가 튜닝된 모델을 베이스 분포에 고정시켜 일반 능력을 보존하고 과잉 거절을 방지합니다.
4. 교차 엔트로피 ($L_{ce}$): 유해한 입력에 대한 명시적인 거절 텍스트를 감독합니다.

학습 역학 (Training Dynamics):

• 레이어 선택: 네 방향 구조가 가장 깨끗하게 나타나는(프롬프트/응답 측 방향은 디커플링되어 있으나, 동일 개념의 교차 위치 쌍은 정렬된) 레이어를 타겟팅합니다. 점수 함수를 통해 상위 $K$개 레이어를 선택하며, 첫 1,000 스텝 동안 $K$를 2에서 4까지 점진적으로 늘립니다.
• 방향 재계산: 200 스텝마다 현재 LoRA가 적용된 모델로부터 방향 벡터를 다시 추출하고, 변화하는 잔차 기하학(residual geometry)에 적응하기 위해 지수 이동 평균(EMA)을 통해 혼합합니다.

3. 주요 기여

1. 응답 측 표현 발견: 본 논문은 유해성과 거절이 프롬프트 위치뿐만 아니라 응답 토큰 위치에서도 별개의 개념임을 입증합니다. 이는 모델이 생성 중에 유해한 콘텐츠를 인식하더라도 프롬프트 측 거절이 우회될 수 있음을 보여주며, "지연 발화(late-firing)"하는 안전 신호를 드러냅니다.
2. 탈옥의 메커니즘적 분석: 저자들은 서로 다른 공격 클래스(DAN, PAIR, CodeAttack)가 프롬프트 인코딩 시 특정 방향을 억제함으로써 유해성-거절 평면의 분리된 영역을 어떻게 점유하는지 규명합니다.
3. HARC 방법론: 프롬프트와 응답 위치 모두에서 유해성 및 거절 방향을 결합하는 표현 수준의 미세 조정 방법입니다. 광범위한 안전 개입과 달리, HARC는 간섭을 2차원 부분 공간으로 제한하여 나머지 잔차 스트림을 온전히 유지합니다.

4. 실험 결과

방법론은 LLAMA-3.1-8B/70B 및 QWEN-2.5-7B/72B를 대상으로 6가지 베이스라인(SFT, DPO, Circuit Breakers, RepBend, CAST, Base)과 비교 평가되었습니다.

• 강건성 (Robustness): HARC는 공격 성공률(ASR)을 크게 낮춥니다.
  • LLAMA-3.1-8B에서 HARC는 베이스 모델 대비 ASR을 4.67배 감소시켰습니다.
  • QWEN-2.5-7B에서 ASR을 4.75배 감소시켰습니다.
  • "Ours+DPO" 설정은 8B 모델에 대해 PAIR, PAP, DeepInception에 대해 거의 제로에 가까운 ASR을 달성하며 모든 베이스라인 중 가장 강력한 강건성을 보였습니다.
• 능력 및 과잉 거절 (Capability & Over-Refusal):
  • HARC는 일반 능력(MMLU, GSM8K, HumanEval, IFEval, MT-Bench)을 베이스 모델과 거의 차이 없이 보존합니다.
  • 과잉 거절(무해한 프롬프트 거절)을 최소화하며, Llama-8B의 경우 XSTest에서 0.035를 기록하는 등 베이스 모델과 비슷하거나 더 낮은 수준을 달성했습니다. 이는 심각한 과잉 거절을 유발하는 RepBend와 같은 방법보다 뛰어난 성능입니다.
• 확장성 (Scalability): 이 방법은 아키텍처별 튜닝 없이 더 큰 모델(70B/72B)로 전이되며, 강건성과 능력을 유지합니다.
• 한계점: CodeAttack은 프롬프트 경계에서 두 방향을 모두 억제하기 때문에 결합 손실(coupling loss)이 증폭할 신호가 거의 없어 가장 강력한 저항력을 보입니다. 또한, 공격자가 가중치 접근 권한을 가진 경우, 약 160개의 유해 예시만으로도 붕괴되는 적대적 미세 조정(adversarial fine-tuning)에 취약할 수 있습니다.

5. 의의 및 주장

본 논문은 HARC가 현재의 안전 방법들 중 가장 강력한 강건성-능력-사용성 트레이드오프를 달 수 있다고 주장합니다. 유해성과 거절을 프롬프트와 응답 위치 모두에서 결합함으로써, 생성 시작 전 거절 신호를 억제하는 탈옥의 특정 취약점을 해결합니다.

저자들은 네 방향 구조(프롬프트/응답의 harm/refusal)가 아키텍처적 산물이 아니라 정렬된 LLM의 속성임을 강조하며, 이것이 5개의 서로 다른 모델 패밀리에서 재현됨을 보여줍니다. 또한, 이 개입이 엄격히 타겟팅된 저차원 부분 공간 내에서 작동하기 때문에, 광범한 미세 조정 방법에서 흔히 발생하는 "정렬 세금(alignment tax, 능력 저하)"과 과잉 거절을 피한다고 주장합니다.

결론적으로, HARC는 정적인 탈옥에 대해 유의미한 강건성을 향상시키지만, 응답 측 관찰 결과 유해성 인식이 순응적인 생성 중에도 지속된다는 점은 안전 정렬을 위한 새로운 신호를 제공합니다. 다만, 저자들은 HARC가 베이스 모델이 이미 사용 가능한 유해성 신호를 가지고 있다는 가정을 전제로 하며, 결합된 방향을 직접 겨냥하도록 설계된 적응형 공격(adaptive attacks)에 대해서는 평가하지 않았음을 겸허히 언급합니다.