기술 요약: LLM-VA

문제 정의

안전 정렬된 대규모 언어 모델 (LLM) 은 현재 두 가지 명확한 실패 모드로 고통받고 있습니다: 재일브레이크(유해한 입력에 답변하는 것) 와 과도한 거부(부드러운 쿼리를 불필요하게 거절하는 것). 기존 효율적인 안전 정렬 방법, 특히 벡터 스티어링은 "답변 벡터"($v_a$) 의 크기를 조정하여 모델의 잠재 공간을 조작하려 시도합니다. 그러나 저자들은 이 접근법에서 근본적인 트레이드오프를 식별했습니다: $v_a$의 크기를 줄이면 재일브레이크는 억제되지만 과도한 거부는 증가하고, 이를 증폭시키면 그 반대 효과가 발생합니다.

이 트레이드오프의 근본 원인은 모델 내의 구조적 분리로 확인되었습니다. 저자들은 LLM 이 답변할지 결정하는 것 ($v_a$) 과 입력의 안전성을 판단하는 것 ($v_b$, 또는 "부드러운 벡터") 을 레이어 전반에 걸쳐 거의 직교하는 방향(약 90°) 으로 인코딩함을 입증했습니다. 이러한 벡터들이 직교하기 때문에 모델은 답변할 의지와 안전성 평가를 독립적인 과정으로 취급합니다. 결과적으로 크기 기반 조정은 부드러운 입력과 유해한 입력 모두에 동일하게 영향을 미쳐, 미세 조정이나 아키텍처 변경 없이 재일브레이크와 과도한 거부를 동시에 억제하는 것이 불가능하게 만듭니다.

방법론: LLM-VA

저자들은 **LLM-VA(대규모 언어 모델 벡터 정렬)**를 제안합니다. 이는 폐형식 가중치 업데이트를 통해 $v_a$를 $v_b$에 정렬함으로써 이 트레이드오프를 해결하는 방법으로, 그라디언트 기반 최적화, 미세 조정, 또는 아키텍처 수정이 필요하지 않습니다. 핵심 통찰은 모델의 답변 의도를 안전성 평가에 인과적으로 의존하게 만드는 것입니다.

이 방법은 세 단계로 진행됩니다:

1. SVM 을 통한 벡터 식별:
   모든 레이어를 집계하는 최종 잔여 스트림에서 벡터를 추출하는 대신, LLM-VA 는 각 레이어에서 벡터를 식별합니다. 레이어 출력에 선형 서포트 벡터 머신 (SVM) 을 훈련시켜 다음을 분리합니다:

   • 부드러운 대 유해한 입력 (부드러운 벡터 $v_b$ 도출).
   • 답변된 대 거절된 샘플 (답변 벡터 $v_a$ 도출).
     최대 마진 초평면의 정규 벡터는 단순 평균 차이 방향보다 극단적 점에 덜 민감한 견고한 제어 벡터를 제공합니다.

2. 레이어 선택:
   모든 레이어가 안전성 결정에 동일하게 기여하는 것은 아닙니다. 이 방법은 각 레이어에 대해 다음을 기반으로 점수를 계산합니다:

   • 영향력: 레이어 벡터와 최종 잔여 스트림 벡터 간의 정렬.
   • 정확도: 부드러운/유해한 및 답변/거절 샘플을 분리하는 SVM 분류 정확도.
     결합된 점수가 가장 높은 상위 $L_{select}$개의 레이어가 수정 대상으로 선택됩니다.

3. 벡터 정렬 (폐형식 업데이트):
   선택된 레이어에 대해, 이 방법은 $v_a$를 $v_b$에 정렬하도록 다운 프로젝션 행렬 $W$를 수정합니다. 목표는 모든 입력에 대해 답변 방향으로의 투영이 안전성 방향으로의 투영에 비례하도록 보장하는 것입니다.
   업데이트 $\Delta$는 가중치 변화의 노름을 최소화하기 위해 의사역행렬을 사용하여 해석적으로 유도됩니다:
   $$\Delta = \left( \frac{\sigma_a}{\sigma_b} W v_b - W v_a \right) v_a^T$$
   여기서 $\sigma_a$와 $\sigma_b$는 투영의 표준 편차입니다. 이 과정은 반복적으로(최대 30 회) 수행되며, 각 단계에서 수정된 모델에서 벡터를 다시 추출하여 후속 레이어의 변화를 고려하며, 검증 F1 점수에 기반한 조기 종료가 적용됩니다.

주요 기여

• 새로운 벡터 스티어링: LLM-VA 는 단순히 크기를 조정하는 대신 답변 벡터와 부드러운 벡터를 정렬함으로써 재일브레이크와 과도한 거부를 동시에 해결하는 최초의 벡터 스티어링 방법으로 제시됩니다.
• 미세 조정 또는 아키텍처 변경 없음: 이 방법은 폐형식 가중치 업데이트를 통해 안전 정렬을 달성하여, 재학습의 계산 비용과 후크 레이어 삽입의 복잡성 (SCANS 나 CAST 와 같은 방법과 달리) 을 피합니다.
• 자동 적응: 이 방법은 서로 다른 모델의 특정 안전 편향에 자동으로 적응합니다. 재일브레이크에 취약한 모델의 경우 안전성을 우선시하고, 지나치게 보수적인 모델의 경우 사용성을 우선시하며, 특정 모델에 대한 수동 하이퍼파라미터 튜닝 없이도 작동합니다.
• 광범위한 적용성: 이 접근법은 3B 에서 14B 까지 파라미터 크기가 다양한 5 개 모델 계열 (Llama, Gemma, Mistral, Phi, Qwen) 의 12 개 LLM 에서 검증되었습니다.

실험 결과

12 개 LLM 에 대한 실험은 다음을 입증합니다:

• 트레이드오프 해결: LLM-VA 는 평균 F1 점수 0.77을 달성하여, 원래 모델 대비 37.02% 의 상대적 개선과 최상위 베이스라인 (AlphaSteer) 대비 11.45% 의 개선을 보입니다. 동시에 공격 성공률 (ASR) 을 18.50% 줄이고 과도한 거부율 (ORR) 을 22.00% 줄입니다.
• 유용성 보존: 이 방법은 다양한 NLP 작업 (문법, 추론, 감정, 수학) 에서 원래 모델의 유용성을 평균 95.92% 보존합니다. 이는 약 40% 의 유용성 손실을 겪은 SCANS 와 VectorSteer 와 같은 베이스라인을 능가합니다.
• 어블레이션 통찰:
  • 벡터 정확도: SVM 을 통한 정확한 벡터 식별이 중요합니다; 벡터를 90°로 무작위화하면 F1 점수가 크게 떨어집니다.
  • 반복 횟수: 수렴은 모델마다 다릅니다; 일부 모델 (예: Phi-4) 은 과도한 수정에 민감한 반면, 다른 모델 (예: Qwen3) 은 더 많은 반복을 통해 혜택을 봅니다.
  • 레이어 선택: 너무 많은 레이어나 초기 레이어를 수정하면 유용성이 저하되며, 이는 안전성 결정에는 후기 레이어가 더 중요하고 초기 레이어는 일반 능력을 유지한다는 것을 확인시켜 줍니다.

중요성과 주장

이 논문은 LLM-VA 가 LLM 에서 안전성과 답변 결정의 구조적 독립성을 해결함으로써 재일브레이크 - 과도한 거부 트레이드오프를 근본적으로 해결한다고 주장합니다. 이러한 결정 벡터들을 기하학적으로 정렬함으로써, 이 방법은 모델이 입력이 안전하다고 판단할 때만 답변하고 유해하다고 판단할 때 거절하도록 보장하며, 값비싼 재학습 없이 이를 가능하게 합니다.

저자들은 이를 효율적인 안전 정렬을 향한 중요한 단계로 위치시키며, 모델 유용성을 보존하면서 안전성 지표를 크게 개선하는 "플러그 앤 플레이" 솔루션을 제시합니다. 그러나 그들은 이진 유해성 가정에 대한 의존성, SVM 을 위한 레이블된 훈련 데이터 필요성, 추론 모델 (Chain-of-Thought) 에 대한 어려움, 그리고 특정 튜닝 없이 보이지 않는 데이터셋 간 전이성의 부재와 같은 한계를 겸손하게 인정합니다. 또한 위협 환경이 진화함에 따라 정렬의 정적 특성이 주기적인 업데이트를 필요로 할 수 있음을 지적합니다.