Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs

1. 연구 배경 및 문제 제기 (Problem)

안전하게 정렬 (Safety-aligned) 된 대규모 언어 모델 (LLM) 은 유해한 요청을 거절하도록 훈련되지만, 동시에 과거부 (Over-refusal) 현상을 보입니다. 이는 모델이 실제로는 안전하지만 유해한 지시와 유사하게 보이는 문맥 (예: 민감한 단어가 포함된 감정 분석이나 번역 작업) 에서도 부당하게 거절하는 오류입니다.

• 기존 접근법의 한계: 기존 연구 (Arditi et al., 2024 등) 는 '거절 방향 (Refusal Direction)'을 추출하여 모델의 숨겨진 상태 벡터를 조정 (Steering) 하거나 제거 (Ablation) 하는 방식으로 거절을 제어했습니다.
• 핵심 문제: 이러한 전역적 (Global) 방향 제거는 유해한 거절 (Harmful-refusal) 을 줄이는 데 효과적이지만, 과거부 (Over-refusal) 를 해결하는 데는 부수적인 효과만 있을 뿐, 오히려 모델의 안전 메커니즘을 교란시킵니다.
• 가설: 저자들은 유해한 거절과 과거부가 기하학적으로 다른 표현 공간 (Representation Subspace) 에 존재하며, 특히 과거부는 작업 (Task) 에 의존적인 고차원 구조를 가진다고 가정합니다.

2. 연구 방법론 (Methodology)

저자는 LLaMA-3.1-8B-Instruct 모델을 사용하여 5 가지 NLP 작업 (감정 분석, 번역, RAG 기반 QA, 문장 재구성, 암호 해독) 과 다양한 데이터셋 (Stanford Alpaca, XSTest, JailbreakBench 등) 을 활용했습니다.

• 데이터 분류:
  • 유해한 거절 (Harmful-refusal): 실제로 위험한 요청에 대한 올바른 거절.
  • 과거부 (Over-refusal): 안전한 요청이지만 민감한 표현으로 인해 잘못 거절된 경우.
• 기하학적 분석 (Geometrical Analysis):
  • 차이 평균 방향 (DIM): 각 레이어의 잔류 스트림 (Residual Stream) 에서 거절된 샘플과 답변된 샘플의 평균 활성화 벡터 차이를 계산하여 거절 방향 벡터를 추출했습니다.
  • 클러스터링 및 PCA: 작업별 (Task-specific) 거절 방향이 수렴하는지, 혹은 분산하는지 시각화하고, 실루엣 점수 (Silhouette Score) 로 클러스터 분리도를 측정했습니다.
  • 주성분 분석 (PCA): 유해한 거절과 과거부가 각각 몇 개의 주성분 (Principal Components) 으로 설명되는지 분석하여 차원성을 비교했습니다.
• 기계적 해석 (Mechanistic Interpretability):
  • 선형 프로빙 (Linear Probing): 각 레이어의 활성화에서 거절 유형 (과거부 vs 유해 거절) 을 선형 분류기로 구분 가능한지 확인했습니다.
  • 인과적 패칭 (Causal Patching): 특정 어텐션 헤드의 출력을 다른 입력의 것으로 교체하여 거절 결정에 미치는 인과적 영향을 측정했습니다.
  • 조향 실험 (Steering Experiments): 전역 거절 방향 제거와 작업 조건부 조향 (Task-conditioned Steering) 을 비교하여 과거부 감소 효과를 측정했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

1) 유해한 거절은 단일 보편적 방향으로 설명됨

• 결과: 유해한 거절 방향은 입력 내용이나 작업 유형과 무관하게 작업 무관 (Task-agnostic) 합니다.
• 증거: 중간 레이어 (Layer 11, 17) 에서 모든 작업의 유해한 거절 방향 벡터가 하나의 보편적인 벡터로 수렴합니다. 따라서 단일 전역 벡터로 유해한 거절을 효과적으로 제어할 수 있습니다.

2) 과거부는 작업 의존적이며 고차원 부분공간을 차지함

• 결과: 과거부 방향은 작업 의존적 (Task-dependent) 입니다.
• 증거:
  • 과거부 샘플들은 별도의 '거절 영역'이 아니라, 해당 작업의 정상적인 클러스터 내부에 위치합니다.
  • 작업별 과거부 방향 벡터는 서로 수렴하지 않고 분산하며, 각 작업 내에서만 일관성을 가집니다.
  • 고차원성: 유해한 거절은 저차원 부분공간에 집중되는 반면, 과거부는 더 많은 주성분 (Higher-dimensional subspace) 을 필요로 합니다. 이는 단일 벡터로 과거부를 정확히 제어할 수 없음을 의미합니다.

3) 거절 유형의 조기에 분리 가능성

• 결과: 선형 프로빙 실험을 통해 거절 유형 (과거부 vs 유해 거절) 은 트랜스포머의 초기 레이어 (Layer 1) 부터 선형적으로 구분 가능함을 확인했습니다.
• 의미: 이는 모델이 입력 단계에서 이미 '잘못된 거절'과 '올바른 거절'을 구분하는 신호를 가지고 있음을 시사하며, 추론 시 가벼운 개입이 가능함을 보여줍니다.

4) 전역 제거의 실패와 작업 조건부 조향의 성공

• 전역 제거 (Global Ablation): 전역 거절 방향을 제거하면 유해한 거절은 크게 감소하지만, 과거부 감소 효과는 미미하며 오히려 안전 메커니즘을 손상시킵니다 (과거부 감소율 / 유해 거절 감소율 < 1).
• 작업 조건부 조향 (Task-conditioned Steering): 작업별 기하학적 구조를 고려한 조향은 과거부를 0% 로 완전히 제거하면서도 유해한 거절 메커니즘은 더 잘 보존했습니다.

5) 분산된 회로 구조 (Distributed Circuit)

• 결과: 인과적 패칭 실험에서 단일 어텐션 헤드가 거절의 '병목 (Bottleneck)' 역할을 하지 않았습니다.
• 해석: 거절 행동은 여러 레이어와 작업별 헤드에 분산되어 (Distributed) 구현되며, 특정 헤드를 제거한다고 해서 거절 신호가 사라지지 않습니다. 이는 잔류 스트림 (Residual Stream) 수준에서의 개입이 필수적임을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

이 논문은 정렬된 LLM 의 거절 행동을 단순한 '안전/위험'의 이분법이 아닌, 기하학적 구조의 차이로 설명하는 새로운 관점을 제시합니다.

1. 메커니즘적 설명: 전역적 방향 제거가 과거부 해결에 실패하는 이유는 과거부가 유해한 거절과 다른 기하학적 부분공간 (작업 의존적, 고차원) 에 존재하기 때문임을 입증했습니다.
2. 해결책 제시: 과거부 문제를 해결하기 위해서는 모델의 재학습 없이도 작업 조건부 (Task-conditioned) 기하학적 개입이 필수적임을 규명했습니다.
3. 실용적 함의: 초기 레이어에서 거절 유형을 감지하고, 작업별 특성에 맞는 정밀한 조향을 수행하는 경량화된 추론 시간 (Inference-time) 개입 전략의 가능성을 제시합니다.

결론적으로, 안전 정렬 모델의 과잉 거절 문제를 해결하려면 "단일한 거절 벡터"를 제거하는 것이 아니라, 작업별 표현 구조를 고려한 정밀한 기하학적 개입이 필요하다는 것이 이 연구의 핵심 결론입니다.