Silenced Biases: The Dark Side LLMs Learned to Refuse

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 의료, 경제, 정책 등 고위험 분야에서 널리 사용되고 있으며, 공정성 (Fairness) 이 매우 중요합니다. 그러나 기존 편향 평가 방법론은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 거부 (Refusal) 에 의한 편향 은폐: 안전 정렬 (Safety Alignment) 을 거친 모델은 민감하거나 편향적인 질문을 받으면 "도움할 수 없다"는 식으로 거절합니다. 기존 벤치마크는 이러한 거절 반응을 '공정함' 또는 '안전함'의 긍정적 지표로 오해하여, 실제 모델 내부에 존재하는 편향을 놓치게 됩니다.
• 표면적 평가의 한계: 기존 방법 (직접적 질문, 프롬프트 조작, 재규정 질문 등) 은 모델이 거절하는 경우를 처리하지 못하거나, 프롬프트 조작 자체가 새로운 편향을 도입하여 신뢰성을 떨어뜨립니다.
• 잠재적 편향의 존재: 모델이 외부적으로는 거절하더라도, 내부 잠재 공간 (Latent Space) 에는 여전히 편향된 연관성이 존재할 수 있으며, 이는 안전 정렬에 의해 '침묵 (Silenced)'된 상태입니다.

2. 방법론 (Methodology)

저자들은 **침묵된 편향 (Silenced Biases)**을 정의하고 이를 탐지하기 위한 새로운 프레임워크를 제안합니다.

A. 침묵된 편향 (Silenced Bias) 의 정의

안전 정렬로 인해 모델이 출력 단계에서 거부 (Refusal) 하도록 학습되었지만, 내부 표현 (Internal Representations) 에는 여전히 편향된 선호도가 인코딩되어 있는 상태를 말합니다.

B. 거부 유도 (Refusal Steering) 기술

모델이 거부하는 반응을 억제하고, 원래 의도했던 (편향된) 답변을 생성하도록 유도하기 위해 활성화 조종 (Activation Steering) 기법을 사용합니다.

• 거부 방향 (Refusal Direction) 추출: 해로운 (Harmful) 프롬프트와 해롭지 않은 (Harmless) 프롬프트의 활성화 벡터 차이를 계산하여 모델이 거부를 수행하는 특정 방향 벡터 ($r_i^{(l)}$) 를 학습합니다.
• 조종 (Steering) 적용: 추론 시 모델의 활성화 벡터에서 이 거부 방향 성분을 제거 (Direction Ablation) 하거나 빼냄 (Direction Subtraction) 으로써, 모델이 거부하지 않고 민감한 질문에 답변하도록 만듭니다.
  • 수식: $x' \leftarrow x - \hat{r}\hat{r}^\top x$ (방향 제거) 또는 $x^{(l)'} \leftarrow x^{(l)} - r^{(l)}$ (단일 레이어에서 빼기).

C. 침묵된 편향 벤치마크 (SBB, Silenced Bias Benchmark)

• 데이터 구성: 30 개의 주제 (Subject), 16 개의 인구통계학적 카테고리 (Demographic Category), 10 개의 쿼리 변형 (Query Variation) 을 조합하여 총 4,800 개의 질문을 생성합니다.
  • 주제: 긍정적 (고용 기회), 부정적 (범죄자), 중립적 (일상 활동) 으로 분류.
  • 인구통계: 인종, 종교, 국적, 성별 등 10 개의 그룹을 포함.
• 평가 지표:
  • 인구통계적 평등 차이 (Demographic-Parity Difference, DPD): 특정 그룹 간 선택 확률의 최대 차이.
  • KL 발산 (Kullback-Leibler Divergence): 모델의 출력 분포가 균일 분포 (완전한 공정성) 에서 얼마나 벗어났는지 측정.

3. 주요 기여 (Key Contributions)

1. 새로운 편향 개념 제시: 안전 정렬에 의해 가려진 '침묵된 편향'을 정의하고, 기존 벤치마크가 이를 포착하지 못함을 증명했습니다.
2. 편향 노출을 위한 거부 유도 기법: 프롬프트 조작 (Jailbreak) 이 아닌, 모델 내부의 활성화 방향을 조작하여 거부 필터를 우회하는 객관적인 방법론을 제안했습니다. 이는 편향 자체를 왜곡하지 않고 기존 편향을 드러냅니다.
3. SBB 벤치마크 개발: 확장 가능한 구조를 가진 새로운 평가 프레임워크를 공개했습니다.
4. 대규모 실증 분석: 10 개의 주요 오픈소스 LLM (Llama, Gemma, Qwen 계열) 에 대해 10 만 개 이상의 QA 프롬프트를 실행하여 체계적인 평가를 수행했습니다.

4. 실험 결과 (Results)

• 편향의 존재 확인: 거부 유도 (Refusal Steering) 를 적용하지 않은 경우, 모델들은 대부분 질문을 거절했습니다 (예: Llama-2-13B 는 82% 이상 거절). 그러나 유도 기술을 적용하자 모델은 명백한 편향된 답변을 생성했습니다 (예: 무슬림을 테러리스트로, 흑인을 재범자로 과다 선택).
• 기존 방법의 실패: 기존 재규정 질문 (Implicit Bias) 이나 자일브레이크 (Jailbreak) 공격은 일관된 편향을 드러내지 못하거나, 오히려 공격 자체에 의한 편향을 유발하여 신뢰도가 낮았습니다. 반면, 거부 유도는 일관된 편향 패턴을 보여주었습니다.
• 모델별 편향 차이:
  • 모델의 크기나 버전이 커질수록 편향이 반드시 줄어드는 것은 아닙니다. (예: Llama-2-7B 가 Llama-3 계열보다 공정성이 높게 나타남).
  • 모든 테스트된 모델 가족 (Family) 이 인구통계학적 그룹에 대해 통계적으로 유의미한 편향을 보였습니다.
  • 특정 모델은 특정 그룹 (예: Qwen-14B 의 경우 무슬림, 미국인 등) 에 대해 극단적인 편향을 보였습니다.
• 내부 표현의 분리: PCA 분석 결과, 모델이 거절하더라도 내부 활성화 공간에서는 편향된 답변과 편향되지 않은 답변이 명확히 분리되는 클러스터를 형성하고 있음을 확인했습니다. 즉, 편향은 출력 단계에서 억제될 뿐 내부에는 살아있습니다.

5. 의의 및 결론 (Significance)

• 안전 정렬의 한계 규명: 안전 정렬 (Safety Alignment) 이 편향을 완전히 제거한 것이 아니라, 단지 '표면적으로' 숨겨놓았을 뿐임을 실증했습니다. 이는 모델이 사용자의 인구통계학적 정보를 추론하여 사용자에게는 보이지 않지만 내부적으로는 편향된 의사결정을 할 수 있음을 시사합니다.
• 새로운 평가 패러다임: 기존에 '거절'을 긍정으로 간주하던 평가 방식을 재고하고, 내부 잠재 공간의 편향을 탐지할 수 있는 새로운 기준 (SBB) 을 제시했습니다.
• 향후 방향: 단순한 QA 를 넘어 추론 체인 (Reasoning Chains), 긴 형식 생성, 에이전트 행동 등 더 복잡한 시나리오에서의 침묵된 편향 연구와, 이를 해결하기 위한 효과적인 편향 제거 (Debiasing) 전략 개발의 필요성을 강조합니다.

이 논문은 LLM 의 안전성과 공정성 평가에 있어 거부 (Refusal) 가 가리는 어두운 면을 드러내고, 이를 과학적으로 측정할 수 있는 도구와 이론적 기반을 마련했다는 점에서 중요한 의미를 가집니다.