GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

기술적 요약: GKnow: 성 편향과 사실적 성별의 얽힘 측정

문제 제기
최근 기계적 해석 가능성 연구는 편향된 출력을 담당하는 특정 구성 요소를 분석함으로써 대규모 언어 모델 (LLM) 의 성 편향을 식별하고 완화하는 데 초점을 맞추고 있습니다. 그러나 현재 접근법은 두 가지 주요 한계를 안고 있습니다: (i) 성별 대명사 예측과 같이 매우 구체적인 작업을 대상으로 하는 경우가 많으며, (ii) 사실적 성별(명사와 그 성별 간의 올바른 의미적 연관, 예: "woman" $\to$ "she") 과 고정관념적 성별(사회적 고정관념에 기반한 출력, 예: "nurse" $\to$ "she") 을 구분하지 못합니다.

이러한 구별의 부재는 편향 제거 노력에서 치명적인 부작용을 초래합니다. 즉, 모델의 사실적 성별 지식이 저하되는 것입니다. 기존 연구는 성 편향과 사실적 성별 신호가 모델의 내부 표현 내에서 얽혀 있음을 시사하지만, 회로 및 뉴런 수준에서의 이러한 얽힘에 대한 기계적 이야기는 여전히 largely 설명되지 않았습니다. 따라서 뉴런 제거 (ablation) 와 같은 단순한 편향 제거 기법은 편향 벤치마크에서 성공을 주장하면서도 모델이 사실적 성별을 올바르게 예측하는 능력을 실수로 제거할 수 있습니다.

방법론
이러한 격차를 해결하기 위해 저자들은 Llama-3.1-8b와 Olmo-7b라는 두 가지 디코더 전용 트랜스포머 모델에 대해 데이터셋 구축, 회로 분석, 뉴런 제거 실험을 결합한 다면적 접근법을 제안합니다.

1. 데이터셋 구축 (GKnow):
   저자들은 다양한 예측 유형에 걸쳐 성별 지식과 편향을 평가하도록 설계된 벤치마크인 GKnow를 소개합니다. GKnow 는 *가정 (주체)*과 예상 출력에 따라 프롬프트를 분류합니다. 데이터셋에는 다음이 포함됩니다:

   • 사실적 하위 집합: 어휘적으로 성별이 구분되는 명사 (예: "woman"), 이름, 명시적 성별 지시자에 기반합니다.
   • 고정관념적 하위 집합: 고정관념적으로 성별이 구분된 직업 (예: "nurse") 이나 특성 (예: "nurturing") 에 기반합니다.
   • 예측 유형: 성별 대명사 예측, 성별 식별, 이름 예측.
     GKnow 는 작업을 "고정관념적"(편향 발생 가능성 높음) 과 "사실적"(지식 기반) 범주로 분리하여 얽힘을 측정할 수 있게 합니다.

2. 회로 분석:
   EAP-IG(통합 기울기를 사용한 에지 귀속 패칭) 를 사용하여 성별 예측을 담당하는 최소한의 충실한 회로를 식별합니다. 저자들은 다음을 분석합니다:

   • 교집합 대 합집합 비율 (IoU): 서로 다른 작업에 대한 회로 간의 에지와 노드의 중첩을 측정합니다.
   • 교차 작업 충실도: 한 작업 (예: 고정관념적 예측) 에 대해 식별된 회로가 다른 작업 (예: 사실적 예측) 의 행동을 충실하게 재현할 수 있는지 평가합니다.

3. 뉴런 수준 분석 및 제거:
   저자들은 통합 기울기를 활용하여 작업 관련 뉴런, 특히 고정관념적 예측과 관련된 뉴런 (이는 편향 제거의 일반적인 대상임) 을 식별합니다. 그리고 상위 10 개 및 50 개로 식별된 뉴런에 대해 뉴런 제거(활성화를 0 으로 설정) 를 수행합니다.

   • 평가: 제거의 영향은 GKnow, StereoSet, 그리고 성별 지식과 편향의 분리된 평가를 위한 벤치마크인 DiFair에서 측정됩니다.
   • 지표: 연구는 $P_{exp}$(기대 토큰 확률), $P_{opp}$(반대 성별 토큰), $P_{other}$, 그리고 남성형 및 여성형 출력 간의 확률 차이 ($\Delta$) 를 추적합니다.

주요 결과

• 회로 수준 얽힘:

  • 고정관념적 및 사실적 성별 예측을 담당하는 회로는 높은 중첩과 낮은 분리를 보입니다.
  • 교차 작업 충실도가 높습니다: 고정관념적 작업에 대해 식별된 회로는 사실적 작업의 성능을 회복할 수 있으며 (그 반대의 경우도 마찬가지입니다). 예를 들어, gender_prediction_based_on_stereo 회로를 gender_prediction_based_on_pronoun 하위 집합에 적용했을 때 충실도가 1.0 에 달했습니다.
  • 이는 사실적 성별과 고정관념적 성별이 회로 수준에서 심각하게 얽혀 있음을 나타냅니다.

• 뉴런 수준 얽힘 및 제거 효과:

  • 고정관념적 프롬프트를 통해 식별된 뉴런을 제거하면 모델의 사실적 성별 예측 능력이 크게 감소합니다.
  • GKnow 사실적 하위 집합에서 상위 뉴런을 제거한 결과, $P_{exp}$가 급격히 감소했습니다 (예: Llama 의 경우 50 개 뉴런 제거 시 91.49% 에서 79.86% 로 하락) 하며 $P_{opp}$와 $P_{other}$는 증가했습니다.
  • 중요한 점은, 제거가 종종 고정관념적 벤치마크 (예: StereoSet 에서 고정관념적 예측에 대한 $P_{exp}$ 감소) 의 지표를 개선하지만, 이러한 "긍정적" 결과는 사실적 성별 능력의 동시 붕괴를 가린다는 것입니다.
  • 남성형과 여성형 출력 간의 확률 차이 ($\Delta$) 가 크게 감소하여 사실적 및 고정관념적 하위 집합 모두에서 성별 예측에 대한 확신이 손실되었음을 나타냅니다.

• 인간 해석 가능성:

  • Logit Lens 기법을 사용하여 저자들은 서로 다른 성별 작업에 걸쳐 공유되는 뉴런이 인간에게 해석 가능하다는 것을 발견했습니다. 예를 들어, Olmo 와 Llama 의 특정 뉴런은 사실적 및 고정관념적 맥락 모두에서 특정 성별 토큰 (예: "she"와 같은 대명사 또는 "Mary"와 같은 이름) 을 억제하거나 촉진하는 것으로 발견되었습니다.

주요 기여

1. GKnow 벤치마크: 영어에서 다양한 작업 유형에 걸쳐 성 편향과 사실적 성별 지식의 얽힘을 평가하기 위한 기존 자원의 격차를 메우는 GKnow 구축.
2. 회로 수준 증거: EAP-IG 를 통해 고정관념적 및 사실적 성별 신호가 동일한 계산 회로 내에서 얽혀 있음을 입증하여, 이를 쉽게 분리할 수 있다는 가정에 도전.
3. 뉴런 제거 분석: 특정 벤치마크에서 고정관념적 편향을 줄이는 데 잠재적으로 효과적일 수 있는 단순한 뉴런 제거가 사실적 성별 지식을 심각하게 훼손한다는 경험적 발견. 이는 제거가 편향 제거를 위한 신뢰할 수 있는 독립적 방법이 아님을 시사합니다.

의의 및 주장
이 논문은 성 편향과 사실적 성별의 얽힘이 현재 LLM 아키텍처의 근본적인 속성이며, 회로 및 뉴런 수준 모두에서 관찰 가능하다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 현재 편향 제거 방법은 결함이 있습니다: "편향 뉴런"을 대상으로 하는 뉴런 제거와 같은 기법은 근본적인 메커니즘이 공유되기 때문에 사실적 지식을 실수로 파괴합니다.
• 평가 벤치마크는 불충분합니다: StereoSet 과 같이 사실적 성별을 고려하지 않는 벤치마크는 편향 제거 시도로 인한 언어 능력 저하를 숨길 수 있습니다.
• 미래 작업은 견고한 평가가 필요합니다: 편향 감소와 함께 사실적 성별 지식의 보존을 명시적으로 측정하는 성별 편향 평가 데이터셋에 대한 긴급한 필요성이 있습니다.

저자들은 "필터링되지 않은 뉴런 제거"를 성별 편향 제거의 유일한 방법으로 삼는 것에 경고를 하며, GKnow 와 같은 견고한 벤치마크 없이는 편향 지표를 개선하는 대가로 기본적인 언어 이해를 희생할 위험이 있다고 강조합니다. 논문은 한계를 인정하며, 현재 발견된 내용은 영어와 상대적으로 작은 모델에 국한되며, 성별 편향이 직업 및 형용사 기반 고정관념으로 다루지 않은 형태로 나타날 수 있음을 지적합니다.