Neuron-Level Interventions for Gendered and Gender-Neutral Generation in Language Models

기술 요약: 언어 모델의 성별 및 성중립적 생성을 위한 뉴런 수준의 개입

문제 정의
대규모 언어 모델(LM)은 중립적인 입력이 주어지더라도 빈번하게 성별이 드러나는 언어를 생성하거나 고정관념을 강화한다. 기존 연구는 성별을 이진적 관점(여성 대 남성)으로 광범위하게 조사해 왔으나, 성중립적 형태(예: 단수 'they', 중립적 직업명)가 모델 표현 내에 어떻게 인코딩되는지에 대한 이해는 제한적이다. 또한, 기존의 완화 전략은 내부 메커니즘을 명시적으로 찾아내기보다는 추론 단계(예: 퓨샷 프롬프팅, 구조적 제약)에서 작동하는 경우가 많다. 본 연구가 다루는 구체적인 질문은 성별 관련 신호가 트랜스포머(Transformer)의 피드 피드 포워드 네트워크(FFN) 내 특정 뉴런에 국한될 수 있는지, 그리고 이 뉴서들이 의미를 보존하면서 여성형, 남성형 또는 성중립적 형태로 생성을 유도하기 위해 인과적으로 조작될 수 있는지 여부이다.

방법론
저자들은 세 가지 주요 단계로 구성된 뉴런 수준의 개입 프레 framework를 제안한다:

1. 뉴런 활성화 및 식별:
   본 연구는 트랜스포머 모델의 다층 퍼셉트론(MLP) 블록 내 중간 뉴런에 집중한다. 세 가지 성별 카테리($g \in \{masculine, feminine, neutral\}$)에 대해, 저자들은 성별 특화 텍스트 코퍼스를 사용하여 모든 뉴런의 활성화 통계량을 계산한다. 특정 성별에 강하게 결합되어 있으면서도 중첩을 최소화하는 뉴런을 식별하기 위해, 저자들은 **결합 배타성 점수(Combined Exclusivity Score)**를 도입한다. 이 점수는 레이어 $l$의 각 뉴런 $j$에 대해 세 가지 상호 보완적인 척도를 집계한다:

• 효과 크기 (Cohen's $d$): 대상 성별과 다른 모든 성별 간의 평균 활성화의 표준화된 차이.
• 로그 오즈 차이 ($\Delta$): 다른 성별 대비 대상 성별에 대한 양의 활성화 가능성.
• 상대적 평균 차이 ($r$): 활성화 크기의 비례적 차이.
  뉴럴은 특정 성별에 대해 가장 높은 배타성 점수를 달성하고 세 가지 지표 모두에서 사전 정의된 임계값을 충족하는 경우에만 선택된다.

2. 마스킹을 통한 제어된 생성:
   인과성을 검증하기 위해 저자들은 추론 시 개입을 수행한다. 저자들은 "베이스라인" 출력과 "마스킹된" 출력을 생성한다. 마스킹 조건에서는 "유지 전용(keep-only)" 전략을 적용한다: 대상 성별 $g$에 대해, $g$를 위해 식별된 뉴런은 활성 상태를 유지하는 반면, 다른 두 성별에 대해 식별된 뉴런은 마스킹(비활성화)된다. 이는 식별된 뉴런이 모델을 목표 성별 형태로 유도하는 데 충분한지를 테스트한다.

3. 평가 프로토콜:
   개입의 효과는 두 가지 데이터셋인 GCGender(기존 이진 데이터셋에 중립 버전을 추가하여 파생됨)와 InclusiveGender(포용적 언어 사전을 사용하여 큐레이션됨)를 통해 평가된다. 평가 지표는 다음과 같다:

• 키워드 기반 분석: 출력 내의 성별 특정 용어(남성형, 여성형, 중립형)의 비율이 베이스라인 대비 어떻게 변화하는지 측정한다.
• 인간 평가: "전반적인 아이디어 보존(Overall Idea Preservation, 의미적 유지)"과 "대상 성별 실현(Target Gender Realization, 성별 표기 정확도)"을 평가한다.

주요 기여

• 삼분법적 성별 분석: 본 연구는 여성, 남성, 성중립의 세 가지 카테고리를 명시적으로 식별하고 제어함으로써 기존의 이진 성별 연구를 확장한다.
• 새로운 식별 지표: 활성화의 중첩 문제를 해결하기 위해, 단일 성별 카테고리에 모호함 없이 결합된 뉴런을 격리하는 결합 배타성 점수 시스템을 도입한다.
• 새로운 데이터셋: InclusiveGender(카테고리당 8,600개 문장)를 큐레이션하고 중립적 변형을 포함하도록 GCGender를 확장하였으며, 높은 품질과 낮은 모호성을 위해 인간 주석을 통해 검증하였다.
• 인과적 검증: 특정 뉴런을 마스킹하는 것이 의미적 무결성을 유지하면서 성별화된 출력을 인과적으로 변화시킨다는 것을 입증하는 엄격한 프로토콜을 제시한다.

결과
Llama-3.1-8B 및 Qwen2.5-7B에서 수행된 실험을 통해 다음과 같은 결과가 도출되었다:

• 레이어 분포: 성별 특화 뉴런은 균등하게 분포되어 있지 않다. 이들은 모델의 초기 레이어(통상적으로 레이어 0–3)에 집중되어 있으며, 중간 및 후기 레이어의 기여도는 현저히 낮다. 이는 후기 레이어에서 뉴런을 식별하는 경傾向이 있는 경쟁 방법들(LAPE, sNeuron-TST)과 대조적이다.
• 제어 정밀도: 제안된 방법은 기존 베이스라인보다 더 정밀한 성별 제어를 달ach한다. 특정 성별을 목표로 할 때, 이 방법은 대상 성별 용어의 비율을 성공적으로 유지하거나 증가시키는 동시에 비대상 성별 용어를 억제한다. 경쟁 방법들은 "누출(leakage)" 현상을 보였으며, 종종 목표가 남성형일 때 중립형 용어를 증가시키는 등 관련 없는 성별 비율을 팽창시켰다.
• 품질 트레이드오프: 인간 평가 결과, 제안된 개입 방법은 베이스라인에 비해 "대상 성별 실현"을 유의미하게 개선했다. 문구 변화에 대한 주관적 판단으로 인해 "전반적인 아이디어 보존"에서 미미한 감소가 있었으나, 핵심 의미는 대체로 유지되었다.
• 데이터셋 민감도: 연구는 작은 훈련 세트(GCGender의 경우)가 특히 중립 카테고리에 대해 더 노이즈가 많은 뉴런 식별을 초래할 수 있음을 주목하였으며, 이는 데이터 볼륨이 배타성 필터링의 정밀도에 영향을 미침을 시사한다.

의의 및 주장
본 논문은 LM에 성별이 어떻게 인코딩되는지 이해하기 위한 단순하면서도 효과적인 접근법을 제공한다고 주장한다. 성별 표현이 (전체 파라미터의 1% 미만인) 매우 적은 비율의 뉴런에 집중되어 있으며 초기 레이어에 밀집되어 있다는 것을 보여줌으로써, 본 연구는 성별 생성에 대한 기계적 설명을 제공한다. 저자들은 뉴런 수준의 개입이 출력 중심의 완화 전략보다 내부 모델 행동에 대한 더 명확한 이해를 제공한다고 주장한다. 저자들은 이 작업이 제어된 성별 개입을 위한 기초적인 단계로서, 뉴런 기반 편향 완화를 평가하고 향후 모델 배포 시 성별 편향을 줄이는 데 활용될 수 있는 도구를 제공한다고 위치시킨다. 저자들은 자신의 연구가 현재 7~8B 파라미터 모델에 국리되어 있고 작은 데이터셋이 뉴런 선택에 노이즈를 유발할 수 있음을 인정하며 겸허한 태도를 유지한다.