Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

기술 요약: 페어니스 프루닝 (Fairness Pruning)

문제 정의
대규모 언어 모델(LLM)은 사전 학습 코퍼스에 존재하는 인구통계학적 편향을 상속하고 증폭한다. 현재의 완화 전략은 세 가지 별도의 생애 주기 단계에서 작동한다: 사전 학습 데이터 필터링, 사후 학습 미세 조정/정렬(alignment), 그리고 사후 처리 표현 편집(representation editing). 저자들은 이러한 접근 방식들이 구조적 결함을 공유한다고 주장한다: 즉, 이들은 모든 모델 가중치에 동시에 개입하거나, 편향을 인코딩하는 가중치와 일반적인 능력을 지원하는 가중치를 구분하지 않고 임베딩을 수정한다. 이러한 구체성 결여는 일반적인 모델 성능을 저하시키거나 파괴적 망각(catastrophic forgetting)을 초래할 위험이 있다. 메카니즘적 해석 가능성(예: 희소 오토인코더, Sparse Autoencoders)이 정밀함을 제공하기는 하지만, 이는 추가적인 훈련을 위한 상당한 계산 자원을 요구하며, 이는 대규모 개입과 정밀하고 저렴한 편향 해부 사이의 간극을 만든다.

방법론: 페어니스 프루닝 (Fairness Pruning)
본 논문은 추가 훈련 없이 인구통계학적 편향을 찾아내고 완화하도록 설계된 경량화된 구조적 개입 방법인 "페어니스 프루닝"을 제안한다. 이 방법은 GLU 기반 MLP 아키텍처(예: Llama, Salamandra)에 특화되어 있으며, 4단계 파이프라인을 통해 작동한다:

1. 대조적 프롬프트 구성 (Contrastive Prompt Construction): 이 방법은 단 하나의 인구통계학적 속성(예: "남성" vs "여성")만을 차이로 두는 최소한의 대조적 프롬프트 쌍을 활용한다. 유효한 활성화 비교를 보장하기 위해, 쌍 내의 두 프롬프트는 반드시 정확히 동일한 토큰 수로 토큰화되어야 한다. 저자들은 연령, 성별, 외모, 인종/민족, 종교의 5개 카테고리를 다루는 두 개의 공개 데이터셋(영어 및 스페인어)을 출시했다.
2. 차분 활성화 캡처 (Differential Activation Capture): 추론 과정 중에, 이 방법은 MLP 블록의 down_proj 레이어 입력 시점의 활성화를 캡처한다. SwiGLU 아키텍처에서 뉴런의 실질적인 기여도는 gate_proj와 up_proj 출력의 곱이며, 이것이 다시 down_proj에 의해 투영되기 때문에 이 특정 지점이 선택되었다.
3. 뉴런 스코어링 (Neuron Scoring):
   • BiasScore (편향 점수): 한 카테고리 내의 모든 쌍에 대해 평균을 낸, 프롬프트 쌍 내 두 프롬프트의 평균 활성화 절대 차이로 계산된다. 이는 인구통계학적 변화에 차별적으로 반응하는 뉴런을 식별한다.
   • FairnessPruningScore (페어니스 프루닝 점수): BiasScore와 구조적 중요도(PPM, Peak-to-Peak Magnitude를 통해 추정)를 결합한 복합 지표이다. 그러나 탐색적 실험(≤40개 뉴런 제거)에서 저자들은 개입 규모가 너무 작아 구조적 중요성을 패널티로 줄 필요가 없었기에, BiasScore만으로도 충분하다는 것을 발견했다.
4. 선택적 제로화 (Selective Zeroing): 식별된 뉴런들은 gate_proj와 up_proj 가중치의 해당 행(row) 및 down_proj 가중치의 해당 열(column)을 제로(0)로 설정함으로써 "제로화"된다. 이 대칭적 연산은 해당 뉴런이 잔차 스트림(residual stream)에서 제거되도록 보장한다.

주요 기여

1. 훈련이 필요 없는 로컬라이제이션 방법: 대조적 프롬프트에 대한 차분 활성화를 사용하여 LLM의 인구통계학적 편향을 찾아내는 방법으로, 추가 훈련 없이 소비자용 하드웨어에서도 실행 가능하다.
2. 공개 데이터셋: BBQ 및 EsBBQ 벤치마크와 정렬된 영어 및 스페인어 대조 프롬프트 쌍의 두 데이터셋을 공개한다.
3. 해리 가능한 회로(Dissociable Circuits)의 실증적 증거: 인구통계학적 속성 처리와 일반적인 모델 능력이 충분히 해리 가능한 회로에서 작동함을 입증하여, 추론이나 지식의 저하 없이 표적 개입이 가능함을 보여준다.
4. 양방향 불안정화(Bidirectional Destabilization)의 발견: 부호가 없는(unsigned) 차분 활성화 점수에 의해 선택된 뉴런을 제로화하는 것이 집합적 편향에 비단조적이고 부호가 반전되는 효과를 생성한다는 증거를 제시한다. 이는 선택된 후보 집합이 스테레오타입을 증폭하는 뉴런과 이를 억제하는 뉴로를 혼합하고 있으며, 순 효과는 어떤 부호가 지배하느냐에 따라 달라짐을 나타낸다.

결과

• 로컬라이제이션 (Localization): 편향 신호는 MLP 블록의 최종 레이어에서 견고하게 국지화된다. Salamandra-2B의 경우, 특정 카테고리에 대해 가장 편향된 뉴런의 최대 94%가 최종 레이어에서 발견되었다. 이 뉴런들의 공간적 구조는 레이어 너비에 걸쳐 흩어져 있으며 연속적이지 않다.
• 회로 특이성 (Circuit Specificity): 서로 다른 인구통계학적 카테고리의 회로 간 중첩이 매우 낮다(예: 성별 회로는 다른 회로와 매우 적은 뉴런을 공유함). 이는 기능적 전문화를 시사한다.
• 개입 효과 (Intervention Effects):
  • 편향 (Bias): 식별된 뉴런을 제로화하는 것이 편향의 평탄한 감소를 가져오지는 않았다. 대신, "양방향 편향 불안정화"를 일으켰다. 어떤 경우에는 편향이 감소했지만, 다른 경우에는 편향이 증폭되거나 반전되었다(예: 스테레오타입에서 반-스테레오타입으로 이동). 이는 선택된 뉴로들이 조절자로서 상반된 효과를 가진다는 것을 확인시켜 주며, 이들을 맹목적으로 제로화하면 변조 메커니즘이 무너진다는 것을 의미한다.
  • 능력 (Capabilities): 개입은 매우 정밀했다. Llama-3.2-1B에서 최대 40개의 뉴런(전체 MLP 너비의 0.031% 미만)을 제로화했을 때, 추론 및 일반 지식 벤치마크(WikiText, MMLU, ARC-Challenge, HellaSwag)에서 평균 **99.49%**의 유지율을 보였다.
• 질적 관찰: 생성된 텍스트 예시들은 동일한 제로화된 뉴런 세트가 한 문맥에서는 편향을 줄이는 반면 다른 문맥에서는 증폭할 수 있음을 보여주었으며, 사실적 지식(예: "프랑스의 수도")은 전혀 변경하지 않을 수 있음을 보여주었다.

의의 및 주장
본 논문은 "맹목적 제로화(blind zeroing)"에서 "방향성 행동 변조(directional behavior modulation)"로 전환하기 위한 방법론적 토대를 구축한다고 주장한다.

• 해리성 (Dissociability): 주요 발견은 편향 처리와 일반 능력이 해리 가능하다는 것이며, 이는 편향이 널리 퍼져 있는 것이 아니라 식별 가능한 뉴런에 집중되어 있다는 가설을 검증한다.
• 부호 없는 지표의 한계: 부호 없는 차분 점수(크기만 고려)를 사용하는 것이 증폭기와 조절기를 혼동하기 때문에 예측 불가능한 결과를 초래한다는 점을 강조한다.
• 향atic 방향 (Future Direction): 저자들은 다음 단계가 단순히 더 많은 뉴런을 제거하는 것이 아니라, 데이터셋을 비대칭적(사전에 어떤 프롬프트가 편향되었는지 아는 것)으로 진화시키는 것이라고 주장한다. 이를 통해 부호가 있는(signed) BiasScore를 사용하여, 그래디언트 업데이트 없이 모델을 중립성을 향해 밀어붙이는 "활성화 스티어링(activation steering, 곱셈적 스케일링)"이 가능해질 것이다.

이 연구는 범위 면에서 겸손하며, 40억 파라미터 미만의 모델에 국한되어 있고 여러 선택형 벤치마크를 통한 명시적인 인구통계학적 속성에 집중하고 있다. 본 연구는 현재의 검증에서 어텐션 메커니즘과 개방형 생성 역학을 명시적으로 제외하였으며, 관찰된 불안정화 역학이 추가 연구 없이 직접적으로 이러한 설정으로 일반화될 수 있는지에 대해서는 유보적인 입장을 취하고 있다.