Toward Localizing and Repairing Bias in Transformer Attention Heads

기술 요약: 트랜스포머 어텐션 헤드의 편향 국소화 및 수정을 향하여

문제 정의
트랜스포머 언어 모델은 점차 소프트웨어 구성 요소로서 널리 배포되고 있으나, 이들의 편향된 출력은 여전히 국소화(localize)하고 수정하기 어렵다. 기존의 공정성 개입 방식은 대개 입출력 수준에서 작동하거나 전체 모델을 재학습시켜야 하며, 추론 시점의 공정성 실패를 유발하는 특정 내부 구조를 식별하지 못한다. 최근 연구에 따르면 마스크드 언어 모델(masked language models)의 편향 관련 동작이 소수의 어텐션 헤드에 집중될 수 있음이 밝혀졌으나, 현재의 헤드 수정 방식은 주로 "헤드 전체 제로화(whole-head zeroing)"에 의존한다. 이러한 접근법은 선택된 헤드가 주로 편향만을 인코딩한다고 가정하며, 이는 유용한 언어적 정보를 제거하여 모델 성능을 저하시킬 위험이 있다. 따라서 편향에 취약한 구성 요소를 국소화하고, 재학습 없이 제한적이고 표적화된 수정을 적용할 수 있는 화이트박스 디버깅 방법론이 필요하다.

방법론: ROBIN
본 논문은 화이트박스 방식의 헤드 수준 공정성 디버깅 방법인 ROBIN(Repair Of Bias via INtervention)을 소개한다. ROBIN은 훈련된 트랜스포머 모델 $f_\theta$와 공정성 프로브 쌍(성별 대명사와 같이 보호된 속성만 다른 텍스트 쌍)을 사용하여 두 단계로 작동한다.

1. 1단계: 헤드 랭킹 (국소화)
   ROBIN은 프로브 쌍($x_a$ 및 $x_b$) 간의 차이에 대한 민감도를 기준으로 어텐션 헤드의 순위를 매긴다.

   • 스코어링: 각 쌍에 대해, 이 방법은 각 헤드의 어텐션 가중치에 대한 손실 그래디언트(loss gradient)를 계산한다.
   • 집계: 각 헤드에 대해 두 가지 지표를 계산한다: 평균 그래디언트 크기($G_h$)와 평균 제곱 그래디언트 크기($C_h$). $G_h$는 쌍 전반에 걸친 일관된 민감도를 포착하며, $C_h$는 날카롭고 집중된 반응을 보이는 헤드를 포착한다.
   • 선택: 이 스코어들은 표준화된 후 합산되어 결합 랭크($F_h$)를 생성한다. 상위 $k$개의 헤드가 개입 대상으로 선택된다.

2. 2단계: 추론 시점 개입 (수정)
   선택된 헤드를 제로화하는 대신, ROBIN은 해당 헤드의 출력에서 편향 성분만을 제거한다.

   • 서브스페이스 추정: 선택된 각 헤드에 대해, 프로브 쌍 간의 차이 벡터를 분석하여 편향 서브스페이스(bias subspace)를 추정한다. 이 방법은 차이 벡터들의 상위 $r$개 우특이 벡터(right singular vectors)를 계산하여 편향 방향을 정의한다.
   • 투영: 추론 과정 중, 선택된 헤드의 출력($x_h$)은 추정된 편향 서브스페이스($V_h$) 내에 존재하는 성분을 투영하여 제거함으로써 수정된다:
     $$x'_h = x_h - V_h^\top V_h x_h$$
   • 이 연산은 헤드 출력의 직교 성분들을 유지함으로써, 일반적인 언어적 동작은 보존하면서 추정된 편향만을 제거한다.

주요 기여

• 프레임워크 설정: 저자들은 헤드 수준의 공정성 완화 문제를 후보 구성 요소의 국소화와 해당 구성 요소의 수정을 명시적으로 분리하는 화이트박스 소프트웨어 디버깅 작업으로 규정한다.
• 알고리즘: 편향에 민감한 어텐션 헤드를 식별하고, 추론 시점에 해당 헤드 출력의 편향 서브스페이스만을 제거함으로써 전체 헤드 절제(ablation)의 파괴적인 특성을 피하는 ROBIN을 제안한다.
• 실증적 증거: 네 가지 사전 학습된 트랜스포머 모델(BERT, DistilBERT, GPT-2, DistilGPT-2)에 대한 파일럿 연구를 통해, ROBIN이 WinoBias 격차를 줄이는 동시에 언어 모델링 손실 증가를 제한함을 입증하였다.

결과
$k=20$의 수정 헤드 예산을 가진 파일럿 연구 평가 결과:

• 공정성 개선: ROBIN은 네 가지 모델 모두에서 WinoBias 격차를 감소시켰다. 가장 유의미한 절대적 감소는 BERT에서 관찰되었으며, 격차가 45.97에서 19.14로 떨어졌다.
• 성능 보존: 상당한 언어 모델링 손실 증가(예: GPT-2에서 최대 8배 증가)를 유발하는 전체 헤드 제로화(Gradient 및 SquaredGrad 방식)와 달리, ROBIN은 모델 품질을 보존했다. BERT의 경우, ROBIN은 베이스라인에 근접한 낮은 언어 모델링 손실을 유지하면서도 가장 낮은 격차를 달로성했다. GPT-2에서도 손실 증가가 미미했다.
• 추론 비용: 개입은 선택된 헤드당 하나의 행렬 곱셈을 추가한다. $k=20$일 때, 지연 시간 오버헤드는 베이스 사이즈 모델의 경우 약 7%, 증류(distilled) 모델의 경우 11% 범위였다.
• StereoSet: StereoSet 스테레오타입 점수는 모델과 카테고리에 따라 일관되지 않은 움직임을 보여, 저자들은 WinoBias 격차를 주요 공정성 지표로 취급하였다.

의의 및 주장
본 논문은 헤드 수준의 편향 수리가 어떤 헤드를 선택하느냐뿐만 아니라 그 헤드들을 어떻게 수정하느냐를 고려해야 한다고 주장한다. 결과는 서브스페이스 제거가 전체 헤드 제로화보다 우수한 연산임을 시사하는데, 이는 어텐션 헤드가 종종 다중 기능(편향과 일반 언어 기능 모두)을 지원한다는 점을 인정하기 때문이다.

저자들은 ROBIN을 완전한 인과적 설명이나 모든 배포 환경에서의 공정성 보장이 아닌, 후보 국소화 및 측정 가능한 개입을 위한 도구로 정의한다. 저자들은 이 방법이 재학습 없이 제한된 수정을 제공하며, 이를 통해 사용자가 측정된 성능 저하를 바탕으로 선택 가능한 예산($k$)을 결정할 수 있다고 명시적으로 밝힌다. 또한, 랭킹과 평가에 중첩된 데이터를 사용한 점과 광범위한 다운스트림 태스크의 공정성보다는 특정 벤치마크(WinoBias)에 집중한 점 등 연구의 한계를 인정한다. 향-후 더 큰 모델, 지시어 튜닝(instruction-tuned) 변형 모델, 그리고 분리된 데이터 분포에 대한 평가가 필요함을 확인하였다.