기술 요약: GECOBench: 설명의 편향을 정량화하기 위한 성별 제어 텍스트 데이터셋 및 벤치마크

문제 정의

BERT와 같은 대규모 사전 학습 언어 모델(PLM)은 내재된 사회적 편향(성별 고정관념 포함)이 담긴 방대한 코퍼스로 학습됩니다. 이러한 편향이 모델의 가중치와 예측 행동에 영향을 미친다는 점은 알려져 있으나, 이것이 설명 가능한 인공지능(XAI) 방법론이 생성하는 **특성 기여도(feature attributions)**에 어느 정도까지 전파되는지는 여전히 불분명합니다. 특히, XAI 방법이 예측을 주도하는 특성을 올바르게 식별하는지, 아니면 사전 학습 데이터에 존재하는 편향되고 비인과적인 상관관계를 부주의하게 강조하는지를 평가할 수 있는 엄격한 데이터 중심 프레임워크가 부족합니다. 현재의 벤치마크는 종종 "충실도(faithfulness)" 지표나 인간이 주석을 단 근거(rationale)에 의존하는데, 이는 통계적 연관성이나 실제 특징 중요도(ground truth feature importance)와 일치하지 않을 수 있어, 편향이 존재하는 상황에서 설명의 정확성을 객적으로 평가하기 어렵게 만듭니다.

방법론

1. GECO 데이터셋

저자들은 성별 분류 작업을 위해 정답 특성 기여도(ground truth feature attributions)를 제공하도록 설계된 성별 제어 텍스트 데이터셋인 GECO를 소개합니다.

• 구성: 문장은 구텐베르크 프로젝트를 통한 고전 소설에 해당하는 위키피디아 페이지에서 추출되었습니다.
• 조작: 각 문장은 세 가지 문법적 성별 변체($x^M$, $x^F$, $x^{NB}$)로 생성됩니다.
  • 주어 단독 조작 ($D_S$): 오직 문법적 주어 대명사만 변경됩니다 (예: "She" $\to$ "He"). 이는 모델이 주어와 목적어의 성별을 구분해야 하는 더 까다로운 과제를 생성합니다.
  • 전체 성별 조작 ($D_A$): 모든 성별 관련 단어(대명사, 소유 대명사, "Aunt" $\to$ "Uncle"과 같은 성별이 드러나는 명사)가 변경됩니다.
• 정답(Ground Truth): 구조상 변경된 단어들이 유일한 식별 특성입니다. 따라서 정답 특성 기여도 맵은 이진(binary) 형태입니다: 변경된 단어는 1, 나머지는 0입니다. 이를 통해 XAI 방법이 통계적으로 연관된 특성을 제대로 강조하는지(통계적 연관성 속성 - SAP)를 객관적으로 평가할 수 있습니다.
• 편향 검증: 저자들은 공생(co-occurrence) 지표를 사용하여 데이터셋 자체가 편향되지 않았음을 검증함으로써, 모델 설명의 편차가 데이터가 아닌 모델의 사전 학습 편향에서 비롯되었음을 보장합니다.

2. GECOBench 프레임워크

GECOBench는 XAI 성능을 평가하기 위해 GECO 데이터셋에 적용되는 정량적 평가 프레임워크입니다.

• 모델: 이 프레임워크는 서로 다른 아키텍처 레이어의 영향을 격리하기 위해 네 가지 학습 패러다임 하에서 사전 학습된 BERT 모델을 평가합니다.
  1. BERT-C: 분류 레이어만 재학습하며, 임베딩 및 어텐션 레이어는 고정됩니다.
  2. BERT-CE: 임베딩 및 분류 레이어를 처음부터 재학습하며, 어텐션은 고정됩니다.
  3. BERT-CEf: 임베딩 및 분류 레이어를 파인튜닝하며, 어텐션은 고정됩니다.
  4. BERT-CEfAf: 임베딩, 어텐션, 분류 레이어를 모두 파인튜닝합니다.
  • 베이스라인: GECO에 대해 처음부터 학습된(사전 학습 편향이 없는) 제로샷 BERT 모델(BERT-ZS)과 바닐라 1-레이어 어텐션 모델(OLA-CEA)이 비교 대상으로 사용됩니다.
• 평가 대상 XAI 방법: 그래디언트 기반 접근 방식(Saliency, InputXGradient, DeepLift, Guided Backpropagation, Integrated Gradients)과 대리(surrogate) 방법(LIME, Kernel SHAP, Gradient SHAP)을 포함한 다양한 사후(post-hoc) 기여도 방법을 적용합니다.
• 평가 지표: 정확도를 정량화하기 위해 질량 정확도(Mass Accuracy, MA) 지표를 사용합니다. MA는 정규화된 기여도 점수와 이진 정답 마스크 사이의 중첩을 측정하며, 거짓 양성(정답이 아닌 단어를 강조하는 경우)에 페널티를 부여하면서 거짓 음성(정답 단어를 놓치는 경우)에는 관대합니다.
• 편향 정량화: 저자들은 제로샷 베이스라인으로부터 설명 성능의 편차를 측정하여 "설명 편향"을 측정하는 **상대적 질량 정확도(Relative Mass Accuracy, RMA)**를 정의합니다.

주요 기여

1. GECO 데이터셋: 단어 수준의 정답 특성 기여도를 제공하여 통계적 연관성에 기반한 XAI 정확도의 객관적 평가를 가능하게 하는 새로운 성별 제어 텍스트 데이터셋.
2. GECOBench: 사전 학습 편향이 특성 기여도에 어떻게 영향을 미치는지, 그리고 파인튜닝 전략이 이러한 편향을 어떻게 완화하는지 정량화하는 엄격한 벤치마킹 워크플로우.
3. 설명의 편향에 대한 실증적 분석: 특성 기여도 방법이 사전 학습 편향에 취약하며, 설명의 정확도가 모델의 어떤 레이어를 파인튜닝하느냐에 따라 크게 달라짐을 입증함.

결과

설명 성능 (RQ1)

• 데이터셋 난이도: 모든 방법에서 주어 단독 데이터셋($D_S$)의 성능이 전체 성별 데이터셋($D_A$)보다 일반적으로 낮게 나타났는데, 이는 식별 가능한 토큰의 수가 적기 때문으로 보입니다.
• 방법론 비교: Integrated Gradients, LIME, Gradient SHAP가 다른 방법 및 랜덤 베이스라인보다 일관되게 우수한 성능을 보였습니다.
• 베이스라인 비교: 패턴 변이(Pattern Variant, 입력-타겟 공분산에 기반한 모델 독립적 방법)는 성능의 상한선 역할을 합니다. 어떤 방법도 패턴 변이의 점수에 도달하지 못했지만, Integrated Gradients와 Gradient SHAP는 전이 학습 환경에서 좋은 성능을 보였습니다.
• 편향 없는 모델: 사전 학습 없이 처음부터 학습된 OLA-CEA 모델은 모든 방법에서 현저히 높은 설명 성능을 보여, 사전 학습 편향이 설명 품질을 저하시린다는 것을 확인시켜 주었습니다.

편향 완화 (RQ2)

• 레이어 의존성: 설명 성능과 파인튜닝된 레이어 수 사이에는 명확한 의존 관계가 존재합니다.
• 임베딩의 영향: 임베딩 레이어를 재학습하거나 파인튜닝한 모델(BERT-CE, BERT-CEf)이 임베딩이 고정된 모델(BERT-C)에 비해 설명 정확도 측면에서 가장 큰 개선을 보였습니다.
• 잔류 편향: 모든 학습 체계에서 분류 정확도가 일정하게 유지되더라도, 임베딩이 고정된 모델은 특성 기여도의 정확성에 부정적인 영향을 미치는 잔류 편향을 보유합니다. 임베딩을 파인튜닝하는 것이 이러한 편향을 완화하는 데 가장 효과적인 전략임이 밝혀졌습니다.
• 구체적 관찰: 일부 경우, 편향된 모델의 XAI 방법은 사전 학습된 연관성 때문에 (대명사 "she" 대신) "Bella"와 같은 무관한 단어를 강조하는 반면, 편향되지 않은 모델은 변경된 대명사에 정확히 집중했습니다.

의의 및 주장

본 논문은 GECOBench가 NLP에서 특성 기여도의 정확성을 평가하기 위한 최초의 원칙적이고 데이터 중심적인 프레임워크를 제공하며, 특히 모델 중심 설명과 데이터 중심 설명 사이의 긴장 문제를 다룬다고 주장합니다.

• 편향 전파: 본 연구는 사전 학습 코퍼스의 편향이 예측 출력에만 국한되지 않고 XAI가 생성하는 설명에도 스며든다는 것을 입증합니다.
• 정확도로서의 편향 지표: 저자들은 특성 기여도의 데이터 중심적 정확성(특히 SAP 준수 여부)이 기저에 깔린 모델의 편향을 나타내는 지표라고 주장합니다.
• 완화 전략: 결과는 단순히 분류 헤드(classification head)만을 파인튜닝하는 것으로는 편향되지 않은 설명을 얻기에 불충분하며, 특성 기여도에 미치는 사전 학습 편향의 영향을 완화하기 위해서는 임베딩 레이어를 재학습하거나 파인튜닝하는 것이 필요함을 시사합니다.
• 범위: 저자들은 이 연구를 XAI의 체계적인 편향 평가를 위한 첫걸음으로 규정합니다. 성별을 대명사 변경으로 단순화하고 단변량 통계적 연관성에 집중했다는 한계를 인정하면서도, 본 프레임워크가 통제된 환경에서 편향이 설명의 정확도에 미치는 영향을 성공적으로 분리하고 정량화했음을 강조합니다.

결론적으로, 저자들은 사전 학습된 모델에 대해 모델 디버깅이나 다운스트림 작업(예: 감성 분석)을 수행할 때 XAI 방법을 사용하는 데 주의가 필요하다고 경고합니다. 편향된 기여도는 의미론적으로 관련 있는 특징이 아니라 가짜 성별 관련 토큰을 강조할 수 있기 때문입니다.