A Representation-Level Assessment of Bias Mitigation in Foundation Models

이 논문은 BERT 와 Llama2 기반의 편향 완화 기법이 임베딩 공간에서 성별과 직업 간의 연관성을 중립적으로 재구성한다는 것을 입증하고, 이를 검증하기 위해 새로운 데이터셋 'WinoDec'를 공개했습니다.

핵심

이 논문은 인공지능 (AI) 이 가진 성별 편견을 어떻게 고치는지, 그리고 그 과정에서 AI 의 '머릿속'이 어떻게 변하는지 연구한 내용입니다.

복잡한 기술 용어 대신, **AI 를 '새로운 직원을 채용하는 수석 면접관'**이라고 상상해 보시죠. 이 면접관은 수만 개의 이력서를 읽으며 훈련을 받았습니다. 하지만 훈련 과정에서 "여자는 HR(인사) 담당자, 남자는 소방관"이라는 고정관념을 배우게 되어, 편향된 결정을 내릴 수 있습니다.

이 연구는 이 면접관 (AI) 의 편견을 고치는 과정에서, 그의 **생각의 기준 (Embedding Space)**이 어떻게 바뀌는지 들여다본 것입니다.

---

1. 연구의 핵심: "머릿속 지도"를 다시 그리다

AI 는 단어를 이해할 때, 단어들을 3 차원 공간의 점으로 생각합니다.

• 편향된 AI: "남자"라는 점과 "소방관"이라는 점이 서로 아주 가깝게 붙어 있고, "여자"와 "소방관"은 멀리 떨어져 있습니다. 마치 지도에서 두 도시가 서로 다른 대륙에 있는 것처럼 말이죠.
• 편견을 고친 AI: 연구진은 AI 가 편견을 없애는 훈련을 시켰습니다. 그 결과, "남자"와 "소방관", "여자"와 "소방관" 사이의 거리가 더 가까워지고 균등해졌습니다. 마치 지도를 다시 그려서 두 도시가 같은 대륙에 가깝게 배치된 것처럼요.

이 연구는 단순히 AI 가 "정답"을 맞추는지 보는 것이 아니라, AI 가 세상을 바라보는 '지도' 자체가 어떻게 변형되었는지를 분석했습니다.

2. 두 가지 다른 AI 의 성격 비교

연구진은 두 가지 다른 종류의 AI 를 비교했습니다.

• BERT (이중 방향성 AI): 문장의 앞뒤를 모두 동시에 읽는 전체적인 독서를 하는 AI 입니다. "남자가 소방관이다"와 "소방관은 남자다"를 동시에 이해합니다.
• Llama2 (단방향성 AI): 앞의 단어만 보고 다음 단어를 예측하는 연속적인 읽기를 하는 AI 입니다. 최근의 대형 챗봇들이 여기에 해당합니다.

결과: 두 AI 의 성격은 달랐지만, 편견을 고치는 훈련을 시키자 둘 다 '지도'를 똑같이 고쳐놓았습니다. 즉, 편견을 줄이는 방법은 AI 의 종류와 상관없이 공통적으로 작동한다는 것을 발견했습니다.

3. 새로운 도구: "WinoDec"라는 새로운 테스트지

기존의 테스트는 주로 문장 앞뒤를 모두 볼 수 있는 AI(BERT) 에 적합했습니다. 하지만 앞뒤만 읽는 AI(Llama2) 를 테스트하려면 새로운 방법이 필요했습니다.

연구진은 WinoDec라는 새로운 데이터셋을 만들었습니다.

• 비유: 기존 테스트가 "한 장의 사진"을 보고 판단했다면, WinoDec 는 두 장의 사진을 이어 붙여 이야기를 만들어내는 방식입니다.
  • 예: "소방관은 남자다." (1 문장) -> "그 남자는 소방관이다." (2 문장)
• 이렇게 문장을 이어 붙여야만 AI 가 앞뒤 맥락을 연결하며 편향을 드러내거나 고칠 수 있기 때문에, 이 새로운 도구를 만들어내어 AI 의 '머릿속'을 더 정확하게 검사할 수 있게 되었습니다.

4. 연구의 결론: 왜 이것이 중요한가?

이 연구는 다음과 같은 중요한 메시지를 전달합니다.

1. 보이지 않는 변화를 보이다: 우리는 보통 AI 가 "편견 없는 답변을 했나?"만 확인합니다. 하지만 이 연구는 **"AI 의 머릿속에서 단어들의 거리가 어떻게 변했는지"**를 확인함으로써, 편견이 실제로 고쳐졌음을 수학적으로 증명했습니다.
2. 투명성 확보: AI 가 편견을 고쳤을 때, 단순히 출력 결과만 바뀐 것이 아니라 내부적인 사고 방식 (지도) 이 공정하게 재배치되었음을 보여줍니다. 이는 AI 시스템을 더 신뢰할 수 있게 만듭니다.
3. 미래의 길: 이제 우리는 AI 가 편견을 고치는지 확인할 때, 단순히 결과만 보는 것이 아니라 그 내부의 '지도'가 어떻게 변했는지 살펴볼 수 있는 방법을 갖게 되었습니다.

요약하자면

이 논문은 **"AI 가 편견을 고치면, 그 AI 의 머릿속에 있는 단어들의 지도가 공정하게 재배치된다"**는 것을 증명했습니다. 마치 편향된 나침반을 고쳐서 북극과 남극이 다시 정확히 가리키게 만든 것과 같습니다. 이를 통해 우리는 AI 가 더 공정하고 투명하게 작동하도록 만들 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 기초 모델 (Foundation Models) 은 자연어 처리의 핵심이지만, 학습 데이터에 내재된 사회적 편향 (성별, 인종 등) 을 그대로 학습하여 편향된 출력을 생성할 수 있습니다.
• 문제: 기존 편향 완화 (Bias Mitigation) 연구는 주로 모델의 출력 수준 (Output-level) 에서 편향이 감소했는지 평가하는 데 집중했습니다. 그러나 편향 완화 기법이 모델의 내부 표현 (Internal Representations), 즉 임베딩 공간 (Embedding Space) 에 어떤 변화를 일으키는지, 그리고 이러한 변화가 어떻게 편향 감소로 이어지는지에 대한 이해는 부족했습니다.
• 연구 격차: 인코더 전용 (Encoder-only, 예: BERT) 과 디코더 전용 (Decoder-only, 예: Llama) 모델 간의 편향 완화 메커니즘이 임베딩 공간에서 어떻게 다르게 또는 유사하게 작용하는지에 대한 비교 분석이 결여되어 있었습니다.

2. 연구 방법론 (Methodology)

저자는 성별 (Gender) 과 직업 (Occupation) 용어 간의 연관성을 임베딩 공간에서 분석하여 편향 완화 효과를 평가했습니다.

A. 모델 및 데이터셋

1. 인코더 전용 모델 (Encoder-only):
   • 모델: BERT-large (Baseline) 및 성별 편향을 대상으로 한 반사실적 데이터 증강 (Counterfactual Data Augmentation, CDA) 을 적용한 편향 완화 버전.
   • 데이터: 실제 채용 데이터셋 (직무 설명 및 후보자 프로필) 과 성별/직업 관련 40 개의 합성 문장 쌍.
2. 디코더 전용 모델 (Decoder-only):
   • 모델: Llama2-7B (Baseline) 및 인간 피드백을 통한 강화 학습 (RLHF) 으로 편향이 완화된 Llama2-7B-Chat.
   • 데이터셋 (WinoDec): 기존 디코더 모델의 단방향 주의 (Unidirectional Attention) 특성으로 인해 성별과 직업 용어 간의 상호 영향을 분석하기 어렵다는 문제를 해결하기 위해 새로 개발한 데이터셋입니다.
     • 4,000 개의 문장 쌍으로 구성되며, "화재 구조대는 남자다. 그 남자는 화재 구조대다."와 같이 성별과 직업이 서로를 참조하도록 설계되어 양방향 연관성을 평가할 수 있게 합니다.
     • 50 가지 남성 중심 직업, 50 가지 여성 중심 직업, 각 성별별 20 개의 성별 용어를 포함합니다.

B. 분석 기법

• 임베딩 추출: 모델의 최종 은닉층 (Final Hidden Layer) 에서 성별 및 직업 용어의 컨텍스트 임베딩을 추출했습니다.
• 측정 지표: 코사인 유사도 (Cosine Similarity) 를 사용하여 성별 용어와 직업 용어 간의 거리를 측정했습니다.
• 통계적 검증: 편향 완화 전후의 유사도 분포 차이를 검증하기 위해 콜모고로프 - 스미르노프 (Kolmogorov-Smirnov, KS) 검정을 수행했습니다.

3. 주요 기여 (Key Contributions)

1. 임베딩 공간 기반 편향 완화 메커니즘 규명: 편향 완화 전략이 단순히 출력 결과만 바꾸는 것이 아니라, 임베딩 공간 내 용어 간의 상대적 위치 (Associations) 를 수정함으로써 편향을 감소시킨다는 것을 입증했습니다.
2. 아키텍처 간 일관성 확인: 인코더 전용 (BERT) 과 디코더 전용 (Llama) 모델 모두에서 편향 완화 시 성별 - 직업 연관성의 불균형이 감소하는 유사한 패턴이 관찰됨을 보였습니다.
3. WinoDec 데이터셋 공개: 디코더 전용 모델의 특성 (마스크된 자기 주의 메커니즘) 을 고려하여 성별 - 직업 연관성을 평가하기 위해 설계된 새로운 데이터셋 (4,000 개 시퀀스) 을 개발하고 공개했습니다.

4. 실험 결과 (Results)

• BERT (인코더) 결과:
  • Baseline: 'HR(인사)'는 '여성'과, 'Plumber(배관공)'는 '남성'과 더 높은 코사인 유사도를 보였습니다.
  • Mitigated: 편향 완화 후, 성별과 직업 간의 유사도 분포가 수렴하여 편향이 감소했습니다. 특히 'Plumber'의 경우, 완화 전에는 여성 용어가 남성 용어보다 배관공과 더 유사하게 나타나는 비정상적 편향이 있었으나, 완화 후에는 분포가 균형을 이루었습니다.
  • 통계적 유의성: KS 검정을 통해 Baseline 과 Mitigated 모델 간의 임베딩 분포 차이가 통계적으로 유의미하게 변화했음을 확인했습니다.
• Llama2 (디코더) 결과:
  • Baseline: 특정 구성 (Gender 2 - Occupation 2) 에서 성별 용어가 고정관념적인 직업과 강하게 연관되는 다중 모드 (Multi-modal) 분포를 보였습니다.
  • Mitigated: 편향 완화 후 분포가 단모드 (Unimodal) 에 가까워지고 성별 간 불균형이 줄어들었습니다. 이는 모델이 성별 용어를 직업과 관련하여 더 균일하고 균형 있게 처리하게 되었음을 의미합니다.
  • 일관성: 인코더 모델과 마찬가지로 디코더 모델에서도 편향 완화는 임베딩 공간 내 연관성 불균형을 줄이는 방향으로 작용했습니다.

5. 의의 및 결론 (Significance)

• 투명성 및 해석 가능성 향상: 편향 완화의 효과를 출력 결과뿐만 아니라 모델의 내부 표현 (임베딩) 수준에서 해석 가능하고 기하학적으로 측정 가능한 변화로 설명할 수 있게 되었습니다.
• 검증 도구로서의 임베딩 분석: 임베딩 공간 분석은 편향 완화 방법의 유효성을 검증하는 강력한 도구이며, 출력 수준에서는 포착되지 않는 잔여 편향 (Residual Bias) 을 조기에 발견하는 데 기여할 수 있습니다.
• 미래 연구 방향: 본 연구는 편향 완화 기법이 모델의 내부 구조를 어떻게 변화시키는지 보여주었으며, 향후 인종, 연령 등 다른 편향 차원으로 확장하거나, 임베딩 공간의 변화가 실제 다운스트림 태스크 성능에 미치는 영향을 규명하는 연구의 기초를 마련했습니다.

이 논문은 기초 모델의 편향 완화가 단순한 출력 보정이 아니라, 모델이 세상을 인식하는 방식 (임베딩 공간) 을 근본적으로 재구성한다는 점을 기술적으로 입증했다는 점에서 중요한 의미를 가집니다.