Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder

이 논문은 기계적 해석 가능성 기법을 활용하여 CLIP 비전 인코더 내의 인구통계학적 편향을 개별 어텐션 헤드 수준에서 국소화하고, 특히 성별 편향은 특정 헤드를 제거함으로써 완화할 수 있음을 실증합니다.

핵심

이 논문은 **"인공지능 (AI) 이 왜 성별이나 나이에 따라 편견을 갖게 되는지, 그 원인이 AI 의 뇌 속 어디에 숨어 있는지 찾아내는 방법"**을 소개합니다.

기존에는 "AI 가 편향적이다"라고만 알았지, 어디서부터 잘못된 판단을 시작하는지는 몰랐습니다. 마치 "차가 고장 났다"는 건 알지만, "엔진의 어떤 부품이 고장 났는지"는 모르는 것과 비슷하죠.

이 연구팀은 CLIP 이라는 유명한 AI 모델의 '눈' 부분 (Vision Encoder) 을 해부하여, 어떤 작은 부품 (Attention Head) 이 성별 편견을 만들어내는지 찾아냈습니다.

이 내용을 이해하기 쉽게 3 가지 비유로 설명해 드릴게요.

---

1. AI 는 거대한 '회의실'과 같습니다

이 AI 모델은 24 층짜리 빌딩처럼 생겼고, 각 층에는 16 개의 작은 회의실 (Attention Head) 이 있습니다. 총 384 개의 회의실이 있죠.

• 회의실의 역할: 각 회의실은 이미지의 정보를 받아 "이건 의자야", "이건 빨간색이야"라고 판단합니다.
• 문제: 어떤 회의실들은 "의사"라는 직업을 판단할 때, 환자의 옷차림이나 얼굴 생김새를 보지 않고 **"이 사람은 여자니까 간호사일 거야"**라고 성별에 따라 잘못된 결론을 내립니다.

2. '수사관'이 된 연구팀의 방법

연구팀은 이 384 개의 회의실 중 어떤 곳이 성별 편견을 부추기는지 찾아내기 위해 3 단계 수사법을 썼습니다.

• 1 단계: 잔여물 분석 (프로젝션)
  • 회의실들이 내린 결론을 모두 합쳐서 최종 답을 내기 전에, 각 회의실이 기여한 '기억'을 따로 분리해 봅니다.
• 2 단계: '개념 탐지기' (Zero-shot CAV)
  • "남자", "여자", "젊은이", "노인"이라는 단어와 "의사", "간호사"라는 단어를 AI 에게 보여줍니다.
  • 그리고 각 회의실이 이 단어들과 얼마나 닮아있는지 측정합니다.
  • 핵심 발견: 어떤 회의실은 '의사'라는 직업과 닮았을 것 같지만, 알고 보니 '여자'라는 단어와 훨씬 더 닮아있었습니다. 이 회의실이 바로 성별 편견을 만드는 주범입니다.
• 3 단계: '수술' (Ablation)
  • 의심되는 회의실 (부품) 을 잠시 끄고 (중단) AI 가 다시 판단하게 해 봅니다.
  • 결과: 성별 편견을 만드는 4 개의 회의실을 끄자, AI 의 성별 편견이 줄어들었고, 오히려 정확도도 조금 올랐습니다!

3. '성별'과 '나이' 편견의 차이 (가장 흥미로운 부분)

이 연구에서 가장 놀라운 점은 편견의 성질이 다름을 발견했다는 것입니다.

• 성별 편견 (Gender Bias): "한 명만 나쁜 놈"

  • 성별 편견은 마지막 층의 특정 회의실 4 개에 집중되어 있었습니다. 특히 L23H4라는 한 회의실이 전체 편견의 87% 를 담당하고 있었습니다.
  • 비유: 마치 건물의 지붕에 있는 단 하나의 누수 구멍처럼, 그 구멍만 막으면 물이 새지 않는 것과 같습니다.
  • 효과: 이 구멍을 막으니 "여자 의사"를 "간호사"로 잘못 분류하던 일이 크게 줄었습니다.

• 나이 편견 (Age Bias): "온 집안이 다 문제"

  • 반면, 나이 편견은 특정 회의실에 집중되지 않았습니다.
  • 비유: 성별 편견이 '한 구멍'이라면, 나이 편견은 집 전체의 벽이 다 젖어있는 것과 같습니다. 특정 부품만 끄고는 해결되지 않습니다.
  • 결과: 의심되는 회의실을 끄더라도 나이 편견은 거의 줄어들지 않았습니다. 이는 나이 편견이 AI 의 뇌 전체에 더 넓고 복잡하게 퍼져있다는 뜻입니다.

---

💡 결론: 무엇을 배울 수 있을까요?

1. 편향은 '위치'를 잡을 수 있다: AI 가 편향적인 이유를 단순히 "데이터가 나빴다"고만 말하지 않고, 구체적인 부품을 찾아낼 수 있습니다.
2. 해결책은 단순하지 않다: 편향된 부품을 끄면 (수술하면) 편견은 줄어들지만, 다른 부분에서 새로운 문제가 생길 수도 있습니다. (예: 여자 의사를 정확히 분류하게 되자, 간호사 분류가 틀려지는 등)
3. 편향의 종류는 다르다: 성별 편향은 특정 부품을 고치면 되지만, 나이 편향처럼 복잡한 편향은 더 깊은 연구와 다른 접근법이 필요합니다.

한 줄 요약:

"이 연구는 AI 의 뇌를 해부해서 '성별 편견을 만드는 나쁜 부품'을 찾아내어 제거하는 실험을 성공시켰지만, '나이 편견'은 그 부품 하나만으로는 해결되지 않는 더 복잡한 문제임을 발견했습니다."

이 연구는 AI 를 더 공정하게 만들기 위해, 단순히 전체를 다 고치는 게 아니라 **정확한 원인을 찾아내는 '진단 기술'**의 중요성을 보여줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 웹 데이터로 학습된 파운데이션 모델 (Foundation Models) 은 현대 멀티모달 시스템의 핵심이지만, 학습 데이터에 내재된 사회적 편향 (Demographic Bias) 을 그대로 재생산합니다. 예를 들어, CLIP 기반 직업 분류기는 여성 의사를 남성 의사보다 두 배 가까이 높은 비율로 간호사로 오분류합니다.
• 문제: 기존 편향 감사 (Fairness Audit) 는 모델이 편향되어 있다는 것을 정량화할 수는 있지만, 네트워크 내부의 어느 특정 구성 요소에서 이 편향이 발생하는지를 규명하지 못합니다.
• 목표: 생성형 모델 (Diffusion) 이 아닌 분별형 비전 인코더 (Discriminative Vision Encoders, 예: CLIP) 에서 편향이 구체적으로 어디에 위치하는지 (Attention Head 수준) 를 기계적 해석 가능성 (Mechanistic Interpretability) 기법을 통해 찾아내고, 그 특성을 분석하는 것입니다.

2. 제안된 방법론 (Methodology)

저자들은 CLIP 의 Vision Transformer(ViT) 인코더 내부에서 인구통계학적 편향을 국소화하기 위해 세 가지 기법을 결합한 파이프라인을 제안합니다.

가. 투사된 잔류 스트림 분해 (Projected Residual-Stream Decomposition)

• 트랜스포머의 출력을 개별 어텐션 헤드의 가법적 (additive) 기여도로 분해합니다.
• Gandelsman et al. 의 TextSpan 알고리즘을 활용하여 각 헤드가 인코딩하는 내용을 인간이 읽을 수 있는 텍스트 (예: 색상, 질감, 객체 부분) 로 매핑합니다.

나. 제로샷 CAV 기반 헤더 순위 매기기 (Zero-shot CAV-Based Head Ranking)

• Concept Activation Vectors (CAV) 를 비전 - 언어 모델에 적용합니다.
• 기존 CAV 는 레이블이 지정된 이미지 집합으로 학습되지만, 이 연구는 CLIP 의 텍스트 인코더에서 생성된 텍스트 프로토타입 (Text Prototypes) 을 사용하여 제로샷 (Zero-shot) 방식으로 개념 방향을 도출합니다.
• 편향 증강 TextSpan 분석: 일반 시각 개념 사전에 인구통계학적 프로토타입 (남성/여성, 젊은/중년/노년 등) 과 직업 프로토타입을 추가합니다.
• 선별 기준: 특정 헤드의 출력이 직업 개념보다 인구통계학적 개념 (예: '여성') 과 더 강하게 정렬되는 경우, 해당 헤드가 편향된 정보를 전달한다고 판단하여 순위 매깅합니다.

다. 타겟팅 평균 제거 (Targeted Mean Ablation)

• 식별된 편향 헤드의 출력을 전체 데이터셋의 평균값으로 대체하여 해당 헤드의 입력 특정 기여도를 무효화합니다.
• 이는 편향을 제거하는 전략이 아니라, 인과적 검증 (Causal Test) 수단으로 사용됩니다. 편향 헤드를 제거했을 때 예측이 편향 감소 방향으로 변하는지 확인하여 해당 헤드가 실제로 편향 신호를 운반하는지 검증합니다.
• 랜덤 컨트롤: 동일한 계층에서 무작위로 선택된 헤드를 제거하는 실험을 통해, 관찰된 효과가 특정 헤드에 고유한 것인지 확인합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 진단 방법론: 투사된 잔류 스트림 분해, 제로샷 CAV 기반 헤더 순위 매기기, 편향 증강 TextSpan 분석을 결합하여 비전 트랜스포머의 어텐션 헤드 수준에서 편향을 국소화하는 방법론을 제시했습니다. (특히 TextSpan 사전에 인구통계학적 프로토타입을 주입하여 편향이 일반 개념과 경쟁하도록 한 점은 혁신적입니다.)
2. CLIP ViT-L-14 에 대한 실증: 42 개 직업 클래스 (FACET 벤치마크) 를 대상으로 성별 및 연령 편향을 감사했습니다. 성별 편향 헤드를 제거하면 전역 편향이 감소하면서 정확도가 오히려 향상됨을 입증했습니다.
3. 속성별 국소화 가능성 차이 발견: 성별 편향은 소수의 헤드에 집중되어 있지만, 연령 편향은 더 분산되어 있어 동일한 국소화 기법으로 찾기 어렵다는 사실을 발견했습니다. 이는 편향의 인코딩 전략이 속성에 따라 다를 수 있음을 시사합니다.

4. 실험 결과 (Results)

가. 데이터셋 및 설정

• 모델: CLIP ViT-L-14 Vision Encoder (24 계층, 384 개 헤드).
• 데이터: FACET 벤치마크 (42 개 직업 클래스, 25,416 장 이미지).
• 평가 지표: 크라메르 V (Cramér's V, 편향 크기 측정), 정확도.

나. 성별 편향 (Gender Bias) 분석

• 식별: 4 개의 말단 계층 (Terminal-layer) 헤드가 주요 편향 원인으로 식별되었습니다.
• 효과:
  • 편향 감소: 전역 Cramér's V 가 0.381 에서 0.362 로 감소 (약 5% 상대적 감소).
  • 정확도 향상: 전체 정확도가 64.30% 에서 64.72% 로 소폭 상승.
  • 랜덤 컨트롤: 무작위 헤드 제거는 편향 감소 효과가 없었음 (효과가 특정 헤드에 고유함을 입증).
• 핵심 헤드 (L23H4): 최종 계층의 단일 헤드 (L23H4) 가 전체 편향 감소 효과의 약 87% 를 담당했습니다.
  • 사례 (의사): 여성 의사가 간호사로 오분류되는 비율이 78.2% 에서 60.9% 로 감소했고, 정답 (의사) 예측률은 13.4% 에서 26.3% 로 크게 향상되었습니다.
  • 트레이드오프: 편향 헤드를 제거하면 '의사' 클래스의 정확도는 올라가지만, '간호사' 클래스의 정확도는 일부 하락하는 등 예측 분포가 재분배됨을 확인했습니다.

다. 연령 편향 (Age Bias) 분석

• 결과: 성별과 달리 연령 편향 헤드를 제거해도 편향 감소 효과가 미미하거나 일관되지 않았습니다.
• 사례 (경비원): 젊은 사람 (89.3% 정확도) 과 노인 (44.8% 정확도) 간의 큰 격차가 존재했으나, 식별된 헤드를 제거해도 이 격차가 줄어들지 않았습니다.
• 시사점: 연령 편향은 성별 편향과 달리 모델 전체에 분산되어 (Diffusely) 인코딩되어 있어, 소수의 헤드를 제거하는 것으로 해결하기 어렵습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 진단 도구로서의 가치: 평균 제거 (Ablation) 는 편향을 영구적으로 제거하는 해결책 (Debiasing Strategy) 이 아니라, 어디에 편향이 있는지 진단하는 도구임을 강조합니다. 편향 헤드를 제거한다고 해서 모델이 완전히 중립적이 되는 것이 아니라, 편향이 다른 방향으로 이동할 수 있기 때문입니다.
• 편향의 이질성: 성별 편향은 특정 헤드에 집중되어 있어 국소화가 가능하지만, 연령 편향은 분산되어 있어 다른 분석 및 개입 접근법이 필요함을 보여줍니다.
• 미래 방향: 현재 편향 감사 (Fairness Audit) 는 주로 출력 결과에 집중하지만, 본 연구는 모델 내부 구조 (Attention Head) 를 분석함으로써 편향의 기원을 규명하고, 속성별 특성에 맞는 표적화된 개입 전략을 수립할 수 있는 기초를 마련했습니다.

이 연구는 CLIP 과 같은 분별형 비전 인코더에서 편향이 어떻게 인코딩되는지에 대한 기계적 이해를 심화시키고, 향후 더 정교한 편향 완화 기술 개발을 위한 중요한 통찰을 제공합니다.