Mitigating Bias in Concept Bottleneck Models for Fair and Interpretable Image Classification

이 논문은 개념 병목 모델 (CBM) 의 편향을 완화하기 위해 정보 누출을 줄이는 톱-k 개념 필터, 편향된 개념 제거, 그리고 적대적 편향 제거라는 세 가지 기법을 제안하여 공정성과 성능 간의 균형을 개선한 연구 결과를 제시합니다.

핵심

🎨 비유: "AI 요리사"와 "레시피"

상상해 보세요. AI 는 이제 막 요리를 배우는 신입 요리사입니다.
이 요리사는 사진 (재료) 을 보고 "이건 '튀김 (Frying)'이야!"라고 말해야 합니다.

1. 기존 방식 (블랙박스 DNN): "요리사의 직감"

기존의 일반적인 AI 는 요리사가 직관으로 판단합니다.

• 문제점: 요리사가 사진을 볼 때, '튀김'을 하는 사람의 얼굴이나 옷차림을 보고 "아, 남자가 하니까 튀김이겠지"라고 추측할 수 있습니다.
• 결과: AI 는 정답을 맞출 수는 있지만, 왜 그렇게 판단했는지 알 수 없고 (블랙박스), 성별에 따라 다른 결과를 내놓을 수 있습니다.

2. 개념 병목 모델 (CBM): "단계별 레시피"

이 논문에서 소개하는 CBM은 요리사에게 단계별 레시피를 강요합니다.

• 방식: 요리사는 사진을 보고 바로 "튀김!"이라고 외치는 대신, 먼저 "냄비가 있나?", "불이 켜져 있나?", "주방이 있나?" 같은 **중요한 개념 (Concepts)**들을 먼저 확인해야 합니다. 그런 다음 이 개념들을 조합해서 최종 답을 냅니다.
• 장점: "남자/여자"라는 얼굴 특징을 보지 않고, 오직 '냄비'나 '불' 같은 작업 자체에 집중하게 되어 공정해져야 합니다.

---

⚠️ 하지만, 숨겨진 함정이 있었습니다! (정보 누출)

연구진은 CBM 이 완벽할 거라 생각했지만, 뜻밖의 문제를 발견했습니다.

비유: "레시피를 적어달라고 했는데, 요리사가 '남자 요리사'라는 뜻의 숨겨진 암호를 레시피에 몰래 섞어 넣은 거예요."

예를 들어, '튀김'을 설명하는 레시피에 '냄비'라는 개념이 있지만, 그 옆에 **'남자가 주로 쓰는 도구'**라는 뉘앙스를 가진 미세한 신호들이 섞여 있었습니다. AI 는 이 숨겨진 신호들을 통해 성별을 유추해내고, 결국 편견을 다시 만들어냈습니다. 이를 **'정보 누출 (Information Leakage)'**이라고 부릅니다.

---

🛠️ 연구진이 제안한 3 가지 해결책 (편견 제거 기술)

이 문제를 해결하기 위해 연구진은 세 가지 방법을 시도했습니다.

1. "중요한 것만 골라보기" (Top-k 필터)

• 비유: 요리사가 모든 레시피 단계를 다 볼 필요는 없죠. 가장 중요한 **상위 10 가지 핵심 재료 (Top-k)**만 보고 판단하게 합니다.
• 효과: 사소한 정보 (편견을 일으킬 수 있는 숨겨진 신호) 를 차단하고, 진짜 중요한 '냄비', '불' 같은 개념에만 집중하게 되어 공정성이 높아졌습니다.

2. "편견 있는 레시피 삭제하기" (편향된 개념 제거)

• 비유: 레시피에 "남자 요리사만 쓰는 도구"나 "여자 요리사만 쓰는 도구"라고 적힌 항목을 찾아서 지워버리는 것입니다.
• 결과: 하지만 AI 는 똑똑해서, 지운 항목 대신 다른 숨겨진 단서로 편견을 다시 만들어냈습니다. 그래서 이 방법만으로는 완벽하지 않았습니다.

3. "편견 감시관 고용하기" (적대적 편향 제거)

• 비유: 요리사가 요리를 할 때, 옆에 감시관을 둡니다. 감시관은 요리사가 "남자/여자"를 구분할 수 있는지 계속 테스트합니다.
• 작동 원리: 요리사가 "아, 이건 남자 요리사 같네"라고 생각하면 감시관이 "안 돼! 그건 틀렸어!"라고 지적합니다. 요리사는 감시관의 지적을 피하면서 정답을 맞추려고 노력하다가, 결국 성별을 구분할 수 없는 순수한 요리 기술만 남게 됩니다.
• 효과: 이 방법이 가장 효과적이었습니다.

---

🏆 결론: 더 공정하고 투명한 AI 로의 도약

이 연구의 핵심 성과는 다음과 같습니다:

1. 공정성과 해석 가능성의 균형: AI 가 편견 없이 작동하도록 만들면서도, **"왜 이걸 튀김이라고 판단했나?"**에 대해 "냄비가 있고 불이 켜져 있어서"라고 사람이 이해할 수 있는 이유를 설명해 줄 수 있게 되었습니다.
2. 성능은 살짝 떨어지지만, 편견은 크게 줄어듦: 정확도가 아주 조금 떨어질 수는 있지만, 성별 편향은 28% 나 감소시켰습니다.
3. 실용성: 이 방법은 AI 가 편견을 갖지 않도록 훈련시킬 때, 성별이나 인종 같은 민감한 정보를 따로 알려줄 필요가 없어도 됩니다. (비유하자면, 요리사에게 "남자/여자 구분하지 마"라고 직접 말하지 않아도, 감시관 시스템을 통해 자연스럽게 편견이 사라지는 것입니다.)

한 줄 요약:

"AI 가 사진을 볼 때 얼굴이나 옷차림 같은 편견을 보지 않고, 오직 '무엇을 하고 있는지'라는 핵심 개념만 보게 만들어, 더 공정하고 우리가 이해할 수 있는 AI를 만들었습니다."

기술 요약

제시된 논문 "Mitigating Bias in Concept Bottleneck Models for Fair and Interpretable Image Classification"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

최근 컴퓨터 비전 시스템은 의료, 자율주행 등 다양한 분야에서 혁신을 이루고 있지만, 기존 편향을 재생산하거나 증폭시키는 심각한 공정성 (Fairness) 문제를 안고 있습니다. 특히 얼굴 인식이나 인종/성별에 따른 성능 편차는 윤리적 우려를 야기합니다.

• 기존 접근법의 한계: 대부분의 최첨단 (SOTA) 방법은 딥 뉴럴 네트워크 (DNN) 에 의존하여 해석 가능성 (Interpretability) 이 부족합니다.
• Concept Bottleneck Models (CBM) 의 딜레마: CBM 은 이미지를 인간이 이해할 수 있는 '개념 (Concepts)'으로 매핑한 후 예측을 수행하여 해석 가능성을 높이고 민감한 속성 (예: 얼굴 특징) 을 마스킹함으로써 공정성을 기대하게 합니다. 그러나 실제 CBM 은 정보 누출 (Information Leakage) 현상을 보입니다. 즉, 개념의 의미론적 내용과 무관하게 민감한 속성 (성별 등) 에 대한 정보를 개념 활성화 벡터에 숨겨서 학습합니다. 이로 인해 기존 CBM 은 공정성 향상 효과가 미미하며, 공정성, 해석 가능성, 성능 간의 트레이드오프가 존재합니다.

2. 방법론 (Methodology)

저자들은 ImSitu 데이터셋 (액션 인식) 을 사용하여 CBM 의 공정성 - 성능 트레이드오프를 분석하고, 이를 개선하기 위한 세 가지 편향 완화 기법을 제안했습니다. 연구에는 GPT-3 와 CLIP 을 활용한 '레이블 없는 (Label-free) CBM' 프레임워크가 적용되었습니다.

2.1 데이터 및 전처리

• ImSitu 데이터셋: 인간 주체 (Agent) 에 대한 성별 (Male/Female) 라벨이 포함된 실세계 단일 레이블 이미지 분류 데이터셋을 사용했습니다.
• 개념 생성: GPT-3 를 활용하여 동사 (Verb) 클래스에 대한 개념 목록을 자동 생성하고, 길이, 클래스 유사도, 개념 간 유사도, 데이터셋 활성화 임계값 등을 기준으로 필터링하여 1,976 개의 개념을 도출했습니다.

2.2 제안된 편향 완화 기법 (Bias Mitigation Techniques)

저자들은 CBM 에 다음 세 가지 기법을 적용하여 편향을 줄이고자 했습니다.

1. 정보 누출 감소 (Decreasing Information Leakage):

   • 기존 CBM 의 희소성 (Sparsity) 정규화 대신, **Top-k 개념 필터 (Top-k Concept Filter)**를 제안했습니다.
   • 모든 개념 활성화 값을 사용하는 대신, 상위 k 개의 활성화 값만 유지하고 나머지는 0 으로 만듭니다. 이는 인간의 인지 모델 (주요 특징에 집중) 을 모방하며, 민감한 속성 라벨 없이도 정보 누출을 줄여 공정성을 개선합니다.
   • 개념 활성화 벡터에 **양자화 (Quantization)**를 적용하여 낮은 값의 개념들이 숨겨진 분포를 학습하는 것을 방지했습니다.

2. 편향된 개념 제거 (Removing Biased Concepts):

   • 성별 분류기를 훈련시켜 가중치가 높은 개념 (예: '넥타이', '분홍색' 등 성별 대리 변수) 을 식별하거나, LLM 을 이용해 개념의 성별 연관성을 자가 평가하게 하여 편향된 개념을 제거했습니다.
   • 한계: 단순히 개념을 제거하고 재학습하면 모델이 다른 개념을 통해 성별 정보를 다시 학습 (정보 누출) 하는 현상이 발생했습니다. 따라서 학습된 모델의 가중치는 유지하되, 테스트 시에 제거된 개념의 활성화 값을 0 으로 설정하여 추론하는 방식을 사용했습니다.

3. 적대적 편향 제거 (Adversarial Debiasing):

   • 분류 작업 (목표 클래스 예측) 과 적대적 작업 (민감한 속성인 성별 예측) 을 동시에 최적화하는 듀얼 목적 함수를 도입했습니다.
   • 모델은 정확한 분류를 하되, 출력에서 성별 정보를 추출할 수 없도록 훈련됩니다. 이는 블랙박스 DNN 에 적용된 기존 방식과 달리, CBM 의 개념 가중치 변화를 통해 편향 제거 과정을 해석 가능하게 만듭니다.

3. 주요 결과 (Results)

ImSitu 데이터셋에서 CLIP-ZS(Zero-shot), CLIP-DNN(딥러닝), CLIP-CBM 을 비교 평가했습니다.

• 기초 평가: CBM 은 DNN 보다 해석 가능성은 높지만, 정보 누출로 인해 편향 증폭 (Bias Amplification) 이 완전히 제거되지 않았습니다.
• Top-k 필터의 효과: 희소성 정규화보다 Top-k 개념 필터가 공정성 - 성능 트레이드오프에서 훨씬 우수한 성능을 보였습니다. (예: k=1000 일 때 DNN 수준의 정확도에 가깝게 유지하면서 편향 증폭 감소).
• 개념 제거의 한계: 개념을 제거하는 것만으로는 정보 누출로 인해 큰 개선 효과를 얻지 못했습니다.
• 적대적 편향 제거의 성과:
  • Top-k 필터에 적대적 편향 제거를 결합한 모델이 가장 우수한 결과를 기록했습니다.
  • 편향 증폭 (Bias Amplification) 을 28% 감소시켰으며, 정확도 손실은 미미했습니다.
  • 편향 제거 후 개념 가중치의 변화를 분석함으로써, 어떤 개념이 편향에 기여했는지 해석 가능한 통찰을 제공했습니다.

4. 주요 기여 (Key Contributions)

1. CBM 의 정보 누출 문제 규명: CBM 이 개념의 의미론적 내용 외에도 민감한 속성 정보를 인코딩하여 공정성 향상에 한계가 있음을 실증했습니다.
2. 새로운 편향 완화 프레임워크 제안: 민감한 속성 라벨이 필요 없는 Top-k 개념 필터와 적대적 편향 제거를 결합하여, 기존 방법보다 우월한 공정성 - 성능 트레이드오프를 달성했습니다.
3. 해석 가능한 편향 제거: 블랙박스 모델과 달리, 편향 제거 과정에서 개념 가중치가 어떻게 변하는지 시각화하여 모델의 의사결정 과정과 편향의 원인을 투명하게 드러냈습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 CBM 이 단순히 해석 가능한 모델을 넘어, 공정하고 해석 가능한 이미지 분류를 실현할 수 있는 가능성을 제시합니다.

• 실용성: 민감한 속성 (성별, 인종 등) 의 라벨링이 어렵거나 불가능한 상황에서도 Top-k 필터를 통해 편향을 완화할 수 있어 실용성이 높습니다.
• 트레이드오프 관리: 성능, 해석 가능성, 공정성 간의 불가피한 트레이드오프를 관리하기 위해 Top-k 필터와 적대적 학습을 결합하는 것이 최적의 전략임을 보였습니다.
• 미래 방향: 레이블 없는 CBM 은 자동화된 개념 생성의 편의성을 제공하지만, 인간 전문가가 정의한 개념보다 정밀도가 낮아 정보 누출이 더 심할 수 있음을 지적하며, 향후 개념 생성의 정밀도 향상과 정보 누출 방지가 중요한 연구 과제로 남았습니다.

결론적으로, 저자들은 제안한 편향 완화 기법들을 통해 CBM 의 공정성을 획기적으로 개선하면서도 해석 가능성을 유지함으로써, 신뢰할 수 있는 AI 시스템 개발을 위한 중요한 진전을 이루었습니다.