Debugging Concept Bottleneck Models through Removal and Retraining

1. 문제 정의 (Problem)

**컨셉 병목 모델 (Concept Bottleneck Models, CBMs)**은 인간의 해석 가능한 개념 (concepts) 을 사용하여 최종 레이블을 예측하는 해석 가능한 아키텍처입니다. 이는 도메인 전문가가 모델의 추론 과정을 검증하고, 테스트 시간에 잘못된 개념을 수정하여 예측을 교정할 수 있게 합니다.

그러나 기존 접근 방식에는 다음과 같은 한계가 존재합니다:

• 시스템적 불일치 (Systemic Misalignment): 테스트 시간에서의 개입 (수정) 은 표면적인 오류만 해결할 뿐, 편향된 데이터로 인해 모델이 학습한 **시스템적인 편향 (spurious correlations, 예: 배경과 클래스의 잘못된 연관성)**을 해결하지 못합니다.
• 개념 누출 (Concept Leakage): 단순히 잘못된 개념을 제거하는 것만으로는 모델이 여전히 제거된 개념의 신호를 다른 개념을 통해 간접적으로 학습하거나, 중요한 작업 관련 개념을 무시할 수 있습니다.
• 기존 방법의 부족: 기존 재학습 (Retraining) 방법들은 편향을 자동으로 감지하거나 고정된 개념 어휘에 의존하여, 도메인 전문가의 구체적인 피드백을 효과적으로 반영하지 못하거나 재학습 과정에서 편향이 다시 유입되는 문제가 있었습니다.

2. 제안 방법론: CBDebug (Methodology)

저자들은 CBDebug라는 새로운 재학습 프레임워크를 제안하며, 이는 **제거 (Removal)**와 **재학습 (Retraining)**의 두 단계로 구성됩니다.

1 단계: 제거 (Removal)

• 도메인 전문가가 학습된 개념 설명 (concept explanations) 을 검토하고, 작업에 불필요하거나 편향된 개념 집합 ($C_{spur}$) 을 식별하여 제거합니다.
• 예: 조류 분류 작업에서 '바다', '모래'와 같은 배경 개념을 제거.

2 단계: 재학습 (Retraining) - CBDebug 핵심

단순히 개념을 제거하는 것만으로는 부족하므로, 전문가의 피드백을 활용하여 모델이 편향된 개념에 의존하지 않도록 데이터를 보정하고 재학습합니다. 이 과정은 세 가지 하위 단계로 나뉩니다.

• A. 라벨링 (Label): 개념 피드백을 샘플 레벨 보조 레이블로 변환

  • 전문가가 지정한 편향된 개념 ($C_{spur}$) 에 대해 훈련 데이터 전체의 활성화 점수 ($\hat{V}$) 를 수집합니다.
  • 이 점수는 실제 보조 레이블 (auxiliary labels) 을 근사한 값으로 사용됩니다.

• B. 가중치 부여 (Reweight): 편향 제거를 위한 샘플 재가중치

  • Permutation Weighting 기법을 적용합니다.
  • 원본 데이터 ($\hat{V}$와 $Y$가 상관관계가 있는 상태) 와 레이블을 무작위로 섞은 데이터 ($\hat{V}$와 $Y$가 무상관인 상태) 를 비교하는 이진 분류기를 학습합니다.
  • 이를 통해 편향된 분포에서 벗어난 (unconfounded) 분포에 속할 확률을 추정하고, 이를 기반으로 샘플 가중치 ($U$) 를 계산합니다. 편향된 샘플 (예: 물새가 해변 배경에 있는 경우) 에는 낮은 가중치를, 편향되지 않은 샘플에는 높은 가중치를 부여합니다.

• C. 증강 (Augment): 편향된 그룹에 대한 데이터 증강

  • 가중치가 낮은 샘플 (편향과 강하게 연관된 샘플) 을 대상으로 데이터를 증강합니다.
  • ProtoPNets (이미지 패치 기반): 편향된 개념에 해당하는 패치를 CutMix 기법으로 다른 이미지 패치와 혼합합니다.
  • VLM-CBMs (텍스트 기반): 텍스트로 표현된 편향 개념을 텍스트 - 이미지 생성 모델을 통해 이미지로 변환한 후 Mixup 기법을 적용합니다.
  • 이를 통해 편향된 분포를 보강하고 모델이 편향된 특징에 의존하지 않도록 유도합니다.

• 최종 학습: 가중치 $U$를 적용하고 증강된 데이터셋 ($X_{aug}$) 을 사용하여 CBM 인코더 ($\phi$) 와 추론 레이어 ($h$) 를 재학습합니다.

3. 주요 기여 (Key Contributions)

1. 일반적인 해석 가능 디버깅 프레임워크: 도메인 전문가가 모델의 전역적 추론 방식을 편집할 수 있는 '제거 - 재학습' 프로세스를 제안했습니다.
2. CBDebug 알고리즘: 개념 수준의 피드백을 샘플 수준의 보조 레이블로 변환하고, 이를 통해 데이터 재가중치와 증강을 수행하여 편향을 제거하는 새로운 방법론을 제시했습니다.
3. 광범위한 검증: PIP-Net(ProtoPNets 계열) 과 Post-hoc CBM(VLM 기반) 등 다양한 아키텍처와 Waterbirds, MetaShift, CelebA, ISIC 등 편향이 알려진 여러 데이터셋에서 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: CBDebug 는 기존 재학습 방법 (단순 제거, 일반 파인튜닝, ProtoPDebug 등) 보다 **최악의 그룹 정확도 (Worst-Group Accuracy)**를 크게 향상시켰습니다.
  • 예: Post-hoc CBM 의 Waterbirds 데이터셋에서 기존 모델 대비 **26.1%**의 최악 그룹 정확도 향상을 기록했습니다.
  • PIP-Net 에서도 Waterbirds 와 MetaShift 에서 각각 7.5%, 4.9% 의 개선을 보였습니다.
• 자동화된 피드백 효과: 실제 전문가뿐만 아니라 LLM(대형 언어 모델) 을 통한 자동화된 피드백을 사용하여도 CBDebug 는 일관되게 우수한 성능을 보였습니다.
• 편향 제거 효과: 재학습 후 모델이 편향된 개념 (예: 배경) 을 더 이상 사용하지 않고, 작업과 관련된 핵심 개념 (예: 조류의 부리, 깃털) 을 학습하도록 전환된 것을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 해석 가능한 AI 모델의 핵심적인 문제인 **"모델의 추론이 전문가의 의도와 일치하지 않는 경우 (shortcut learning)"**를 해결하기 위한 실용적인 프레임워크를 제공합니다.

• 인과적 개입 관점: 전문가의 피드백을 단순한 레이블 수정이 아닌, 편향된 요소를 통제하는 **인과적 개입 (causal intervention)**으로 간주하여 모델의 학습 분포를 근본적으로 변경합니다.
• 실용성: 도메인 전문가가 복잡한 모델 내부 구조를 직접 수정할 필요 없이, 직관적인 개념 설명을 통해 모델의 편향을 제거하고 신뢰성을 높일 수 있는 길을 열었습니다.
• 향후 방향: 편향 제거를 위한 자동화 (LLM 활용) 와 인간 - 기계 협업 시스템의 효율성을 크게 높였으며, 의료, 과학 등 고위험 분야에서 AI 모델의 신뢰성 확보에 기여할 것으로 기대됩니다.