기술 요약: CB-SLICE: 개념 기반 해석 가능한 오류 슬라이스 발견

문제 제기

딥러닝 모델은 종종 평균적인 경우의 성능은 강력하지만, 특정 인구 집단에서 체계적인 오류를 보입니다. 이를 **오류 슬라이스 (error slices)**라고 합니다. 이러한 집단과 그 근본 원인을 식별하는 것은 디버깅과 편향 완화에 필수적입니다. 그러나 기존 **오류 슬라이스 발견 방법 (SDMs)**은 근본적인 한계에 직면해 있습니다. 즉, 설명을 생성하기 위해 보조 언어 기반 모델 (예: CLIP) 에 의존하는 경향이 있습니다. 결과적으로 이러한 설명은 분석 대상 모델의 내부 추론 과정과 단절되어 있으며, 오류 원인을 드러내기보다는 이를 근사화합니다. 이러한 단절로 인해 설명이 부정확하거나 오해의 소지가 있거나, 보조 모델 자체에 의해 편향될 수 있습니다. 더 나아가 기존 방법들은 모델이 의존하는 특정 개념의 관점에서 왜 실패가 발생하는지 설명하는 데 실패하는 경우가 많습니다.

방법론: CB-SLICE

저자들은 CB-SLICE를 제안했습니다. 이는 **개념 병목 모델 (Concept Bottleneck Models, CBMs)**을 활용하여 오류 슬라이스 발견과 편향 설명을 단일의 모델 인지 프로세스로 통합하는 개념 기반 SDM 입니다. CBM 은 인간이 이해할 수 있는 의미론적 개념 (예: "어두운 피부", "비대칭성") 을 먼저 예측한 후, 이러한 개념들을 기반으로 최종 작업 레이블을 예측하는 해석 가능한 아키텍처입니다. CB-SLICE 는 세 가지 명확한 단계로 작동합니다:

1. 오류 발생 가능성 개념 필터링

이 방법은 하류 분류 오류를 가장 많이 일으킬 가능성이 높은 개념의 부분집합을 먼저 식별합니다.

• 메커니즘: 목표 예측의 기대 변화 (Expected Change in Target Prediction, ECTP) 점수를 활용합니다. 각 개념 $i$에 대해 ECTP 점수는 해당 개념에 개입했을 때 (값을 0 또는 1 로 설정) 하류 작업 분포에서 기대되는 변화를 정량화합니다.
• 프로세스: 불균형을 완화하기 위해 클래스별로 ECTP 점수를 계산합니다. 각 클래스에서 가장 높은 점수를 가진 상위-$t_e$개 개념을 선택하여 오류 발생 가능성 개념 집합($C_{err}$) 을 형성합니다. 이를 통해 후속 슬라이스 형성이 오류를 유발하는 개념에만 집중되도록 보장합니다.

2. 오류 슬라이스 형성

오류 발생 가능성 개념이 식별되면, 이 방법은 오류가 발생한 검증 샘플을 클러스터링하여 일관된 오류 슬라이스를 형성합니다.

• 표현: 확률 공간 대신 CB-SLICE 는 오류 발생 가능성 집합 $C_{err}$로 제한된 개념 로지트 (concept logits)($H$) 를 사용합니다. 이러한 로지트는 모델의 신뢰도를 인코딩하며 가우시안 분포로 잘 근사됩니다.
• 클러스터링: 이러한 로지트를 클러스터링하기 위해 **가우시안 혼합 모델 (Gaussian Mixture Model, GMM)**을 훈련합니다. 목적 함수는 다음을 결합합니다:
  • GMM 가능도 ($L_{GMM}$): 의미론적 일관성을 보장하기 위함.
  • 보조 손실 ($L_{ctrue}$ 및 $L_{cpred}$): 두 개의 선형 분류기가 슬라이스 소속 확률을 기반으로 각각 실제 개념 레이블과 예측된 개념 레이블을 예측합니다. 이러한 손실은 슬라이스가 동일한 실제 및 예측 개념 값을 공유하는 샘플들을 그룹화하도록 유도하여, 슬라이스가 일관된 개념 수준의 오류 패턴을 포착하도록 보장합니다.
• 출력: 슬라이스 집합 $S = \{S_1, \dots, S_{t_g}\}$.

3. 실패 모드 설명

발견된 각 슬라이스에 대해, 이 방법은 그 형성을 담당하는 특정 개념을 식별합니다.

• 메커니즘: 이 방법은 ECTP 점수를 확장하여 **슬라이스 할당의 기대 변화 (Expected Change in Slice Assignment, ECSA)**를 측정합니다. 이는 특정 개념에 개입했을 때 특정 슬라이스에 속할 사후 확률이 어떻게 변하는지 정량화합니다.
• 출력: 가장 높은 ECSA 점수를 가진 상위-$t_k$개 개념을 슬라이스의 **키워드 개념 (keyword-concepts)**으로 선택합니다. 이러한 개념의 유무는 슬라이스 구성원들의 예측 가중 평균을 통해 결정됩니다.

슬라이스 우선순위 지정

발견된 모든 슬라이스를 분석하는 것은 비현실적이므로, CB-SLICE 는 **정보성 점수 (Informativeness Score, SI)**에 기반한 우선순위 지정 전략을 도입합니다. 이 점수는 다음을 결합합니다:

• 오류 예측 일관성 (Misprediction Coherence, MC): 슬라이스 내 하류 작업 오류 예측의 일관성.
• 의미론적 컴팩트성 (Semantic Compactness, SC): 슬라이스 구성원이 개념 로지트 공간에 집중된 정도.
• 페널티 인자: 노이즈를 피하기 위해 매우 작은 슬라이스의 가중치를 낮추는 인자.

주요 기여

1. CB-SLICE 프레임워크: CBM 을 통해 발견된 설명 키워드를 모델의 내부 결정 논리와 직접 연결하는 새로운 SDM 으로, 보조 모델 기반 접근법 내재적 단절을 방지합니다.
2. 오류 발생 가능성 개념 식별: 슬라이스 형성과 실패 모드 특성화를 위해 ECTP 점수를 사용하여 개념을 필터링하는 원칙적인 방법.
3. 슬라이스 우선순위 지정: 실무자가 표적 분석을 위해 가장 정보성이 풍부한 슬라이스로 안내하는 전략.
4. 실증적 검증: 여러 벤치마크에서 최첨단 베이스라인보다 일관된 개선을 입증했습니다.

실험 결과

저자들은 알려진 오류 슬라이스를 가진 네 가지 데이터셋 (Waterbirds, CelebA, MetaShift, MNIST-Sum) 에서 CB-SLICE 를 평가했습니다. Domino, GEORGE, HiBug2, Spotlight, K-Means 를 포함한 베이스라인과 CB-SLICE 를 비교했습니다.

• 알려진 편향 복구 (Precision@10): CB-SLICE 는 실제 오류 슬라이스를 복구하는 데 모든 베이스라인보다 일관되게 우수한 성과를 보였습니다. 예를 들어, 공동 훈련된 CBM 을 사용한 Waterbirds 데이터셋에서 CB-SLICE 는 Precision@10 이 0.83으로, 다음으로 좋은 방법 (Domino, 0.62) 을 크게 앞섰습니다.
• 실패 모드 정렬 (MGF): CB-SLICE 는 더 높은 일치 실제 그룹 빈도 (Matched Ground-Truth Group Frequency, MGF) 를 가진 슬라이스를 생성하여, 발견된 슬라이스가 더 동질적이며 특정 근본 실패 모드를 충실히 포착했음을 나타냈습니다.
• 설명 충실도: 정성적 분석 결과, CB-SLICE 는 모델 기반의 충실한 설명을 제공했습니다.
  • 예시: Waterbirds 에서 CB-SLICE 는 물 배경의 육상 조류 오분류가 배경뿐만 아니라 "중간 크기"와 같은 크기 관련 개념의 체계적인 오예측에 의해 주도되었음을 식별했습니다.
  • 예시: MNIST-Sum 에서 텍스트 기반 베이스라인이 놓친 세부 사항인, 숫자 "3"이 체계적으로 "2"로 잘못 읽히는 실패 모드를 발견했습니다.
• 슬라이스 선택: 이 논문은 CB-SLICE 손실 함수의 수렴이 성능 지표의 안정화와 일치함을 보여주어, 실제 레이블 없이 슬라이스 수를 선택하기 위한 원칙적인 기준을 제공했습니다.

중요성과 주장

이 논문은 CB-SLICE 가 오류 슬라이스 발견을 모델 인지 프로세스로 재정의한다고 주장합니다. 모델이 실제로 학습한 표현 (개념 로지트) 에 설명을 근거시킴으로써, 사후 보조 모델이 도입하는 부정확성과 잠재적 편향을 피합니다.

저자들은 CB-SLICE 가 다음과 같은 두 가지 구별된 실패 유형을 구분한다고 강조합니다:

1. 체계적인 개념 오예측에 의해 주도되는 슬라이스 (개념 인코더 $g$가 실패하는 경우).
2. 드물지만 올바르게 예측된 개념 조합에서 발생하는 슬라이스 (특정 개념 교차점에 대한 훈련 데이터 부족으로 인해 레이블 예측기 $f$가 실패하는 경우).

이 연구는 CBM 을 디버깅을 위한 원칙적인 기반으로 위치시키며, 기존 방법들보다 오류 원인에 대해 더 풍부하고 충실한 설명을 제공합니다. 저자들은 이 방법의 효과성이 완전하고 충실한 개념 주석의 가용성에 의존한다고 지적하며, 이는 CBM 아키텍처 자체에 내재된 한계라고 덧붙였습니다.