기술 요약: 개념 병목 모델(Concept Bottleneck Models)의 심볼 탐지 신뢰성 평가

1. 문제 정의

개념 병목 모델(CBM)은 설명 가능한 AI(XAI)를 위해 설계된 저명한 뉴로-심볼릭(neuro-symbolic) 방법론 중 하나이다. 이 모델들은 입력 데이터로부터 인간이 해석 가능한 개념을 먼저 추출한 다음, 경량화되고 해석 가능한 분류기를 사용하여 이러한 개념들을 최종 예측으로 매핑한다. 높은 작업 정확도가 모델 품질의 대리 지표로 자주 사용되지만, 본 논문은 높은 정확도가 **충실한 개념 탐지(faithful concept detection)**를 보장하지는 않는다고 주장한다.

식별된 핵심 문제는 병목 구간 내에서의 정보 누출(information leakage) 또는 "지름길(shortcuts)" 현상이다. 개념 탐지기와 분류 헤드(classification heads)가 공동 학습될 때, 탐지기는 분류에 유용하지만 의도된 개념의 의미론적 의미와는 일치하지 않는 작업 특정적 신호(task-specific signals)를 개념 활성화 값에 인코딩할 수 있다. 결과적으로, 모델은 진정한 개념 이해보다는 가짜 상관관계(spurious correlations)에 의존하여 높은 정확도를 달erm할 수 있다. 이는 중간 단계의 심볼이 주장하는 바를 실제로 나타내지 못하게 함으로써 모델의 설명을 신뢰할 수 없게 만든다.

2. 방법론

2.1 불일치 측정

저자들은 표준 정확도 지표를 넘어 심볼 탐지의 신뢰성을 평가하기 위한 일련의 진단 도구를 제 제안한다:

• 전역 심볼 신뢰성 (Swap Test): 저자들은 여러 개의 CBM을 독립적으로 학습시킨다. 그 후, 한 모델의 개념 탐지기를 다른 모델의 분류 헤드와 교체한다.
  • 교체된 모델이 높은 정확도를 유지한다면, 개념 탐지기와 헤드가 견고하고 불변하는 심볼릭 표현을 공유하고 있음을 의미한다.
  • 상당한 정확도 하락("swap drop")은 탐지기와 헤드가 원래의 쌍에 특화된 가짜 인코딩에 서로 공동 적응(co-adapted)했음을 나타낸다.
• 심볼 교환 가능성 (Symbol Interchangeability): 모델이 개념의 *정체성(identity)*에 의존하는지, 아니면 단순히 활성화된 개념의 *개수(count)*에 의존하는지 테스트하기 위해, 저자들은 두 가지 귀무 분포를 사용한다:
  • 개념 차원 순열(Concept-dimension permutation): 헤드에 입력하기 전 개념 레이블을 무작위로 섞는다.
  • 개념 내 샘플 셔플링(Within-concept sample-shuffle): 샘플 간에 개념 값을 순열한다.
  • 이러한 순열 하에서도 정확도가 높게 유지된다면, 심볼들이 별개의 개념으로서 구별되지 않음을 의미하며, 이는 탐지가 신뢰할 수 없음을 나타낸다.
• 개별 예측 신뢰성: 독립적으로 학습된 탐지기 앙상블을 사용하여, 저자들은 예측 불확실성을 알레아토릭(aleatoric, 데이터 노이즈) 성분과 에피스테믹(epistemic, 모델 불일치) 성분으로 분해한다. 이들은 개별 개념 예측을 앙상블 합의(consensus)로 고정하고 레이블 불확실성의 감소량을 측정함으로써, 레이블 불확실성을 특정 심볼에 귀속시킨다.

2.2 제안된 해결책: 신뢰성 인식 학습 (Reliability-Aware Training)

정보 누출을 완화하기 위해, 본 논문은 탐지기와 헤드 사이의 공동 적응을 줄이는 학습 전략을 제안한다:

1. 멀티 헤드 학습 (Multi-Head Training): 하나의 탐지기를 하나의 헤드와 학습시키는 대신, 공유된 개념 탐지기 $g_\theta$를 $R$개의 독립적으로 초기화된 분류 헤드 $\{f^{(r)}_{\phi_r}\}$ 앙상블에 대해 학습시킨다.
   • 목적 함수는 모든 헤드에 걸친 분류 손실의 평균을 구한다.
   • 개념 드롭아웃 (Concept Dropout): 헤드들이 동일한 솔루션으로 수렴하는 것(이는 앙상블 효과를 무효화함)을 방지하기 위해, 각 헤드는 독립적인 무작위 드롭아웃 마스크에 의해 마스킹된 개념 활성화 값을 받는다. 이는 탐지기가 정보 누락에 강건하고 단일 지름길에 의존하지 않는 표현을 학습하도록 강제한다.
2. 신뢰성 인식 정규화 (Reliability-Aware Regularization):
   • 검증 세트에서의 탐지 정확도를 기반으로 각 개념에 대한 전역 신뢰도 점수 $r_k$를 계산한다.
   • 인스턴스 수준의 에피스테믹 불확실성 $U_{epi}(x_i, k)$를 각 심볼에 대해 추정한다.
   • 전역 신뢰도가 낮거나 인스턴스 수준의 불확실성이 높은 개념에 분류기가 의존하는 것을 억제하는 불신중 가중치(unreliability weight) $\omega_{ik}$를 계산한다.
   • 검증 세트의 정확도에 따라 전역 신뢰도와 인스턴스 수준의 불확실성을 결합한 페널티 항을 손실 함수에 추가하여, 낮은 신뢰도나 높은 불확실성을 가진 개념에 의존하는 것을 방지한다.

3. 주요 결과

3.1 CUB-200-2011 데이터셋 (전체 감독)

전체 개념 감독($\lambda=1$)이 이루어진 조류 종 분류 작업에서:

• 높은 교환 가능성: 탐지기와 헤드는 거의 자유롭게 교환 가능하다. 스왑 드롭(swap drop)은 미미하며(정확도 1점 미만), 상대적 유지율은 99% 이상이다.
• 견고성: 어떤 개념도 우연 수준(chance levels) 미만으로 탐지되지 않았으며, 한 시드(seed)에서 학습된 헤드는 다른 시드의 탐지기로 거의 손실 없이 전이되었다.
• 불확실성: 심볼 수준의 에피스테믹 불확실성은 낮았으나, 레이블 수준의 불확실성은 유의미하게 더 높았다. 이는 많은 개념들 사이의 작은 불일치가 분류 헤드에서 복합적으로 작용함을 나타낸다.

3.2 합성 데이터셋 (제어된 누출)

색상-모양 합성 데이터셋에서, 저자들은 누출을 시뮬레이션하기 위해 개념 감독 가중치 $\lambda$를 변화시켰다:

• 누출 현상: $\lambda$가 감소함에 따라(개념 감독 약화), 매칭된 정확도는 거의 완벽하게 유지(100%)되었으나, **스왑된 정확도(swapped accuracy)는 우연 수준(2030%)으로 급락**했다. 탐지된 개념과 실제 정답 사이의 일치도 또한 ~50%로 떨어졌다.
• 완화: 제안된 멀티 헤드 및 신뢰성 인식 전략은 이러한 누출을 실질적으로 완화했다. 낮은 $\lambda$ (0.1)에서, 이 방법들은 표준 공동 학습과 비교했을 때 스왑 정확도를 대략 두 배(약 26%에서 50%로) 증가시켰으며, 이는 탐지기가 더 견고하고 헤드 특정적이지 않은 표현을 학습하고 있음을 확인시켜 준다.

3.3 진단적 발견

• 가짜 발화 (Spurious Firing): 공동 학습 체제에서, 특정 개념(예: 다리 색상)은 앙상블 탐지기들 사이에서 높은 불일치를 보였다. 이 불일치는 예측 오류와 직접적으로 연결되어 있었으며, 논쟁이 되는 심볼을 합의된 값으로 고정하면 오분류가 종종 수정되었다.
• 널 테스트 (Null Tests): 표준 공동 CBM으로 학습된 헤드들은 개념의 정체성이 순열될 때 거의 우연 수준의 정확도로 붕괴되었다. 이는 모델이 부수적인 상관관계가 아닌 특정 개념 탐지에 진정으로 의존하고 있음을 확인시켜 준다.

4. 의의 및 주장

본 논문은 높은 정확도가 충실한 설명을 보장한다는 가정에서 벗어나, CBM의 신뢰성을 스트레스 테스트하기 위한 엄격한 프레임워크를 제공한다고 주장한다.

• 누출의 검증: 저자들은 높은 작업 정확도가 심볼이 "더 이상 주장하는 바를 의미하지 않는" 상태와 공존할 수 있음을 입증했다. 특히 개념 감독이 약하거나 공동 학습이 지름길을 조장할 때 그러하다.
• 실질적 완화: 개념 드롭아웃을 포함한 멀티 헤드 학습과 신뢰성 인식 정규화는 작업 성능을 크게 희생하지 않으면서 정보 누출을 줄이는 실질적인 방법을 제공한다.
• 진단적 유용성: 스왑 테스트와 불확실성 분해는 어떤 특정 개념이 가짜 발화에 취약한지를 식별할 수 있는 실행 가능한 진단 도구를 제공하여 타겟팅된 개입을 가능하게 한다.

저자들은 신뢰성 인식 학습이 누출을 완화하지만, 때때로 전체 정확도를 약간 감소시키는 트레이드오프(trade-off)를 동반한다고 결론짓는다. 높은 성능과 엄격한 신뢰성을 조화시키는 것은 향후 과제로 남아 있다. 이 논문은 모든 XAI 문제를 해결한다고 주장하는 것이 아니라, CBM의 중간 심볼릭 레이어의 충실도 문제를 구체적으로 다룬다.