Rethinking Concept Bottleneck Models: From Pitfalls to Solutions

이 논문은 개념 병목 모델 (CBM) 의 한계를 해결하기 위해 개념 적합성 평가 지표, 비선형 계층 도입, 증류 손실 활용, 그리고 다양한 백본과 VLM 에 대한 체계적 분석을 포함하는 방법론적 프레임워크인 'CBM-Suite'를 제안합니다.

핵심

🎒 1. 개념 병목 모델 (CBM) 이란 무엇일까요?

마치 아이가 그림을 보고 "이건 고양이다"라고 말할 때, 단순히 "고양이"라고 외우는 게 아니라 "귀가 뾰족하고, 수염이 있고, 꼬리가 길다"는 특징 (개념) 을 먼저 떠올린 뒤 결론을 내리는 과정과 비슷합니다.

• 기존 AI: 그림을 보고 바로 "고양이"라고 맞힙니다. (왜 그런지 설명 못 함)
• CBM: 그림을 보고 "귀가 뾰족하네? 수염 있네? -> 아, 고양이구나!"라고 설명하며 답을 냅니다. (사람이 이해할 수 있음)

이 방식은 AI 가 왜 그런 결론을 내렸는지 인간이 이해하고 수정할 수 있게 해줘서 매우 중요하지만, 실제로는 몇 가지 치명적인 함정이 있었습니다.

---

⚠️ 2. 기존 CBM 의 4 가지 큰 문제점 (함정)

연구진은 기존 방식이 가진 4 가지 문제를 발견했습니다.

① "무의미한 개념"도 잘 맞을 수 있다? (개념 누수)

• 비유: 시험 문제를 풀 때, 정답을 알려주는 '비밀 단서'를 모르고도 운 좋게 맞히는 경우입니다.
• 문제: AI 가 "고양이"를 설명할 때 '귀', '수염' 같은 진짜 중요한 개념 대신, '빨간색', '왼쪽' 같은 무관한 개념을 사용해도 점수가 잘 나올 수 있습니다. 즉, AI 가 진짜 개념을 이해한 게 아니라, 우연히 맞춘 것일 수 있다는 겁니다.

② "선형성 문제": 중간 과정을 무시하다?

• 비유: 요리사가 "재료 (개념) 를 섞어서" 요리를 한다고 하지만, 실제로는 재료 없이 바로 불에 구워낸 것과 같습니다.
• 문제: 최근 AI 모델들은 '개념'을 거치는 과정을 수학적으로 단순화 (선형) 해버려, 실제로는 중간에 '개념'이라는 단계를 거치지 않고 바로 답을 내는 경우가 많았습니다. 이건 "개념을 설명한다"는 목적을 완전히 무시하는 것입니다.

③ 정확도 차이 (Accuracy Gap)

• 비유: "정답을 설명하며 풀면 점수가 떨어진다"는 뜻입니다.
• 문제: 설명을 하려고 중간에 '개념'이라는 단계를 거치면, AI 의 성능이 설명을 안 하는 AI 보다 떨어집니다. 사람들은 "설명 가능하지만 성능이 나쁜 AI"보다 "성능은 좋은데 설명 못하는 AI"를 더 좋아해서, 실제 쓰임새가 적었습니다.

④ 어떤 '눈 (Encoder)'과 '뇌 (VLM)'를 쓸지 모름

• 비유: 카메라 렌즈와 두뇌 조합을 아무렇게나 섞어쓰는 것과 같습니다.
• 문제: 어떤 카메라 (이미지 인식 모델) 와 어떤 언어 모델 (개념 이해 모델) 을 짝지어야 가장 잘 작동하는지에 대한 체계적인 연구가 부족했습니다.

---

🛠️ 3. 해결책: CBM-Suite (새로운 도구)

이 연구팀은 위 4 가지 문제를 해결하기 위해 CBM-Suite라는 새로운 방법론을 만들었습니다.

✅ 해결책 1: "개념의 질"을 미리 측정하는 나침반

• 방법: 훈련을 시작하기 전에, **엔트로피 (Entropy)**라는 수학적 지표를 이용해 "이 개념들이 진짜 유용한가?"를 미리 체크합니다.
• 비유: 요리하기 전에 재료를 미리 맛보고, "이 재료는 요리에 쓸모가 있나? 아니면 그냥 쓰레기인가?"를 미리 골라내는 것입니다. 무의미한 개념은 아예 쓰지 않게 됩니다.

✅ 해결책 2: "진짜 중간 과정"을 강제하는 문

• 방법: 모델 구조에 비선형 (Non-linear) 층을 추가했습니다.
• 비유: 요리사가 재료를 섞지 않고 바로 요리를 하면 안 되게, 반드시 '재료 섞기 (개념 단계)'를 거쳐야만 다음 단계로 넘어가게 문 (ReLU 활성화 함수) 을 설치한 것입니다. 이렇게 하면 AI 는 어쩔 수 없이 개념을 사용해서 답을 내야 합니다.

✅ 해결책 3: "스승"에게 배우기 (지식 증류)

• 방법: 성능이 좋은 '설명 없는 AI (스승)'에게 배우게 했습니다.
• 비유: 설명을 잘하지만 실력이 약한 학생 (CBM) 이, 설명은 못 하지만 실력이 좋은 천재 (스승) 의 답을 보며 "어떻게 문제를 푸는지"를 배웁니다. 하지만 학생은 여전히 설명을 해야 하는 규칙을 지키면서 실력만 키워서, 설명 가능하면서도 성능이 뛰어난 AI 가 됩니다.

✅ 해결책 4: 다양한 조합 실험

• 방법: 수많은 카메라와 두뇌 조합을 실험해봤습니다.
• 결과: 어떤 조합이 가장 좋은지 체계적으로 정리하여, 앞으로 연구자들이 가장 효율적인 모델을 고를 수 있는 가이드를 제공했습니다.

---

🏆 4. 결론: 무엇이 달라졌나요?

이 연구를 통해 우리는 다음과 같은 것을 알게 되었습니다.

1. 진짜 설명을 하려면: 무작정 개념을 넣는 게 아니라, 진짜 유용한 개념인지 미리 확인해야 합니다.
2. 구조가 중요합니다: 중간에 개념을 거치는 과정을 수학적으로 강제해야 AI 가 진짜 개념을 배웁니다.
3. 성능과 설명은 양립 가능하다: '스승'에게 배우는 방식을 쓰면, 설명도 잘하면서 성능도 좋은 AI를 만들 수 있습니다.

한 줄 요약:

"이제 AI 가 "왜 그런 결론을 내렸는지" 설명할 때, 단순히 말을 꾸미는 게 아니라 진짜 이유를 바탕으로 설명하면서도 정확한 답을 낼 수 있게 되었습니다."

이 연구는 AI 가 인간의 신뢰를 얻기 위해 필요한 '진짜 설명 가능한 AI'를 만드는 데 중요한 이정표가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

Concept Bottleneck Models (CBM) 은 예측을 인간이 이해할 수 있는 '개념 (Concepts)'을 기반으로 수행하여 모델의 해석 가능성 (Interpretability) 을 확보하려는 접근법입니다. 그러나 최근의 CBM 연구들은 다음과 같은 근본적인 한계와 함정에 직면해 있습니다.

1. 개념 집합의 관련성 평가 부재: 훈련 전에 개념 집합이 데이터셋과 얼마나 관련성이 있는지 정량적으로 평가할 수 있는 지표가 없습니다. 결과적으로, 무작위이거나 관련 없는 개념을 사용해도 높은 정확도를 내는 '개념 누출 (Concept Leakage)' 현상이 발생합니다.
2. 선형성 문제 (Linearity Problem): 최근의 많은 CBM 프레임워크는 이미지 임베딩에서 개념 활성화, 그리고 최종 분류까지 선형 (Linear) 변환만 사용합니다. 이 경우, 중간 개념 층이 수학적으로 생략되어 모델이 실제 개념을 사용하지 않고 백본 (Backbone) 임베딩에 대한 단순한 선형 프로브 (Linear Probe) 로 동작하게 됩니다. 이는 해석 가능성의 본질을 훼손합니다.
3. 정확도 격차 (Accuracy Gap): 개념 병목 (Bottleneck) 층을 거치면서 불투명한 모델 (Opaque models) 에 비해 예측 정확도가 떨어지는 문제가 발생합니다. 이는 실제 적용을 저해하는 주요 요인입니다.
4. 백본 및 VLM 선택에 대한 체계적 연구 부재: 다양한 비전 인코더 (Vision Encoders) 와 비전 - 언어 모델 (VLMs) 의 조합이 CBM 의 성능과 해석 가능성에 미치는 영향을 체계적으로 분석한 연구가 부족합니다.

2. 제안 방법: CBM-Suite (Methodology)

저자들은 위 문제들을 해결하기 위해 CBM-Suite라는 방법론적 프레임워크를 제안합니다. 이는 네 가지 핵심 기술로 구성됩니다.

2.1. 엔트로피 기반 개념 적합성 지표 (Goodness of Concepts Metric)

• 목적: 훈련 전에 개념 집합의 질을 평가하여 관련 없는 개념을 선별해냅니다.
• 원리: VLM 의 이미지 임베딩과 텍스트 임베딩 간의 코사인 유사도를 통해 개념 활성화 (Concept Activations) 를 계산합니다. 이를 Softmax 를 통해 확률 분포로 변환한 후 엔트로피 (Entropy) 를 계산합니다.
  • 낮은 엔트로피: 개념이 특정 이미지에 대해 희소하고 집중된 (Sparse & Concentrated) 반응을 보임 $\rightarrow$ 관련성 높음.
  • 높은 엔트로피: 개념 활성화가 무작위적이고 분산됨 $\rightarrow$ 관련성 낮음.
• 구현: 작업 무관 (Task-agnostic) 및 작업 특정 (Task-specific) 두 가지 관점에서 평가합니다.

2.2. 비선형 개념 인코더 (Non-linear Concept Encoding)

• 목적: 선형성 문제를 해결하여 모델이 실제로 개념 층을 통과하도록 강제합니다.
• 원리: 기존 선형 매핑 대신, 이미지 특징을 개념 공간으로 매핑하는 ReLU 활성화 함수가 포함된 2 층 MLP를 도입합니다.
• 효과: 행렬 곱셈의 결합 법칙으로 인해 전체 변환이 단일 선형 변환으로 축소되는 것을 방지하여, 분류 정확도가 개념의 선택에 의존하도록 만듭니다.

2.3. 지식 증류 기반 학습 (Teacher-Guided Training)

• 목적: CBM 과 일반 분류기 간의 정확도 격차를 해소합니다.
• 원리: 이미지 임베딩에 직접 학습된 선형 프로브 (Linear Probe) 를 '교사 (Teacher)' 모델로 사용합니다.
  • 손실 함수 (Loss):
    1. 정답 레이블에 대한 교차 엔트로피 손실.
    2. 희소성을 유도하는 Elastic Net 정규화 ($L_1, L_2$).
    3. 지식 증류 손실: 학생 모델 (CBM) 의 로짓을 교사 모델의 로짓에 맞추는 손실.
• 효과: 해석 가능성을 유지하면서 불투명한 모델 수준의 예측 능력을 CBM 에 주입합니다.

2.4. 체계적인 구성 요소 평가

• 다양한 비전 인코더 (ResNet, DINOv2, Perception Encoder 등) 와 VLM (CLIP, SigLIP, SAIL 등) 의 조합을 대규모로 비교 분석하여 최적의 아키텍처 조합을 규명합니다.

3. 주요 기여 (Key Contributions)

1. 엔트로피 기반 평가 지표 도입: 훈련 전 개념 집합의 질을 정량적으로 평가할 수 있는 새로운 메트릭을 제시하여, 개념 누출을 사전에 방지합니다.
2. 선형성 문제 해결: 비선형 계층을 도입하여 CBM 이 단순한 선형 프로브로 퇴화하는 것을 막고, 예측이 실제로 개념에 기반하도록 보장합니다.
3. 정확도 격차 해소: 지식 증류 기법을 통해 CBM 의 정확도를 기존 불투명한 모델 수준으로 끌어올렸습니다.
4. 포괄적 비교 연구: 다양한 백본과 VLM 조합이 CBM 성능에 미치는 영향을 처음으로 체계적으로 분석했습니다.

4. 실험 결과 (Results)

• 개념 적합성: 제안한 엔트로피 지표는 관련 있는 개념 집합 (낮은 엔트로피) 과 무작위/관련 없는 개념 집합 (높은 엔트로피) 을 명확하게 구분했습니다.
• 선형성 문제 검증:
  • 선형 CBM: 관련 없는 개념 (무작위 문자열 등) 을 사용해도 높은 정확도 (ImageNet100 에서 85% 이상) 를 유지하여, 개념 층을 우회하고 있음을 증명했습니다.
  • 비선형 CBM: 관련 없는 개념을 사용하면 정확도가 급격히 하락 (약 25%p 감소) 하여, 모델이 실제로 개념에 의존함을 입증했습니다.
• 정확도 향상: 지식 증류를 적용한 Distilled CBM은 Vanilla CBM 보다 ImageNet100 에서 약 3%p, Places365 에서 약 1.8%p 높은 정확도를 달성하며, Oracle(선형 프로브) 의 성능에 근접했습니다.
• SOTA 비교: CUB200, CIFAR100, Places365 에서 기존 최첨단 CBM (LaBo, LFCBM) 보다 우수한 성능을 보였으며, ImageNet 에서도 경쟁력 있는 결과를 달성했습니다.
• 구성 요소 영향: Perception Encoder가 가장 강력한 비전 백본으로 나타났으며, SigLIP과 같은 VLM 과의 조합이 전반적으로 높은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 CBM 이 가진 구조적 결함 (선형성 문제, 개념 누출, 정확도 저하) 을 체계적으로 규명하고 해결책을 제시했습니다.

• 해석 가능성의 신뢰성 확보: 단순히 개념을 사용하는 것처럼 보이는 것이 아니라, 실제로 개념에 기반하여 예측하는 모델을 만드는 방법론을 정립했습니다.
• 실용성 증대: 해석 가능성과 높은 정확도를 동시에 달성할 수 있게 되어, CBM 의 실제 산업 적용 가능성을 크게 높였습니다.
• 연구 방향 제시: 향후 CBM 연구에서는 개념 집합의 질을 사전에 평가하고, 비선형성을 도입하며, 지식 증류를 활용해야 함을 강조했습니다.

결론적으로, CBM-Suite는 개념 기반 해석 가능 AI 를 개발할 때 고려해야 할 핵심 설계 원칙과 실용적인 가이드라인을 제공합니다.