Towards Reasonable Concept Bottleneck Models

이 논문은 개념 간 관계와 작업 간 관계를 명시적으로 인코딩하고 불완전한 개념 집합을 보완하기 위해 정규화된 사이드 채널을 도입하여, 기존 개념 병목 모델 (CBM) 의 한계를 극복하면서도 높은 성능과 해석 가능성을 동시에 달성하는 새로운 'CREAM' 프레임워크를 제안합니다.

핵심

이 논문은 인공지능 (AI) 이 어떻게 '생각'하고 '판단'하는지를 더 투명하고 인간이 이해하기 쉽게 만드는 새로운 방법, CREAM을 소개합니다.

기존의 AI 는 마치 검은 상자 (Black Box) 처럼, 입력을 받으면 바로 답을 내놓지만, 그 내부에서 어떤 과정을 거쳐 그 답이 나왔는지 알 수 없습니다. 이 논문은 AI 가 단순히 답만 외우는 게 아니라, 인간이 이해할 수 있는 '개념 (Concept)'들을 통해 추론하는 과정을 거치도록 설계된 모델을 제안합니다.

이 내용을 일상적인 비유와 함께 쉽게 설명해 드릴게요.

---

1. 기존 AI 의 문제점: "무언가 잘못 알고 있는 학생"

기존의 개념 병목 모델 (CBM) 은 AI 에게 "이 옷은 '상의'인가, '하의'인가?" 같은 개념을 먼저 학습하게 한 뒤, 최종 답을 내리게 합니다. 하지만 두 가지 큰 문제가 있었습니다.

• 개념 간의 관계를 무시함: 예를 들어, "상의"와 "하의"는 동시에 입지 않는다는 사실 (상호 배타성) 을 AI 가 모르고, "셔츠"와 "티셔츠"가 서로 다른 개념이라는 것을 제대로 구분하지 못할 수 있습니다.
• 개념이 불완전한 상황: 만약 AI 가 배운 개념이 부족하다면 (예: 계절 정보를 모른다면), 정확한 답을 내기 위해 개념을 무시하고 다른 힌트를 훔쳐보거나 (Concept Leakage), 아예 엉뚱한 추리를 할 수 있습니다.

2. CREAM 의 등장: "논리 지도를 가진 명석한 학생"

이 논문이 제안한 CREAM은 AI 가 추론할 때 **인간이 미리 그려준 '논리 지도 (Reasoning Graph)'**를 따르도록 합니다.

🗺️ 비유: 도시의 교통 지도

기존 AI 는 목적지까지 가는 길만 알고 있을 뿐, 어떤 길이 막히거나, 어떤 길이 서로 연결되어 있는지 모릅니다. 하지만 CREAM 은 교통 지도를 가지고 있습니다.

• 상호 배타성 (Mutex): "셔츠"를 입으면 "티셔츠"를 동시에 입을 수 없다는 규칙을 지도에 명시합니다.
• 계층 구조: "옷"이라는 큰 개념 아래에 "상의"와 "하의"가 있고, 그 아래에 "셔츠", "바지"가 있다는 계층을 이해합니다.
• 관계: "날씨가 추우면"이라는 개념이 "코트"를 선택하게 만든다는 인과관계를 학습합니다.

이 지도 덕분에 AI 는 엉뚱한 추리를 하지 않고, 인간이 의도한 논리 경로를 따라가게 됩니다.

3. 핵심 기능 1: "보조 배낭" (Side-Channel)

현실에서는 AI 가 배운 개념이 항상 충분하지 않습니다. 예를 들어, 옷 사진만 보고 "겨울용 코트"를 맞추려면 '계절' 정보가 필요한데, 개념 목록에 계절이 없다면 어떨까요?

• CREAM 의 해결책: AI 에게 **보조 배낭 (Side-Channel)**을 하나 더 줍니다. 이 배낭에는 개념으로 설명되지 않는 나머지 정보 (예: 이미지 전체의 분위기, 배경 등) 가 들어갑니다.
• 규칙: 하지만 이 배낭은 비상용입니다. AI 는 먼저 개념 (논리 지도) 을 최대한 활용해야 하고, 개념이 부족할 때만 보조 배낭을 엽니다.
• 효과: 개념이 부족해도 AI 가 무너지지 않고 정확한 답을 낼 수 있게 되면서, 동시에 "내가 왜 이 답을 냈는지" 개념을 통해 설명할 수 있게 됩니다.

4. 핵심 기능 2: "개념 누수 방지" (Concept Leakage)

기존 AI 는 개념을 배우는 척하면서도, 실제로는 이미지가 가진 다른 특징 (예: 배경색, 조명) 을 훔쳐서 정답을 맞추는 경우가 많았습니다. 이를 **'개념 누수'**라고 합니다. 마치 시험을 볼 때 문제의 힌트를 보고 답을 맞추는 것과 같습니다.

• CREAM 의 해결책: 논리 지도를 통해 AI 가 "이 개념만 보고 답을 내야 한다"는 규칙을 철저히 따르게 합니다. 지도에 없는 길로는 갈 수 없도록 차단하는 것입니다.
• 결과: AI 는 정말로 배운 개념을 통해 추론하게 되므로, 우리가 "왜 이 옷을 코트라고 했지?"라고 물으면 "계절이 겨울이고, 옷이 두껍기 때문"이라고 논리 정연하게 설명할 수 있게 됩니다.

5. 핵심 기능 3: "수정 가능한 사고" (Interventions)

CREAM 의 가장 멋진 점은 인간이 개입할 수 있다는 것입니다.

• 상황: AI 가 "이 옷은 여름용 드레스"라고 잘못 예측했다고 가정해 봅시다.
• 기존 AI: "왜?"라고 물어도 이유를 모릅니다.
• CREAM: 인간이 "아니야, 이 옷은 '겨울'이야"라고 개념을 수정해 주면, AI 는 논리 지도를 따라 "겨울" → "두꺼운 옷" → "코트"로 자동으로 추론을 바꾸고 정답을 냅니다.
• 효과: 인간은 AI 의 '생각 과정'을 직접 수정하고 교정할 수 있어, 신뢰도가 매우 높아집니다.

6. 요약: 왜 이것이 중요한가요?

이 논문은 AI 를 더 똑똑하게 만드는 것뿐만 아니라, AI 를 더 '신뢰할 수 있는' 존재로 만드는 방법을 제시합니다.

• 논리적: AI 가 엉뚱한 추리를 하지 않도록 지도를 그려줍니다.
• 튼튼함: 개념이 부족해도 보조 배낭을 통해 실수하지 않습니다.
• 투명함: AI 가 왜 그런 답을 냈는지, 어떤 개념을 통해 결론을 내렸는지 인간이 이해하고 수정할 수 있습니다.

마치 AI 가 인간과 대화하며 함께 문제를 해결하는 파트너가 되는 것과 같습니다. 복잡한 기술 용어 대신, "논리 지도", "보조 배낭", "개념 누수 방지" 같은 쉬운 비유로 AI 의 내면을 투명하게 만들었다는 점이 이 연구의 핵심입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 CBM 은 해석 가능성과 인간 개입 (Intervention) 을 위해 중간 개념 레이어를 사용하지만, 다음과 같은 주요 한계가 존재합니다.

• 개념 간 독립성 가정: 기존 CBM 은 개념들이 서로 독립적이라고 가정하여, 개념 간의 계층적 관계, 상호 배타성 (Mutual Exclusivity), 상관관계 등을 모델링하지 못합니다.
• 개념 불완전성 (Concept Incompleteness): 실제 데이터셋은 모든 클래스를 설명하기에 충분한 개념을 포함하지 않는 경우가 많습니다. 이 경우 모델의 정확도가 떨어집니다.
• 개념 누출 (Concept Leakage): 모델이 의도된 개념 추론 경로를 우회하여, 개념 표현에 원치 않는 정보 (예: 배경 노이즈 등) 를 인코딩하거나 작업 예측 시 관련 없는 개념을 악용하는 현상입니다. 이는 해석 가능성을 훼손하고 신뢰성을 떨어뜨립니다.
• 유연성 부족: 기존 확장 모델들은 특정 제약 조건 (예: DAG 만 허용, 특정 수식 계열 제한) 에 묶여 있어 다양한 도메인 지식을 반영하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 CREAM을 제안하여 위 문제들을 해결합니다. CREAM 은 설계자가 정의한 **추론 그래프 (Reasoning Graph, $G$)**를 기반으로 작동하며, 다음과 같은 모듈러 구조를 가집니다.

A. 구조적 추론 그래프 ($G$)

모델은 두 가지 주요 관계를 그래프로 인코딩합니다:

1. 개념 - 개념 (C-C) 관계 ($G_C$): 개념 간의 상호 배타성, 계층적 관계, 상관관계 등을 인코딩합니다. 인접 행렬 $A_C$를 사용하여 정보 흐름을 제한합니다.
2. 개념 - 작업 (C$\to$Y) 관계 ($G_Y$): 모든 개념이 작업 클래스에 직접 연결되는 것이 아니라, 전문가가 정의한 하위 집합 ($C_{direct}$) 만 연결되도록 하여 희소한 (Sparse) 설명을 가능하게 합니다.

B. 아키텍처 구성 요소

CREAM 은 다음과 같은 플러그 - 앤 - 플레이 (Plug-and-Play) 구성 요소를 가집니다:

1. 표현 분할기 (Representation Splitter): 백본 네트워크의 특징 벡터 $z$를 **개념 표현 ($z_C$)**과 **사이드 채널 ($z_Y$)**로 분할합니다.
2. 구조적 신경망 (Structured Neural Networks, StrNN): C-C 및 C$\to$Y 관계를 인코딩하기 위해 인접 행렬에 기반한 이진 마스크를 적용합니다. 이를 통해 불필요한 정보 흐름을 차단하고, 의도된 관계만 학습되도록 강제합니다.
3. 정규화된 사이드 채널 (Regularized Side-Channel): 개념으로 설명되지 않는 정보를 보완하기 위해 사이드 채널을 도입하되, 드롭아웃 (Dropout) 기반 정규화를 적용합니다. 이는 모델이 개념을 우선시하도록 유도하여 해석 가능성을 유지하면서 불완전한 개념셋에서도 성능을 보장합니다.
4. 개념 - 작업 분류기: 구조화된 관계를 통해 개념 예측과 사이드 채널 정보를 결합하여 최종 작업 레이블을 예측합니다.

C. 개입 및 누출 방지

• 개념 누출 방지: 구조화된 추론 경로 ($A_C, A_Y$) 를 강제함으로써 모델이 우회 경로를 통해 정보를 학습하는 것을 방지합니다.
• 개입 전파 (Intervention Propagation): StrNN 의 구조적 특성 (희소성) 을 활용하여, 특정 개념의 값을 변경했을 때 하위 개념과 작업 예측에 어떻게 영향을 미치는지 역전파 (Inversion) 를 통해 계산할 수 있습니다. 이는 인간이 모델의 추론을 수정하고 검증하는 것을 용이하게 합니다.

3. 주요 기여 (Key Contributions)

1. CREAM 프레임워크: C-C 및 C$\to$Y 관계를 유연하게 인코딩할 수 있는 모듈러 CBM 프레임워크를 제안했습니다.
2. 개념 누출 해결: 구조적 제약을 통해 소프트 (Soft) 개념을 사용하면서도 개념 누출을 방지하는 최초의 프레임워크 중 하나입니다.
3. 개념 불완전성 대응: 정규화된 사이드 채널을 통해 개념이 부족할 때도 블랙박스 수준의 성능을 유지하면서 해석 가능성을 확보했습니다.
4. 새로운 평가 지표 (CCI): 사이드 채널이 포함된 모델에서 개념의 중요도를 정량화하기 위해 Concept Channel Importance (CCI) 지표를 제안했습니다. 이는 SAGE 값을 기반으로 하며, 모델이 개념에 얼마나 의존하는지 (해석 가능성) 를 측정합니다.
5. 효율성: 기존 구조적 CBM 모델들 (CGM 등) 에 비해 계산 효율성이 뛰어나고 메모리 사용량이 적습니다.

4. 실험 결과 (Results)

FashionMNIST (iFMNIST, cFMNIST), CUB (Birds), CelebA 데이터셋에서 실험을 수행했습니다.

• 성능: CREAM 은 개념 불완전성 (iFMNIST) 상황에서도 블랙박스 모델과 경쟁력 있는 작업 정확도 (Task Accuracy) 를 달성했습니다.
• 개념 정확도: 구조적 추론을 통해 개념 예측 정확도 (Concept Accuracy) 를 높였습니다.
• 개입 효과: CREAM 은 개입 (Intervention) 횟수가 증가함에 따라 정확도가 빠르게 향상되었으며, 특히 직접 연결된 개념 ($C_{direct}$) 만을 대상으로 개입할 때 효율이 극대화되었습니다.
• 개념 누출: CREAM 은 누출 지수 ($\Lambda$) 가 0 인 것으로 확인되어, 개념 기반 추론이 의도대로 작동함을 입증했습니다. (기존 CBM 은 누출이 발생함)
• 계산 효율성: CGM(Causal Graph Models) 등의 대안 모델에 비해 학습 시간과 메모리 사용량이 현저히 낮았습니다.
• CCI 및 드롭아웃: 드롭아웃 비율을 높이면 CCI 가 증가하여 모델이 개념에 더 의존하게 됨을 확인했습니다. 불완전한 개념셋에서는 높은 드롭아웃이 해석 가능성과 성능의 균형을 맞추는 데 필수적입니다.

5. 의의 및 결론 (Significance)

이 논문은 해석 가능한 AI (XAI) 분야에서 중요한 진전을 이루었습니다.

• 실용성: 실제 세계의 데이터는 종종 불완전한 개념을 가지며, 개념 간 복잡한 관계가 존재합니다. CREAM 은 이러한 현실적인 제약 하에서도 신뢰할 수 있는 추론을 가능하게 합니다.
• 신뢰성: 개념 누출을 방지하고 구조화된 추론을 강제함으로써, 모델의 결정 과정에 대한 인간의 신뢰를 높입니다.
• 확장성: 모듈러 설계로 인해 다양한 도메인 지식 (계층, 상호 배타성, 상관관계 등) 을 쉽게 통합할 수 있어, 의료, 금융, 자율 주행 등 고위험 분야에서 CBM 의 적용 범위를 넓혔습니다.

요약하자면, CREAM 은 구조적 추론과 정규화된 보조 정보를 결합하여, 해석 가능성과 예측 성능 사이의 트레이드오프를 해결하고 개념 누출을 방지하는 차세대 개념 병목 모델입니다.