기술 요약: 개념 병목 전문가 혼합 모델 (Mixture of Concept Bottleneck Experts, M-CBEs)

문제 정의

개념 병 bottleneck 모델(CBM)은 입력을 인간이 해석 가능한 변수(개념)로 매핑하는 개념 인코더와, 이 개념들을 최종 출력으로 매핑하는 태스크 예측기(task predictor)의 두 단계로 분해함으로써 딥러닝 모델을 인간의 추론 방식과 정렬하는 유망한 접근법으로 부상했습니다. 그러나 기존의 CBM은 일반적으로 태스크 예측기를 **단일한 전역 함수(single, global function)**로 제한하며, 그 함수 형태를 사전 정의된(a priori) 형태(예: 단일 선형 레이어 또는 고정된 불리언 논리식)로 설정합니다.

이러한 경직성은 두 가지 결정적인 한계를 초래합니다:

1. 표현력의 제한: 단일 전역 함수는 개념에서 태스크로 이어지는 실제의 복잡한 생성 과정을 포착하지 못하는 경우가 많아, 예측 정확도가 저하될 수 있습니다.
2. 유연하지 못한 해석 가능성: 해석 가능성은 사용자 의존적입니다. 함수 형태를 고정하는 것(예: 관계가 비선형임에도 선형 모델을 강제하거나, 관계가 연속적임에도 불리언 모델을 사용하는 것)은 불필요하게 예측 성능을 희생시키거나 다양한 사용자의 정신 모델(mental models)에 맞추는 데 실패할 수 있습니다.

현재의 접근 방식들은 정확도를 높이기 위해 입력을 전문가 혼합(mixture of experts, MoE) 구조로 라우팅하기도 하지만, 이는 주로 블랙박스 예측기로 라우팅하거나 전문가의 함수 형태를 고정하는 방식이며, 정확도와 사용자 정렬된 해석 가능성을 동시에 최적화하는 문제를 해결하지 못합니다.

방법론

저자들은 CBM을 두 가지 차원에서 일반화하는 **개념 병목 전문가 혼합 모델(M-CBEs)**이라는 통합 프레임워크를 제안합니다:

1. 전문가의 수: 단일 전역 함수 대신, 태스크 예측기를 $M$개의 특화된 함수(전문가)의 혼합으로 모델링합니다.
2. 함수 형태: 각 전문가의 함수 형태를 단순한 선형 식부터 사용자 지정 연산자 어휘집(operator vocabularies)으로 정의된 복잡한 기호 식까지 명시적으로 제어할 수 있도록 합니다.

핵심 프레임워크

M-CBE는 태스크 예측기를 입력 $x$에 조건화된 확률 변수 $T$(식 트리, expression tree)로 표현합니다. 결합 분포는 다음과 같이 분해됩니다:
$$p(y, c | x) = p(c | x) \sum_{m=1}^{M} p(m | x) p(y | c, t_m)$$
여기서:

• $p(c | x)$는 개념 인코더입니다.
• $p(m | x)$는 입력 $x$를 특정 전문가 인덱스 $m$에 할당하는 학습 가능한 **선택기(selector/router)**입니다.
• $t_m$은 전문가 $m$과 관련된 고유하고 고정된 식 트리입니다.
• $p(y | c, t_m)$은 선택된 식 $t_m$을 개념 $c$에 대해 실행하는 태스크 예측기입니다.

유한한 식 트리 집합을 강제함으로써, M-CBE는 모든 입력에 대해 고유한 식을 생성하여 무한한 복잡성을 초래하는 모델(예: LICEM 또는 DCR)과 달리, 사용자가 유한한 시간 내에 모든 추론 경로를 검사할 수 있는 **전역적 해석 가능성(global interpretability)**을 보장합니다.

두 가지 새로운 인스턴스화

본 논문은 이 설계 공간을 탐구하기 위해 두 가지 특정 모델을 소개합니다:

1. 선형 M-CBE (Lin-M-CBE):

   • 구조: 식 트리를 선형 함수 형태($y = w^T c + b$)로 제한합니다.
   • 메커니즘: $M$개의 서로 다른 선형 식 세트를 학습합니다. 선택기는 입력을 가장 적절한 선형 전문가에게 라우팅합니다.
   • 목표: 개념들의 선형 결합만으로 충분하지만 단일 전역 선형 모델로는 부족한 고차원 분류 작업에서 견고한 균형을 제공합니다.

2. 기호 M-CBE (Sym-M-CBE):

   • 구조: **기호 회귀(Symbolic Regression, SR)**를 활용하여 식 트리의 구조를 발견합니다.
   • 메커니즘: 사용자는 해석 가능한 연산자 집합 $W$(예: $\{+, -, \times, \sin, \exp\}$)를 정의합니다. 모델은 먼저 각 전문가를 위한 "플레이스홀더" 블랙박스(예: MLP)를 훈련합니다. 그 후, 각 전문가에 할당된 데이터 서브셋에 기호 회귀를 적용하여 사용자 정의 어휘집을 사용하여 최적의 기호 식 트리 $t_m$을 추출(distill)합니다.
   • 적응성: **사후 적응(post-hoc adaptation)**을 지원합니다. 인코더와 선택기가 훈련된 후, 사용자는 전체 모델을 재학습하지 않고도 도메인 전문 지식에 맞춰 새로운 기호 식을 생성하기 위해 연산자 어휘집 $W$를 변경할 수 있습니다.

주요 기여

1. 통합 프레임워크: M-CBE는 기존의 개념 기반 방법들(CBM, CMR, DCR 등)을 특수한 사례로 포함하며, 탐구되지 않은 두 차원의 설계 공간(전문가 수 $\times$ 함수 형태)을 제시합니다.
2. 이론적 보장: 저자들은 다음을 입증하는 명제를 제공합니다:
   • 단일 비선형 전문가는 임의의 연속 함수를 근사할 수 있습니다 (보편적 근사 정리).
   • 선형 전문가의 혼합은 $M$이 충분히 크다면 임의의 연속 함수를 근사할 수 있으며, 근사 오차는 $M$이 증가함에 따라 감소합니다.
3. 전역적 해석 가능성: 유한한 식 집합으로부터 학습함으로써, M-CB는 입력별 개별 예측기(LICEM 또는 DCR 등)가 갖는 "무한 메모리" 문제를 피하고 완전한 모델 검사와 검증을 가능하게 합니다.
4. 사후 적응성: Sym-M-CBE는 초기 훈련 후에도 사용자가 식의 복잡도와 유형(예: 삼각 함수에서 다항식 형태로 전환)을 수정할 수 있게 하여, 다양한 사용자 전문 수준에 대응할 수 있게 합니다.

실험 결과

프레임워크는 분류 및 회귀 작업을 모두 포함하는 4개의 합성 데이터셋과 5개의 실제 데이터셋(MNIST-Arithm, dSprites-Exp, Pendulum, MAWPS, AWA2, CUB-200, CIFAR-10 포함)에서 평가되었습니다.

• 정확도-해석 가능성 트레이드오프: 설계 공간을 탐색함으로써 파레토 최적해(Pareto frontier)를 찾을 수 있습니다.
  • Symbolic M-CBE는 회귀 작업(예: Pendulum)에서 탁월한 성능을 보이며, 파레토 최적해를 지배하는 압축적이고 정확도가 높은 식을 발견합니다.
  • Linear M-CBE는 고차원 분류 작업에서 견고한 균형을 제공하며, 개념 수가 증가함에 따라 성능이 크게 저하되는 경직된 불리언 로직(CMR, DCR)보다 우수한 성능을 보입니다(예: CUB-200 및 CIFAR-10).
• 확장성: 불리언 함수 형태는 연접 규칙(conjunctive rules)의 취약성 때문에 고차원 개념 공간에서 확장성이 떨어집니다. 반면 대수적 형태(선형 및 기호)는 견고한 성능을 유지합니다.
• 개입 가능성 (Intervenability):
  • Sym-M-CBE는 회귀 작업에서 거의 이상적인 개입 가능성을 달려하며, 실제 메커니즘(예: $8.0 \sin(\theta) + 10.0$)을 복구하고 개념이 수정되었을 때 오차가 급격히 감소함을 보여줍니다.
  • Lin-M-CBE는 분류 작업에서 개입에 매우 민감하게 반응하며, 다른 전역적 해석 가능 모델보다 뛰어난 성능을 보입니다.
• 불완전한 개념 처리: 전문가의 수($M > 1$)를 늘리면 불완전한 개념 병목 현상이나 입력 공간 전반에 걸친 가변적인 태스크 로직을 보완할 수 있으며, 단일 전문가 모델이 실패하는 지점에서 성능을 회복합니다.
• 복잡도: M-CBE는 종종 블랙박스 MLP의 정확도와 대등하거나 이를 능가하면서도, 훨씬 낮은 복잡도(식 트리의 노드 수 기준)를 가집니다.

의의 및 주장

본 논문은 M-CBE가 태스크 요구 사항과 다양한 사용자 니즈 모두에 적응할 수 있는 해석 가능한 모델을 개발하기 위한 원칙적인 접근 방식을 확립한다고 주장합니다.

• AI의 민주화: 사용자가 모델의 예측 메커니즘을 자신이 해석할 수 있는 계산 방식(도메인 전문가를 위한 복잡한 수학적 식부터 일반인을 위한 단순한 다항식까지)에 맞출 수 있게 함으로써, AI에 대한 접근을 민주화합니다.
• 책임 있는 AI: 예측이 유한하고 검사 가능한 해석적 식 세트에 근거하도록 보장함으로써, 고위험 영역에서 블랙박스 모델의 불투명성 문제를 해결하고 책임 있는 AI 배포를 진전시킵니다.
• 최적의 트레이드오프: 저자들은 단 하나의 아키텍처 선택이 보편적으로 우월한 것은 아니며, 오히려 전문가의 수와 함수 형태라는 설계 공간을 탐색할 수 있는 능력이 특정 문제에 대한 최적의 정확도-해석 가능성 트레이드오프를 찾는 데 필수적이라고 주장합니다.

인정된 한계점:

• 선택기 네트워크 $p(m | x)$는 블랙박스로 작동하므로, 왜 특정 전문가가 선택되었는지에 대한 투명성이 제한됩니다.
• 기호 회귀는 특히 연산자 어휘집이 클 경우 계산 집약적입니다.
• 전문가의 수 $M$은 하이퍼파라미터로 지정되어야 하므로, 표현력과 해석 가능성 사이의 수동적인 균형 조절이 필요합니다.