Graph Concept Bottleneck Models

다음은 Transactions on Machine Learning Research(2026 년 3 월) 에 게재된 논문 **"Graph Concept Bottleneck Models"**에 대한 상세한 기술 요약입니다.

1. 문제 정의

**Concept Bottleneck Models(CBM)**은 입력 데이터를 인간이 이해할 수 있는 중간 개념으로 매핑한 후 최종 예측을 수행하는 해석 가능한 딥러닝 프레임워크입니다. CBM 은 투명성과 직접적인 개입 (예: 개념 점수 조정을 통한 예측 수정) 을 가능하게 하지만, 기존 CBM 은 다음과 같은 치명적인 한계를 겪고 있습니다:

• 독립성 가정: 표준 CBM 은 레이블이 주어졌을 때 개념들이 조건부 독립이라고 가정합니다.
• 상관관계의 현실: 실제로는 개념들이 매우 높은 상관관계를 가집니다 (예: "털"과 "수염"은 종종 "꼬리"와 함께 나타남). 이러한 고유한 의존성을 무시하면 과도하게 단순화된 표현, 예측 정확도 저하, 그리고 약화된 해석 가능성이 초래됩니다.
• 개입의 한계: 사용자가 단일 개념에 개입할 때, 표준 CBM 은 해당 변경의 논리적 결과를 관련 개념으로 전파하지 못하여 최적이지 않은 수정을 초래합니다.

2. 방법론: Graph CBMs(G-CBMs)

저자들은 잠재 개념 그래프를 사용하여 개념 간의 관계 구조를 명시적으로 모델링하는 새로운 프레임워크인 Graph CBMs를 제안합니다. 이 아키텍처는 기존 CBM 변형 (레이블 프리 및 개념 감독 모두) 과 호환되는 경량의 플러그인 모듈로 설계되었습니다.

핵심 구성 요소

모델은 세 가지 주요 모듈로 구성됩니다:

1. 모듈 1: 인코딩 및 파라미터화

   • 입력: 이미지는 사전 훈련된 비전 인코더($E_v$) 를 통해 인코딩되고, 개념은 사전 훈련된 언어 인코더($E_t$) 를 통해 인코딩됩니다 (레이블 프리 설정의 경우).
   • 그래프 구조: 노드 $V$가 개념을 나타내고 인접 행렬 $A$가 개념 간의 관계 강도를 인코딩하는 잠재 그래프 $G = (V, A)$가 정의됩니다.
   • 초기화: 그래프는 무작위로 또는 임베딩 유사성을 통해 초기화되며 모든 데이터 인스턴스에 걸쳐 공유되지만, 노드의 활성화는 인스턴스 의존적입니다.

2. 모듈 2: GNN 메시지 전달

   • 의존성을 포착하기 위해 모델은 여러 계층을 가진 그래프 신경망 (GNN) 을 사용합니다.
   • 이중 메시지 전달: 각 계층 $l$에서 정보는 다음 두 가지에 대해 이웃 노드들로부터 집계됩니다:
     • 임베딩 ($V_{emb}$): 개념의 의미적 의미.
     • 활성화 ($V_{act}$): 특정 이미지에 대해 개념이 활성화된 정도.
   • 업데이트 규칙은 인접 행렬과 활성화 및 임베딩의 요소별 곱을 결합하여 관련 개념으로부터의 맥락을 전파할 수 있게 합니다 (예: "날개"가 활성화되면 "깃털"의 확률을 높임).

3. 모듈 3: 정규화 및 예측

   • 대비 학습: 실제 개념 관계에 대한 ground-truth 가 종종 unavailable 하므로, 모델은 그래프 구조를 학습하기 위해 자기지도 대비 학습을 사용합니다.
     • 임베딩 수준 손실 ($L_{emb}$): 이미지 임베딩을 그래프 수준 임베딩 (노드 임베딩의 평균 풀링) 과 정렬합니다.
     • 활성화 수준 손실 ($L_{act}$): 투사된 이미지 임베딩을 업데이트된 개념 활성화 벡터와 정렬합니다.
   • 손실 함수: 총 손실은 분류 교차 엔트로피($CE$), 대비 손실($L_{emb}, L_{act}$), 그리고 과적합 방지 및 해석 가능성 보장을 위한 인접 행렬에 대한$L_1$ 희소 정규화 항을 결합합니다.
   • 예측: 최종 레이블은 정제된 개념 활성화를 선형 계층 또는 MLP 를 통과시켜 예측합니다.

3. 주요 기여

1. 새로운 프레임워크: 학습 가능한 그래프 구조를 통해 잠재 개념 상관관계를 명시적으로 모델링하는 최초의 CBM 변형인 Graph CBMs를 도입하여 추론과 해석 가능성을 모두 향상시켰습니다.
2. 자기지도 그래프 학습: ground-truth 관계 주석이 필요 없이 잠재 개념 그래프를 자동으로 구성하는 프레임워크를 개발했으며, 다수준 대비 학습을 활용합니다.
3. 플러그인 통합: 이 방법은 기존 CBM 설계와 직교하여 레이블 프리 CBM(예: LF-CBM, PCBM) 과 개념 감독 CBM(예: 표준 CBM, CEM) 모두에 원활하게 통합됩니다.
4. 강건한 개입: 개념 관계를 모델링하는 것이 사후 개입의 효율성을 크게 향상시켜, 수정이 개념 네트워크를 통해 논리적으로 전파되도록 함을 입증했습니다.

4. 실험 결과

저자들은 CUB-200-2011(조류), Flower102, HAM10000(피부 병변), CIFAR-10/100, ChestXpert를 포함한 여러 실제 데이터셋에서 Graph CBMs 를 평가했습니다.

• 예측 정확도:
  • Graph CBM 은 모든 데이터셋에서 베이스라인을 일관되게 능가했습니다.
  • 레이블 프리 설정: Graph-PCBM 은 표준 PCBM 대비 **약 1.5% 에서 3%**만큼 정확도를 향상시켰습니다 (예: CUB 에서 77.95% 대 74.69%).
  • 개념 감독 설정: Graph-CBM 과 Graph-CEM 은 더 나은 해석 가능성을 제공하면서 ProbCBM, HardAR, E-CBM 과 같은 최신 방법을 일치시키거나 능가했습니다.
• 개입 성능:
  • 개입 실험 (오류를 수정하기 위해 개념 점수 수정) 에서 Graph CBM 은 베이스라인보다 훨씬 높은 강건성을 보여주었습니다.
  • 개념이 마스킹되거나 교란되었을 때, Graph CBM 은 연결된 이웃으로부터 신호를 집계하여 베이스라인보다 성능을 더 잘 회복했습니다.
  • Graph CBM 은 단일 단계 개입으로 높은 정확도를 달성한 반면, 에너지 기반 모델 (E-CBM 등) 은 반복적인 기울기 계산을 필요로 했습니다.
• Ablation 연구:
  • GNN 메시지 전달을 제거하면 성능이 베이스라인 수준으로 떨어졌으며, 이는 성능 향상이 단순히 파라미터 증가가 아닌 상호작용 모델링에서 비롯됨을 확인시켰습니다.
  • $L_{emb}$와 $L_{act}$를 모두 사용하는 것이 중요했으며, 하나만 사용하면 지나치게 조밀하거나 지나치게 희소한 그래프가 생성되었습니다.
• 그래프 해석 가능성:
  • 학습된 그래프는 인간의 직관과 일치하는 의미론적으로 의미 있는 연결 (예: "시끄럽고 쉰 목소리"와 "거친 울음소리" 연결) 을 드러냈으며, 비명백한 상관관계를 포착하는 데 있어 LLM 생성 휴리스틱보다 더 우수한 성과를 보였습니다.

5. 중요성 및 영향

• 격차 해소: Graph CBM 은 CBM 의 해석 가능성과 그래프 신경망의 관계적 추론 능력 간의 격차를 해소합니다.
• 신뢰성: 개념들이 서로 어떻게 영향을 미치는지 모델링함으로써, 의료와 같은 안전 필수 분야 (예: "폐렴"이 "흉막 삼출"과 어떻게 관련되는지 이해) 에 필수적인 더 현실적이고 신뢰할 수 있는 의사결정 과정을 제공합니다.
• 효율성: 이 접근법은 $k$개의 개념에 대해 $O(k^2)$개의 파라미터만 추가하는 최소한의 계산 오버헤드로 최첨단 성능을 달성하며, 백본 이미지 인코더를 재훈련할 필요가 없습니다.
• 일반화: 이 프레임워크는 다용도로 활용 가능하며, 개념 레이블이 사용 가능한 경우와 자동으로 발견되어야 하는 경우 (레이블 프리) 모두에서 효과적으로 작동합니다.

결론적으로, Graph CBMs는 독립적인 개념이라는 가정을 넘어 인간 추론의 풍부하고 상호 연결된 본질을 포착함으로써 해석 가능한 AI 의 중요한 발전을 이루었으며, 이는 모델 정확도와 인간 개입의 신뢰성을 모두 향상시킵니다.