Hierarchical Concept-based Interpretable Models

이 논문은 개념 간의 관계를 계층적으로 모델링하고 추가 주석 없이 세부 개념을 자동 발견하는 'Concept Splitting' 기법을 제안함으로써, 기존 개념 임베딩 모델의 한계를 극복하고 해석 가능성과 작업 정확도를 동시에 향상시킨 'HiCEMs'을 소개합니다.

핵심

이 논문은 **"인공지능 **(AI)에 대한 연구입니다.

기존의 AI 는 정답은 잘 맞추지만, "왜 그 답을 냈는지"를 설명할 때 마치 마법처럼 검은 상자 안에서 뭘 했는지 알 수 없는 경우가 많습니다. 이 논문은 그 검은 상자를 열어, AI 가 어떻게 생각했는지 인간이 이해할 수 있는 **'개념 **(Concept)으로 설명하는 새로운 방법을 제안합니다.

주요 내용을 요리와 장난감에 비유해서 쉽게 설명해 드릴게요.

---

1. 문제: AI 는 너무 추상적으로 생각해요

기존의 AI 모델 (CEM) 은 인간이 이해할 수 있는 개념을 사용하긴 합니다. 예를 들어, "이 사진에 야채가 있나?"라고 물어보면 "네"라고 답할 수 있죠.
하지만 여기서 문제가 생깁니다.

• 세부적인 관계가 없음: AI 는 '야채'라는 개념만 알지, 그 안에 '양파'가 있는지 '당근'이 있는지는 구분하지 못합니다. 마치 "과일"이라는 단어만 알고 "사과"나 "배"는 구분하지 못하는 아이와 비슷합니다.
• 많은 설명이 필요함: AI 가 '양파'와 '당근'을 모두 구분하게 하려면, 처음부터 '양파'와 '당근'에 대한 레이블 (설명) 을 모두 직접 붙여줘야 합니다. 이는 매우 비싸고 귀찮은 일입니다.

2. 해결책 1: "개념 분할 (Concept Splitting)" - 숨겨진 보석 찾기

저자들은 AI 가 이미 학습한 지식 속에, 우리가 알려주지 않았던 세부적인 개념들이 숨겨져 있다는 사실을 발견했습니다.

• 비유: AI 의 머릿속을 거대한 보석 광산이라고 상상해 보세요. 우리는 "야채"라는 큰 보석만 줬는데, AI 는 그 안에 "양파", "당근"이라는 작은 보석들도 이미 품고 있습니다.
• **방법 **(Concept Splitting) 저자들은 SAE(희소 자동 인코더)라는 특수한 도구를 이용해, AI 의 머릿속에서 이 작은 보석들 (세부 개념) 을 자동으로 찾아냅니다.
  • 우리가 "야채"라고만 알려줘도, AI 는 스스로 "아, 이거 양파야, 저거 당근이구나"라고 구분하는 패턴을 찾아냅니다.
  • 장점: 우리가 일일이 "양파", "당근"이라고 설명해 주지 않아도, AI 가 스스로 세부 사항을 찾아내서 레이블을 만들어냅니다.

3. 해결책 2: "계층적 개념 모델 (HiCEM)" - 나무 구조로 생각하기

찾아낸 세부 개념들을 잘 정리해서 AI 에게 다시 가르쳐 주는 새로운 모델입니다.

• 비유: 기존 모델은 모든 개념을 동일한 평면에 나열했습니다. (야채, 양파, 당근, 사과, 배가 모두 같은 줄에 서 있는 것)
• **새로운 모델 **(HiCEM) 이 모델은 개념을 **나무 **(Hierarchy)처럼 정리합니다.
  • 뿌리: '야채'
  • 가지: '양파', '당근'
  • 잎: 실제 이미지
  • 이렇게 **상위 개념 **(야채)과 **하위 개념 **(양파)의 관계를 명확히 연결합니다.

4. 왜 이것이 중요한가요? (실제 효과)

이 연구는 PseudoKitchens라는 가상의 3D 주방 데이터셋과 실제 이미지 데이터 (ImageNet 등) 를 통해 실험했습니다.

1. 인간이 이해할 수 있는 설명: AI 가 "야채가 있다"고 말할 때, HiCEM 은 "아, 양파와 당근이 있어서 그렇다"라고 구체적으로 설명할 수 있습니다.
2. **수정 가능 **(인터벤션) 만약 AI 가 "양파"를 잘못 인식했다면, 인간이 "아니야, 이건 양파가 아니라 파야"라고 손쉽게 수정해 줄 수 있습니다. 그러면 AI 는 그 수정을 바탕으로 최종 답을 다시 계산합니다.
3. 정확도 유지: 세부적인 설명을 추가한다고 해서 AI 의 정답률이 떨어지지 않습니다. 오히려 세부 사항을 고쳐주면 정답률이 더 올라가기도 합니다.

5. 요약: 이 연구가 가져오는 변화

• 기존: AI 는 "야채가 있어요"라고만 말함. (세부 사항 모름, 수정 어려움)
• **이 연구 **(HiCEM) AI 는 "야채가 있어요. 구체적으로는 양파와 당근이 섞여 있어요."라고 말함.
  • 장점: 우리가 일일이 모든 세부 사항을 가르쳐 주지 않아도, AI 가 스스로 세부 사항을 찾아내고, 인간이 필요할 때 그 세부 사항을 수정해 줄 수 있습니다.

결론적으로, 이 논문은 AI 가 인간의 사고 방식처럼 상위 개념에서 하위 개념으로 계층적으로 생각하게 만들어, AI 의 판단을 더 투명하고 신뢰할 수 있게 만들었습니다. 마치 AI 가 "내가 왜 이걸 선택했는지"를 세부적인 이유까지 설명해 주는 똑똑한 비서가 된 것과 같습니다.

기술 요약

1. 문제 제기 (Problem)

현대 딥러닝 모델은 높은 정확도를 보이지만, 그 추론 과정이 불투명하여 이해, 디버깅, 편향 제거가 어렵습니다. 이를 해결하기 위해 개념 임베딩 모델 (CEMs) 이 개발되었으나, 다음과 같은 두 가지 주요 한계가 존재합니다.

1. 개념 간 관계의 부재: 기존 CEM 은 모든 개념을 독립적인 개체로 취급합니다. 그러나 실제 세계의 개념은 계층적 관계 (예: "야채가 있다"는 상위 개념과 "양파가 있다", "당근이 있다"는 하위 개념) 를 가지며, 인간의 추론은 이러한 관계를 기반으로 합니다. CEM 은 이러한 계층적 구조를 모델링하지 못합니다.
2. 높은 주석 비용: CEM 을 학습시키기 위해서는 다양한 세분화된 (fine-grained) 개념에 대한 라벨이 필요합니다. 이는 데이터 수집 및 주석 비용이 매우 비싸고 실용성을 떨어뜨립니다.

2. 방법론 (Methodology)

저자들은 CEM 의 임베딩 공간에 이미 훈련 시 제공되지 않은 세분화된 하위 개념 (sub-concepts) 이 잠재해 있다는 가정을 바탕으로 두 가지 핵심 기법을 제안했습니다.

A. 개념 분할 (Concept Splitting)

훈련된 CEM 의 임베딩 공간에서 자동으로 하위 개념을 발견하는 방법입니다.

• 과정:
  1. 훈련된 CEM 을 통해 입력 데이터의 개념 임베딩을 추출합니다.
  2. 특정 상위 개념 (예: "야채가 있다") 이 활성화된 샘플과 비활성화된 샘플로 임베딩을 분리합니다.
  3. 각 그룹에 대해 희소 오토인코더 (Sparse Autoencoders, SAE) 를 학습시킵니다. SAE 는 고차원 임베딩을 희소한 특징 (features) 의 집합으로 재구성하며, 이 특징들이 새로운 하위 개념에 해당합니다.
  4. SAE 의 특징 활성화 여부를 기반으로 새로운 이진 개념 라벨을 자동으로 생성합니다.
• 장점: 추가적인 수동 주석 없이도 고해상도의 하위 개념을 발견할 수 있어 주석 비용을 대폭 절감합니다.

B. 계층적 개념 임베딩 모델 (HiCEM)

발견된 하위 개념을 활용하여 계층적 관계를 명시적으로 모델링하는 새로운 아키텍처입니다.

• 구조:
  • 각 상위 개념은 '활성화 상태 (positive)'와 '비활성화 상태 (negative)'의 임베딩을 가집니다.
  • 하위 개념 모듈 (Sub-concept Modules): 상위 개념의 임베딩을 입력받아 해당 개념의 하위 개념들 (예: "양파", "당근") 에 대한 임베딩과 확률을 생성합니다.
  • 임베딩 혼합: 하위 개념들의 가중치 합으로 최종 상위 개념 임베딩을 구성합니다.
• 인터벤션 (Intervention): 사용자는 테스트 시점에 상위 개념뿐만 아니라 발견된 하위 개념에 대해서도 개입 (수정) 할 수 있습니다. 예를 들어, 모델이 "야채"를 잘못 예측했을 때, "양파"가 없다는 사실을 수정하면 모델의 최종 예측이 자동으로 업데이트됩니다.

3. 주요 기여 (Key Contributions)

1. 개념 분할 (Concept Splitting) 제안: CEM 의 임베딩 공간에서 SAE 를 활용하여 훈련 시 제공되지 않은 인간이 해석 가능한 하위 개념을 자동으로 발견하는 방법을 제시했습니다.
2. HiCEM 아키텍처 개발: 계층적 개념 관계를 명시적으로 모델링하고, 다양한 계층 수준에서 인간이 개입할 수 있는 해석 가능한 모델을 설계했습니다.
3. PseudoKitchens 데이터셋 공개: 3D 렌더링을 기반으로 한 합성 데이터셋으로, 완벽한 그라운드 트루스 (Ground Truth) 개념 주석과 공간적 위치 정보를 제공합니다. 이는 개념 기반 모델 평가의 표준을 제시합니다.
4. 실증적 검증: 다양한 데이터셋 (MNIST-ADD, CUB, AwA2, ImageNet 등) 과 사용자 연구를 통해 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 하위 개념의 해석 가능성 (RQ1):
  • 발견된 하위 개념은 인간이 이해할 수 있는 의미 (예: "맨 위의 숫자가 6 이다") 를 가지며, 사용자 연구 (ImageNet 기준) 에서 무작위 단어 대비 훨씬 높은 일관성을 보였습니다.
  • 발견된 하위 개념의 예측 정확도 (ROC-AUC) 가 기존 Label-free CBM 이나 하위 개념 주석이 없는 HiCEM 보다 높았습니다.
• 작업 정확도 및 개념 예측 (RQ2):
  • HiCEM 은 기존 CEM 과 비교하여 작업 정확도 (Task Accuracy) 와 상위 개념 예측 정확도에서 동등하거나 더 나은 성능을 보였습니다. 즉, 해석 가능성을 높인다고 해서 정확도가 떨어지지 않았습니다.
• 인터벤션 효과 (RQ3):
  • 발견된 하위 개념에 대한 개입 (수정) 은 모델의 작업 정확도를 향상시켰습니다.
  • 특히 계층적 구조를 가진 HiCEM 에서 하위 개념 개입이 일반 CEM 보다 더 큰 성능 향상을 가져왔습니다. 이는 계층적 관계가 모델의 추론 보정에 필수적임을 보여줍니다.

5. 의의 및 결론 (Significance)

이 연구는 개념 기반 해석 가능 모델의 중요한 간극을 메웠습니다.

• 주석 비용 절감: 고비용의 세분화된 개념 주석 없이도, 기존 모델의 잠재 공간에서 하위 개념을 자동 추출하여 고품질의 해석을 가능하게 합니다.
• 인간 - AI 협업 강화: 계층적 구조를 통해 사용자는 추상적인 개념뿐만 아니라 구체적인 하위 요소에 대해 개입할 수 있어, 모델의 오류 수정과 신뢰도 향상에 기여합니다.
• 미래 방향: SAE 기반의 발견 방법 외에도 클러스터링 기반의 대안을 제시했으며, 향후 더 깊은 계층 구조나 사용자의 인지 부하에 대한 연구로 확장될 수 있음을 시사합니다.

결론적으로, HiCEM과 Concept Splitting은 해석 가능성과 예측 정확도 사이의 트레이드오프를 줄이면서, 인간과 AI 가 상호작용하는 더 정교하고 신뢰할 수 있는 시스템을 구축하는 데 중요한 진전을 이루었습니다.