Digging Deeper: Learning Multi-Level Concept Hierarchies

이 논문은 최상위 수준의 감독 신호만으로 다단계 개념 계층 구조를 발견하는 'MLCS'와 이를 표현하여 다양한 추상화 수준에서의 개입을 가능하게 하는 'Deep-HiCEMs' 아키텍처를 제안함으로써, 기존 평면적이고 얕은 계층에 국한되었던 개념 기반 모델의 한계를 극복하고 해석 가능성과 작업 성능을 동시에 향상시킵니다.

핵심

🍎 핵심 비유: "과일장터의 지도"

상상해 보세요. AI 가 과일을 분류하는 일을 한다고 칩시다.
기존의 AI 는 **"사과"**와 **"바나나"**라는 큰 카테고리만 알고 있었습니다. 하지만 AI 가 "왜 이것이 사과라고 생각했지?"라고 물으면, 단순히 "사과니까요"라고 대답할 뿐, 그 안의 세부적인 이유 (예: "빨갛고, 둥글고, 줄기가 있다") 를 설명하지 못했습니다.

최근 연구들은 AI 가 **"사과"**라는 큰 개념을 **"빨간 사과"**나 **"초록 사과"**로 나누어 설명하게 만들었습니다. 하지만 여기서 멈췄습니다. **"빨간 사과"**를 다시 **"사과"**와 **"빨강"**으로 나누거나, **"사과"**를 **"과일"**이라는 더 큰 범주로 묶는 깊은 구조까지는 다루지 못했습니다.

이 논문은 바로 이 **깊은 구조 (Multi-Level)**를 자동으로 찾아내고, 우리가 그 구조를 마음대로 수정할 수 있게 해주는 기술을 제안합니다.

---

🚀 이 논문이 해결한 문제 (기존의 한계)

1. 평평한 지도: 기존 AI 는 개념들이 모두 평평하게 나열되어 있다고 생각했습니다. (사과, 바나나, 포도...)
2. 단순한 분할: "사과"를 "빨간 사과"로 쪼갤 수는 있었지만, 그 "빨간 사과"를 다시 "작은 빨간 사과"나 "상한 빨간 사과"로 더 깊이 파고들 수는 없었습니다.
3. 많은 설명이 필요함: AI 가 이런 세부 사항을 배우게 하려면 사람이 일일이 "이건 빨간 사과야, 이건 작은 사과야"라고 수천 번 가르쳐야 했습니다. (비용과 시간이 너무 많이 듦)

---

💡 이 논문이 제안한 해결책 (두 가지 핵심 기술)

저자들은 **"MLCS"**와 **"Deep-HiCEM"**이라는 두 가지 도구를 개발했습니다.

1. MLCS (다단계 개념 분할): "스스로 계층 구조를 발견하는 탐험가"

• 비유: AI 에게 "사과"라는 큰 상자만 주고, "이 안에는 어떤 것들이 숨어 있을까?"라고 묻는 것입니다.
• 작동 원리: AI 는 스스로 "아, 이 상자 안에는 '빨간 사과'가 있고, 그 '빨간 사과' 안에는 '작은 빨간 사과'와 '큰 빨간 사과'가 있구나!"라고 스스로 발견합니다.
• 장점: 사람이 세부 사항을 가르쳐 주지 않아도, AI 가 스스로 1 단계 (과일) → 2 단계 (사과) → 3 단계 (빨간 사과) 같은 깊은 계층 구조를 찾아냅니다. 마치 탐험가가 지도에 없는 깊은 동굴을 스스로 찾아내는 것과 같습니다.

2. Deep-HiCEM (깊은 위계적 모델): "모든 층을 연결하는 다층 빌딩"

• 비유: 찾은 계층 구조를 바탕으로 지은 초고층 빌딩입니다.
  • 지하층: 아주 작은 세부 사항 (예: "줄기가 있는 빨간 사과")
  • 중간 층: 중간 개념 (예: "빨간 사과")
  • 옥상층: 큰 개념 (예: "과일")
• 작동 원리: 이 빌딩은 각 층이 서로 연결되어 있습니다. 만약 우리가 "지하층의 작은 빨간 사과"를 수정하면, 그 영향이 자연스럽게 "중간 층"과 "옥상층"으로 전달됩니다.
• 장점: AI 가 실수를 했을 때, 사람이 어떤 층에서든 개입해서 고칠 수 있습니다. "아, 이건 빨간 사과가 아니라 초록 사과야"라고 말하면, AI 는 그 정보를 받아서 최종 판단을 다시 내립니다.

---

🧪 실험 결과: 실제로 효과가 있을까요?

저자는 여러 가지 데이터 (숫자, 모양, 새, 동물, 요리 재료 등) 로 실험을 했습니다.

1. 사람이 이해할 수 있는 발견: AI 가 스스로 찾아낸 개념들 (예: "빨간 사과") 은 사람이 보기에 매우 논리적이고 이해하기 쉬웠습니다.
2. 성능 유지: 이렇게 복잡한 구조를 만들었음에도 불구하고, AI 의 원래 작업 능력 (정확도) 은 떨어지지 않았습니다. 오히려 기존 방법과 비슷하거나 더 좋았습니다.
3. 개입의 효과: 사람이 AI 의 판단에 개입했을 때 (예: "이건 사과가 아니야"라고 수정), AI 가 그 말을 잘 듣고 더 정확한 답을 내놓는 경우가 많았습니다.

---

🌟 요약: 왜 이것이 중요한가요?

이 논문은 AI 를 **"검은 상자"**에서 **"투명한 유리 상자"**로 바꾸는 한 걸음 더 나아가게 합니다.

• 기존: AI 는 "사과"라고만 알려줌. (왜? 모름)
• 새로운 방법: AI 는 "사과" → "빨간 사과" → "작은 빨간 사과"로 깊게 설명해 줌.
• 우리 역할: 우리는 이 설명을 보고, "아, 이건 작지 않아, 그냥 사과야"라고 수정할 수 있음.

결국, AI 가 더 투명해지고, 우리가 AI 를 더 잘 통제하고 신뢰할 수 있게 만드는 기술입니다. 마치 AI 의 두뇌 속에 숨겨진 복잡한 가족 관계 (할아버지, 아버지, 아들) 를 모두 찾아내어, 우리가 그 가족의 이야기를 더 잘 이해하고 도와줄 수 있게 해주는 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 방법의 한계: 개념 기반 모델 (Concept-based Models) 은 인간의 이해 가능한 개념을 사용하여 예측을 설명함으로써 해석 가능성을 제공하지만, 대부분의 기존 접근법은 개념이 평면적 (flat) 이고 독립적이라고 가정합니다. 이는 실제 세계의 개념들이 서로 계층적으로 연결되어 있다는 사실과 인간의 인지 구조를 반영하지 못합니다.
• 기존 계층적 모델의 제약: 최근 제안된 **HiCEMs(Hierarchical Concept Embedding Models)**와 Concept Splitting은 개념 간의 관계를 명시적으로 모델링하고, coarse(거친) 레이블만으로 서브-개념을 발견하여 주석 비용을 줄이는 방법을 제시했습니다. 하지만 이 방법들은 **얕은 계층 (shallow hierarchies)**에만 제한되어 있어, 제공된 개념과 그 바로 아래 서브-개념 (2 단계) 만을 다룰 수 있을 뿐, 더 깊은 다단계 계층 구조를 포착하거나 다양한 추상화 수준에서의 개입 (intervention) 을 지원하지 못했습니다.
• 핵심 문제: exhaustive(포괄적인) 개념 주석 없이도 다단계 (multi-level) 개념 계층 구조를 자동으로 발견하고, 이를 효과적으로 모델링하여 추론 및 개입을 지원하는 방법은 무엇인가?

2. 제안된 방법론 (Methodology)

저자들은 두 가지 주요 구성 요소를 제안하여 위 문제를 해결합니다.

A. MLCS (Multi-Level Concept Splitting)

• 목적: 최상위 (top-level) 감독 신호만으로부터 다단계 개념 계층을 발견하는 것.
• 핵심 기술: 기존 Concept Splitting 이 단일 단계의 **Sparse AutoEncoder (SAE)**를 사용했다면, MLCS 는 **Hierarchical Sparse AutoEncoder (HiSAE)**를 도입합니다.
  • HiSAE 구조: 입력 임베딩을 받아 최상위 레벨의 잠재 변수 (잠재 서브-개념) 를 추출한 후, 각 활성화된 잠재 변수에 조건부로 하위 레벨의 더 세분화된 잠재 변수 (서브-서브-개념) 를 추출하는 계층적 구조를 가집니다.
  • 작동 원리: 하위 레벨은 상위 레벨이 활성화될 때만 기여하도록 게이트 (gating) 되어 있어, 서브-개념과 그 하위 개념 간의 부모 - 자식 관계를 자연스럽게 학습합니다.
  • 결과: 이 과정을 통해 '사과 (apple)'와 같은 서브-개념뿐만 아니라 '빨간 사과 (red apple)'와 같은 더 깊은 수준의 개념도 주석 없이 발견할 수 있습니다.

B. Deep-HiCEM (Deep Hierarchical Concept Embedding Models)

• 목적: MLCS 를 통해 발견된 깊은 계층 구조를 표현하고, 추론 시 다양한 추상화 수준에서 인간이 개입할 수 있도록 하는 아키텍처.
• 구조적 특징:
  • 트리 구조 표현: 개념을 트리 구조로 조직화합니다. 각 노드는 개념을 나타내며, 양수 (positive) 및 음수 (negative) 서브-개념을 가질 수 있습니다.
  • 임베딩 생성: 최상위 개념의 활성/비활성 상태를 나타내는 임베딩을 학습한 후, 이를 **서브-개념 모듈 (Sub-concepts modules)**을 통과시켜 하위 계층 (자손) 의 정보를 포함한 최종 임베딩을 생성합니다.
  • 재귀적 확장: 이 모듈은 재귀적으로 적용되어 임의의 깊이를 가진 계층 구조를 지원합니다.
  • 개입 (Intervention): 사용자가 특정 서브-개념을 수정하면, 부모 개념과 다른 관련 계층의 예측이 자동으로 업데이트되도록 설계되어 인간 - 루프 (human-in-the-loop) 제어 기능을 강화합니다.

3. 주요 기여 (Key Contributions)

1. MLCS 도입: 최상위 감독 신호만으로 다단계 개념 계층을 발견하는 새로운 방법론을 제안했습니다.
2. Deep-HiCEM 아키텍처 제안: 임의의 깊이를 가진 개념 계층을 모델링하고, 계층의 모든 수준에서 인간이 개입할 수 있는 구조를 설계했습니다.
3. 실험적 검증: MLCS 를 통해 훈련 중 존재하지 않았던 해석 가능한 개념 계층을 정확하게 발견할 수 있음을 증명했으며, Deep-HiCEM 이 높은 작업 정확도를 유지하면서도 다양한 세분화 수준에서 개념 개입을 통해 성능을 향상시킬 수 있음을 보였습니다.

4. 실험 결과 (Results)

저자들은 MNIST-ADD, SHAPES, CUB, AwA2, 그리고 계층적 개념 발견을 위해 설계된 PseudoKitchens-2 등 5 개의 데이터셋에서 실험을 수행했습니다.

• RQ1: 발견된 개념의 해석 가능성 및 정확도
  • MLCS 를 통해 발견된 서브-개념 및 서브-서브-개념은 인간이 이해할 수 있는 개념 (예: '빨간 사과') 과 높은 일치도 (ROC-AUC) 를 보였습니다.
  • Deep-HiCEM + MLCS 는 기존 HiCEM + Concept Splitting 과 유사하거나 더 높은 발견된 개념의 예측 정확도를 달성했습니다.
• RQ2: 작업 정확도 (Task Accuracy)
  • Deep-HiCEM 은 기존 HiCEM 및 다른 베이스라인 모델 (CBM, CEM 등) 과 비교하여 경쟁력 있는 작업 정확도를 유지했습니다.
  • 계층 구조를 깊게 확장한다고 해서 작업 정확도나 제공된 최상위 개념의 예측 정확도가 저하되지 않았습니다 (차이점 1% 이내).
• RQ3: 개념 개입을 통한 성능 향상
  • 발견된 개념에 대한 개입 (수정) 은 대부분의 경우 작업 정확도를 향상시켰습니다.
  • 일부 데이터셋 (PseudoKitchens-2 등) 에서 개입이 정확도를 낮추는 경우도 있었으나, 이는 발견된 개념 레이블의 부정확성이나 편향 때문으로 추정되며, 전반적으로 개입이 유용함을 보였습니다.
  • 제공된 최상위 개념에 대한 개입은 Deep-HiCEM 과 HiCEM 에서 모두 동일하게 효과적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능성의 심화: 이 연구는 개념 기반 모델이 단순한 평면적 설명을 넘어, 다단계 계층적 구조를 통해 더 풍부하고 인간 인지 구조에 부합하는 설명을 제공할 수 있음을 입증했습니다.
• 주석 비용 절감: 포괄적인 개념 주석 없이 최상위 레이블만으로 깊은 계층 구조를 학습할 수 있어, 실제 응용에서의 데이터 주석 부담을 크게 줄일 수 있습니다.
• 신뢰성 있는 AI: 다양한 추상화 수준에서의 개입을 지원함으로써, 모델의 오류를 수정하고 인간의 의도를 반영하는 Trustworthy AI 설계에 중요한 기여를 합니다.
• 한계 및 향후 과제: 발견된 개념에 대한 개입이 항상 긍정적인 효과를 내지는 않으며, SAE 가 의미 있는 개념을 항상 발견하는 것은 보장되지 않는다는 한계가 있습니다. 향후 더 복잡하고 대규모 데이터셋으로의 확장 및 깊은 계층 구조에 대한 추가 연구가 필요합니다.

요약하자면, 이 논문은 MLCS와 Deep-HiCEM을 통해 "주석 없이 깊은 개념 계층을 발견하고, 이를 통해 더 정교한 해석과 개입이 가능한 AI 모델"을 실현하는 방법을 제시한 획기적인 연구입니다.