Prototype-Grounded Concept Models for Verifiable Concept Alignment

1. 문제 정의 (Problem)

최근 딥러닝 모델의 해석 가능성 (Interpretability) 을 높이기 위해 **개념 병목 모델 (Concept Bottleneck Models, CBMs)**이 주목받고 있습니다. CBM 은 입력 이미지를 인간이 이해할 수 있는 고수준 개념 (예: "줄무늬가 있다", "금속이다") 으로 매핑한 후, 이를 기반으로 최종 예측을 수행합니다.

그러나 CBM 은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 검증 불가능한 의미 정렬 (Unverifiable Concept Alignment): CBM 은 개념이 학습되었을 때, 그 개념이 인간이 의도한 의미와 시각적으로 일치하는지 확인할 수 있는 방법이 없습니다. 예를 들어, "줄무늬"라는 개념이 실제 줄무늬 패턴이 아닌 배경 노이즈나 위조된 텍스처에 의존하여 학습되었을 수 있습니다.
• 블랙박스 개념 표현: 학습된 개념이 추상적인 스칼라 값으로만 표현되기 때문에, 사용자는 개념의 시각적 근거 (Visual Evidence) 를 직접 inspect(검사) 하거나 오정렬 (Misalignment) 을 수정할 수 없습니다.

이로 인해 CBM 의 해석 가능성은 "학습된 개념이 이름 그대로의 의미를 가진다는 강한 가정"에 의존하게 되며, 이는 종종 근거가 부족합니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 해결하기 위해 **프로토타입 기반 개념 모델 (Prototype-Grounded Concept Models, PGCMs)**을 제안합니다. PGCM 은 CBM 구조를 유지하면서 각 개념을 **학습된 시각적 프로토타입 (Visual Prototypes)**에 기반하여 구체화합니다.

핵심 아키텍처 및 동작 원리

1. 3 단계 매핑: 입력 이미지 ($x$) $\rightarrow$ 프로토타입 유사도 점수 ($p$) $\rightarrow$ 개념 표현 ($c$) $\rightarrow$ 작업 예측 ($y$).
2. 이미지 분할 (Segmentation): 입력 이미지를 의미 있는 공간적 부분 (Image Parts) 으로 분할합니다.
3. 확률적 그래픽 모델 (PGM):
   • 잠재 변수 ($S_i$): 각 이미지 부분에 대해 학습된 프로토타입 중 하나를 선택합니다.
   • 이미지 디코더 ($p(X_i|S_i)$): 선택된 프로토타입 인덱스를 구체적인 이미지 부분으로 변환합니다. 이는 프로토타입의 시각적 표현입니다.
   • 개념 디코더 ($p(C_i|S_i)$): 선택된 프로토타입 인덱스를 고수준 개념들의 확률 분포로 변환합니다. 이는 프로토타입의 개념 표현입니다.
   • 프로토타입 선택기 ($q(S_i|X_i)$): 이미지 부분을 보고 가장 유사한 프로토타입을 선택합니다.
4. 이중 표현 (Dual Representation): 각 개념은 추상적인 라벨 (예: "회색 머리") 과 이를 뒷받침하는 구체적인 시각적 인스턴스 (프로토타입 이미지) 의 집합으로 표현됩니다.

학습 및 추론

• 학습 목표: 관찰된 이미지 부분, 개념, 작업 레이블의 결합 로그 가능도 (Joint Log-likelihood) 를 최대화합니다. 이는 재구성 손실 (Reconstruction Loss), 개념 손실 (Concept Loss), 작업 손실 (Task Loss), 정규화 항으로 구성됩니다.
• 재구성 손실: 프로토타입이 실제 데이터의 시각적 특징을 잘 반영하도록 유도합니다.
• 개념 손실: 프로토타입 선택기가 시각적 유사성뿐만 아니라 의미론적 (Semantic) 정렬도 고려하도록 유도합니다.
• 의미론적 정렬 (Semantic Alignment): 학습된 프로토타입의 이미지 표현과 개념 표현을 매핑하는 **개념 정렬 테이블 (Concept Alignment Table)**을 생성합니다. 이를 통해 각 개념의 의미가 명시적으로 정의됩니다.

3. 주요 기여 (Key Contributions)

1. 검증 가능한 개념 정렬 (Verifiable Concept Alignment):
   • 개념의 의미를 추상적 값이 아닌, 시각적으로 식별 가능한 프로토타입 이미지와 연결하여 명시화했습니다.
   • 사용자는 "개념 정렬 테이블"을 통해 각 개념이 어떤 시각적 패턴에 기반하는지 직접 확인하고, 오정렬 여부를 검증할 수 있습니다.
2. 새로운 형태의 개입 (Novel Intervenability):
   • 모델 편집 (Model Editing): 잘못된 프로토타입을 제거하거나, 프로토타입의 개념 레이블을 수정하거나, 새로운 프로토타입을 추가하여 모델을 직접 수정할 수 있습니다. 이는 기존 CBM 에서 불가능했던 기능입니다.
   • 연관된 개념 교정: 하나의 프로토타입을 수정하면 해당 프로토타입과 연결된 여러 개념이 동시에 교정될 수 있습니다.
3. 이해 가능성의 확장:
   • 예측에 대한 설명을 고수준 개념뿐만 아니라, 구체적인 시각적 증거 (프로토타입) 까지 포함하여 제공합니다.

4. 실험 결과 (Results)

CelebA, ColorMNIST+, CLEVR-Hans 등 다양한 데이터셋에서 실험을 수행했습니다.

• 정확도 (Accuracy): PGCM 은 최신 CBM 변형 모델 (CBM, CRM, CMR) 과 유사한 수준의 개념 예측 및 작업 예측 정확도를 달성했습니다. (CelebA 에서 약간의 성능 저하가 있었으나, 이는 개념 예측 정확도 감소에 기인함).
• 정렬 검증 및 수정: 노이즈가 있는 레이블로 학습된 경우, PGCM 은 잘못된 프로토타입을 식별하고 제거/수정함으로써 테스트 세트의 정확도를 크게 향상시켰습니다 (예: ColorMNIST+ 에서 92.9% $\rightarrow$ 96.9% 이상). 이는 기존 CBM 에서는 불가능한 결과입니다.
• 개입 효과성 (Intervenability): 개념 개입 (Concept Intervention) 시, PGCM 은 독립적인 개념을 모델링하는 기존 CBM 보다 더 효과적으로 반응했습니다. 특히, 하나의 개입이 여러 개념 예측에 영향을 미치는 구조적 이점을 보였습니다.
• 용량과 해석 가능성의 트레이드오프: 프로토타입 수를 늘리면 정확도는 향상되지만, 인지적 부하로 인해 해석 가능성은 감소하는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 해석 가능한 AI 분야에서 중요한 전환점을 제시합니다.

• 가정에서 검증으로: 기존 CBM 이 "개념이 올바르게 학습되었다"는 가정에 의존했다면, PGCM 은 시각적 근거를 통해 이를 검증할 수 있는 체계를 제공합니다.
• 신뢰성 있는 인간-AI 상호작용: 사용자가 모델의 내부 작동 원리를 시각적으로 확인하고, 오작동을 직접 수정 (Intervention) 할 수 있게 함으로써, 신뢰할 수 있는 AI 배포 (Trustworthy Deployment) 에 필수적인 요소를 충족시킵니다.
• 이론적 기반: 논리학적 의미론 (Tarski의 의미론) 을 차용하여, 추상적인 개념 기호와 구체적인 도메인 요소 (이미지 프로토타입) 간의 명시적 대응 관계를 정의함으로써 개념의 의미를 형식화했습니다.

결론적으로, PGCM 은 해석 가능성과 예측 성능을 모두 유지하면서도, **검증 가능성 (Verifiability)**과 **수정 가능성 (Intervenability)**이라는 새로운 차원을 더함으로써 신뢰할 수 있는 딥러닝 모델 개발의 새로운 표준을 제시합니다.