기술 요약: 컨셉 콘(Concept Cones)을 통한 개념 학습의 기하학적 통합

문제 정의

본 논문은 **컨셉 병목 모델(Concept Bottleneck Models, CBMs)**과 **희소 오토인코더(Sparse Autoencoders, SAEs)**라는 두 가지 지배적이지만 서로 다른 패러다임을 연결함으로써, 딥 뉴럴 네트워크를 해석하는 과제를 다룹니다.

• CBMs는 모델 활성화 값을 인간이 레이블링한 개념과 정렬시킴으로써 해석 가능성을 강제하는 지도 학습 방식입니다. 이는 명시적인 의미 구조를 제공하지만, 불완전하거나 모델의 내부 표현과 일치하지 않을 수 있는 사전 정의된 분류 체계에 의존한다는 단점이 있습니다.
• SAEs는 과완전 사전(overcomplete dictionary) 위에서 희소 선형 표현을 학습하여 창발적 개념을 발견하는 비지도 학습 방식입니다. 확장성은 뛰어나지만, 비식별성(non-identifiability) 문제를 겪습니다. 즉, 많은 서로 다른 사전들이 유사한 오차로 활성화를 재구성할 수 있어, 학습된 개념이 정말 의미 있는지를 판단하기 어렵습니다. 또한, SAE는 하이퍼파라미터(희소성, 사전 크기)의 미세한 변화에 따라 매우 다른 분해 결과를 보이는 불안정성을 가집니다.

현재로서는 이러한 지도 학습 방식과 비지도 학습 방식을 비교하거나, 완전한 정답(ground truth) 없이도 비지도 SAE가 "그럴듯한" 인간 관련 개념을 발견했는지 평가할 수 있는 원칙적인 방법이 존재하지 않습니다.

방법론: 컨셉 콘 프레임워크 (The Concept Cone Framework)

저자들은 두 패러다임을 모두 분석하기 위해 **사전 학습(dictionary learning)**과 **컨셉 콘(concept cones)**에 기반한 통합된 기하학적 프레임워크를 제안합니다.

1. 기하학적 통합

본 논문은 CBM과 SAE가 모두 동일한 역문제(inverse problem), 즉 활성화 벡터를 비음수 선형 결합으로 분해하는 문제를 해결한다고 가정합니다.

• 사전 학습 관점: 두 방법 모두 사전(행은 개념 방향)과 코드(계수)를 학습합니다.
• 비음수성(Non-negativity): 두 방법 모두 비음수 코드($c \geq 0$)를 강제합니다. CBM에서는 활성화 함수(예: sigmoid/ReLU)에 의해 강제되며, SAE에서는 명시적인 제약 조건으로 작용합니다.
• 컨셉 콘: 사전 $D$에 의해 표현 가능한 모든 활성화 집합은 다음과 같이 정의되는 **컨셉 콘(concept cone)**을 형성합니다:
  $$C_D = \{ v \in \mathbb{R}^d : v = \alpha^\top D, \alpha \in \mathbb{R}^c_+ \}$$
  이 기하학적 구조는 두 접근 방식을 통합합니다. 두 방식은 무엇을 학습하느냐가 아니라, 특정 콘(cone)을 어떻게 선택하느냐에서 차이가 납니다.

2. CBM을 통한 부분적 앵커링 (Partial Anchoring via CBMs)

SAE는 비식별적이기 때문에, 저자들은 CBM을 **부분적인 기하학적 앵커(partial geometric anchors)**로 사용합니다. 핵심 가설은 "좋은" SAE 분해는 CBM이 학습한 개념 방향을 자신의 컨셉 콘 내에 포함해야 한다는 것입니다. 구체적으로, SAE의 일부 원자(atoms)들이 희소하고 비음수인 조합을 통해 CBM 개념을 재구성할 수 있어야 합니다. 이는 완벽한 일대일 정렬을 요구하는 것이 아니라, 인간이 인지 가능한 구조가 SAE의 표현 공간 내에 존재해야 함을 의미합니다.

3. 실행 방법론: 메트릭 (Metrics)

SAE의 콘($C_{SAE}$)과 CBM의 콘($C_{CBM}$) 사이의 정렬을 정량화하기 위해, 저자들은 상호 보완적인 일련의 메트릭을 도입합니다.

• 커버리지 (Coverage): CBM 개념 방향이 SAE 콘 내에 포함되는 정도를 측정합니다. 이는 각 CBM 개념에 대해 SAE 사전을 대상으로 희소 비음수 재구성 문제를 해결함으로써 계산됩니다. 높은 커버리지는 SAE가 CBM 개념을 표현할 수 있음을 의미합니다.
• 기하학적 정렬 ($\rho_{geom}$): 개별 SAE 원자와 CBM 개념 간의 방향 유사성(상관관계 사용)을 측정합니다. top-$k$ 버전을 통해 일대다 또는 다대일 매핑을 허용합니다.
• 활성화 정렬 ($\rho_{act}$): 인코더와 임계값의 차이를 고려하여, SAE와 CBM 개념이 유사한 데이터 샘플에서 활성화되는지 측정합니다.
• 회귀 예측 가능성 ($R^2$): SAE 활성화에서 CBM 활성화로의 선형 맵을 적합시켜 전역적인 정보 보존을 측정합니다.
• 샘플 수준 일치도 (Sample-level Agreement): 각 샘플에 대해 top-$k$ 활성 개념을 기반으로 정밀도(precision), 재현율(recall), F1 점수를 계산하여 SAE 인덱스를 CBM 개념에 매핑합니다.

저자들은 단일 메트릭만으로는 충분하지 않음을 강조합니다. 예를 들어, 무작위 사전의 경우 커버리지가 인위적으로 높게 나타날 수 있지만(조작된 수치), 정렬도와 $R^2$는 낮을 수 있습니다. 즉, 높은 커버리지가 반드시 유의미한 것을 보장하지는 않습니다.

주요 기여

1. 통합 프레임워크: CBM과 SAE가 동일한 기하학적 구조(활성화 공간에서 비음수 사전 학습을 통해 콘을 학습하는 것)의 사례임을 입증했습니다.
2. 부분 정렬 가설: SAE가 독립적으로 검증된 CBM 개념을 희소하게 회복할 수 있는 원자들의 부분 집합을 가질 때 "그럴듯하다"는 아이디어를 공식화하여, 비식별성에 대한 검증 도구로 활용했습니다.
3. 진단용 메트릭: 일련의 메트릭(Coverage, Geometric/Activation Alignment, $R^2$, Sample-level Agreement)을 도입하고, 각각이 무엇을 측정하는지와 그 한계를 이론적으로 명확히 했습니다.
4. 경험적 가이드라인: 광범한 벤치마크를 통해 인간 관련 구조를 가장 잘 회복하는 SAE 설계의 "스윗 스팟(sweet spots)"(희소성 및 확장 계수)을 식별했습니다.

실험 결과

저자들은 ImageNet과 CUB(Caltech-UCSD Birds)로 훈련된 비전 백본(ResNet-50, ViT, DINOv2)에서 프레임워크를 평가했습니다. 다양한 SAE 변형(Vanilla, TopK, BatchTopK, JumpReLU, Matching Pursuit, Archetypal)을 비교했습니다.

• 정당성 검사 (Sanity Check): 훈련된 SAE는 무작위로 초기화된 SAE보다 CBM과 훨씬 더 나은 정렬을 보였습니다. 특히, 무작위 SAE는 인위적으로 높은 커버리지를 보였으나 정렬도와 $R^2$는 낮았으며, 이는 커버리지 단독으로는 불충분함을 확인시켜 줍니다.
• SAE 변형: JumpReLU와 Vanilla SAE가 일반적으로 우수한 커버리지와 경쟁력 있는 기하학적 정렬을 달 Recurs. Archetypal 분석은 더 나은 F1 점수를 보여주었습니다.
• 희소성 트레이드오프: 희소성과 완전성 사이에는 긴장이 존재합니다. 공격적인 희소성(매우 적은 활성 유닛)은 높은 기하학적 정렬(국소적 프로토타입)을 제공하지만 낮은 커버리지를 초래합니다. 반면, 완화된 희소성은 커버리지와 재구성을 개선하지만 구조를 분산시킵니다. 중간 희소성 영역(약 0.01~0.05% 활성 유닛)이 최적의 균형을 제공했습니다.
• 확장 계수 (Expansion Factor): 사전 크기(확장 계수)를 늘리면 커버리지와 $R^2$가 일정 지점까지 향상되었습니다. 2배 확장이 최적의 지점으로 식별되었으며, 그 이상에서는 방향 정렬이 확산되기 시작했습니다.
• 계층별 분석: ResNet-50에서 더 깊은 층(특히 최종 풀링 이후의 Layer 4)이 고수준 특징을 포착하며 CBM 개념과 가장 강력한 의미적 정렬을 보였습니다. 낮은 층은 기하학적으로는 정렬되지만 CBM 분류 체계와는 의미적 대응이 없는 저수준 속성(에지, 색상 등)을 포착했습니다.

의의 및 주장

본 논문은 비지도 개념 발견을 평가하기 위한 원칙적이고 기하학적인 토대를 제공한다고 주장합니다. CBM을 단순한 정답(ground truth)이 아닌 "부분적인 의미적 앵커"로 취급함으로써, 이 연구는 SAE를 평가하는 기존 방식에 대한 구조적인 대안을 제시합니다.

저자들은 해석 가능성이 감독(CBM)과 발견(SAE) 중 하나를 선택하는 문제가 아니라고 주장합니다. 대신, 그 길은 두 방식을 조화시키는 것에 있습니다. 즉, 공유된 기하학적 프레임워크 내에서 감독된 개념을 사용하여 비지도 발견을 검증하고 가이드하는 것입니다. 이 접근 방식은 연구자들이 인간에게 부합하는 더 그럴듯한 개념 사전을 체계적으로 생성하는 유도 편향(예: 특정 희소성 메커니즘이나 확장 비율)을 식별할 수 있게 해줍니다.

결론적으로, CBM은 인간의 편향과 주석의 한계로 인해 완벽한 정답은 아닐 수 있지만, 비식별성이 허용하는 무한한 가능성 중에서 의미 있는 분해를 구별해낼 수 있는 필수적인 참조점을 제공합니다. 제안된 메트릭들은 현대 신경망의 표현력과 해석 가능성 사이의 트레이드오프를 탐색하기 위한 진단 도구 역할을 합니다.