기술 요약: 사후(Post-Hoc) 개념 병목 모델의 충실성(Faithfulness)에 관하여

문제 정의

사후 개념 병목 모델(post-hoc CBM)은 잠재 특징을 해석 가능한 개념 공간으로 투영함으로써, 불투명한 딥러의 표현과 인간의 이해 사이의 간극을 메우는 것을 목표로 한다. 표준 CBM과 달리, 사후 방식은 대상 작업에 대한 조밀한 개념 주석을 요구하지 않으며, 대신 (1) 보조 개념 데이터셋(예: Broden) 또는 (2) 시각-언어 모델(VLM)에 의해 생성된 대리 개념 레이블에 의존한다.

본 논문이 다루는 핵심 문제는 현재의 평가 방식이 이러한 모델의 성공을 판단하기 위해 다운스트림 작업 정확도에 과도하게 의존하고 있다는 점이다. 저자들은 높은 정확도가 개념 충실성(concept faithfulness)—즉, 학습된 투영 $\pi_\theta$가 의도된 의미론적 개념을 실제로 추출하는 정도—을 판단하기에는 불충분한 지표라고 주장한다. 경험적 증거에 따르면, 무작위적이고 의미론적으로 무의성한 투영 또한 (Johnson-Lindenstrauss 정리와 관련된) 정보 보존 특성 덕분에 경쟁력 있는 다운스트림 정확도를 달달할 수 있으며, 이는 모델이 진정으로 개념을 통해 추론하고 있는지, 아니면 단순히 예측 아티팩트(predictive artifacts)를 이용하고 있는지를 가린다.

방법론

이론적 프레임워크

본 논문은 충실성을 활성화 함수 $f(x)$로부터 그라운드 트루스 개념 $c$를 복구하는 투영 $\pi_\theta$에 대한 실제 작업 분포 $P_{task}(x, c)$ 상의 기대 위험(expected risk) 최소화로 공식화한다. 저자들은 두 가지 주요 불충fulness(unfaithfulness)의 원인을 식별하였다:

1. 보조 데이터셋의 공변량 변화(Covariate Shift): 타겟 작업 $X_{task}$와 구별되는 보조 데이터셋 $X_{aux}$에서 $\pi_\theta$를 학습할 때, 특징 공간에서의 기하학적 변화가 투영을 무효화할 수 있다. 저자들은 도메인 적응 이론[8]을 기반으로 타겟 일반화 오차에 대한 상한을 유도한다:
   $$J_{task}(\theta; L_1) \leq J_{aux}(\theta; L_1) + \frac{1}{2}\hat{d}_{\mathcal{H}\Delta\mathcal{H}}(\mathbb{X}_{task}, \mathbb{X}_{aux}) + \Omega + \lambda_{ideal}$$
   저자들은 공변량 변화(여기서 $P(c|x)$는 일정하지만 $P(x)$가 변함)를 가정할 때, 실용적인 충실성 지표로서 도메인 판별기를 통해 근사된 경험적 $\mathcal{H}\Delta\mathcal{H}$-다이버전스(divergence)를 사용할 것을 제안한다.

2. 대리 감독의 체계적 레이블 노이즈: VLM을 사용하여 대리 레이블 $\tilde{c}$를 생성할 때, 불충실성은 단순히 오류의 크기뿐만 아니라 **체계적 오류(systematic errors)**에서 발생한다. 투영을 다변량 일반화 선형 모델(Multivariate GLM)로 모델링함으로써, 저자들은 실제 목적 함수의 그래디언트가 대리 최적점에서의 대리 오류 $\delta(x) = \tilde{c}(x) - c^*(x)$와 백본 활성화 $f(x)$의 외적(outer product)에 비례함을 보여준다.

   • 충실성 조건: 모델은 대리 오류가 정확하거나($\delta \approx 0$), 혹은 기대치 측면에서 활성화 공간과 **직교(orthogonal)**할 경우($\mathbb{E}[\delta(x) \otimes f(x)] = 0$) 충실성을 유지한다.
   • 실패 모드: 체계적 오류(예: VLM이 "구름"이 있을 때마다 일관되게 "하늘"이라고 예측하는 경우)는 비직교적 오류 성분을 생성하며, 이는 대리 레이블이 평균적으로는 정확해 보일지라도 불충실한 투영을 초래한다.

제안된 지표

저자들은 충실성을 예측 정확도와 분리하기 위해 다음을 도입한다:

• $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ 다이브전스: 보조 데이터셋 사용 시 공변량 변화로 인해 발생하는 오류의 대리 지표.
• 대리 오류 직교성(Surrogate Error Orthogonality): 대리 레이블 오류와 백본 활성화 사이의 절대 피어슨 상관계수 $|\rho|$. 높은 상관관계는 체계적 실패를 나타낸다.

실험 설정

저자들은 다음을 통해 연구 결과를 검증한다:

• 실제 벤치마크: CUB-200 (새) 및 CIFAR-10/100.
• 합성 데이터셋: 그라운드 트루스 개념 주석(모양, 색상, 질감)을 제공하여 직접적인 정렬을 측정할 수 있는 Elements [48].
• 모델: PCBM (보조 데이터), LFCBM (VLM 텍스트 임베딩), VLG-CBM (그라운딩 객체 탐지)을 포함한 다양한 사후 CBM 구현체.

주요 결과

1. 정확도는 기만적이다: 실험을 통해 무작위 개념 투영이 의미 있는 개념 소스(예: Broden, CLIP)로 학습된 모델과 유사한 다운스트림 정확도를 달성할 수 있음을 확인했다. 병목 차원 $K$가 증가함에 따라, 무작위 투영은 충분한 기하학적 정보를 보존하여 다운스트림 분류기가 원래의 활성화를 재구성할 수 있게 함으로써, 정확도를 신뢰할 수 없는 대리 지표로 만든다.
2. 공변량 변화의 영향: 분포 외(OOD) 보조 데이터(예: 추상적 패턴)로 학습된 모델은 인도메인(in-domain) 학습 모델에 비해 그라운드 트루스에 대한 코사인 유사도(충실성 측정)가 현저히 낮지만, 높은 다운스트림 정확도는 유지한다. 제안된 $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ 지표는 이러한 충실성 저하와 강한 상관관계를 보인다.
3. 체계적 노이즈 vs 무작위 노이즈:
   • 무작위 노이즈: 그라운드 트루스 데이터에 25%의 무작위 레이블 노이즈를 추가하면, 오류가 평균화되어 직교성이 유지되므로 충실한 투영이 생성된다.
   • 체계적 노이즈: VLM(CLIP, DINOv3, Grounding DINO)은 특정 특징과 상관관계가 있는 체계적 오류를 유발한다. 예를 들어, Grounding DINO는 흰색 배경 위의 기하학적 모양을 파악하는 데 어려움을 겪으며, 이는 상관된 오류를 생성하여 불충실한 투영으로 이어진다. 제안된 상관관계 지표는 표준 정확도 지표가 포착하지 못하는 이러한 실패를 성공적으로 식별한다.

의의 및 주장

본 논문은 예측 성능과 독립적으로 사후 CBM의 충실성을 평가하기 위한 최초의 엄격한 이론적 및 경험적 프레임워크를 제공한다고 주장한다.

• 이론적 기여: 무작위 투영이 어떻게 의미론적 추론을 흉내 낼 수 있는지(매니폴드 Johnson-Lindenstrauss 정리로 설명)를 공식화하고, 대리 감독이 실패하는 구체적인 조건(오류 직교성)을 유도한다.
• 실무적 기여: 표준 정확도 기반 평가에서는 보이지 않는 공변량 변화 및 체계적 VLM 편향을 감지할 수 있는 새로운 지표를 도입한다.
• 시사점: 저자들은 다운스트림 정확도에만 의리하는 것이 해석 가능성의 "환상"을 만든다고 주장한다. 진정한 해석 가능성을 위해서는 개념 투영 $\pi_\theta$를 직접 검사하여 그것이 인간의 의미론과 일치하는지 확인해야 하며, 이를 위해 제안된 충실성 지표를 사용할 필요가 있다.

이 연구는 새로운 학습 알고리즘을 제안하는 것이 아니라, 개념 병목 모델의 "병목"이 실제로는 인간이 이해할 수 있는 개념의 압축인지, 아니면 가공되지 않은 특징의 압축된 표현인지를 보장하기 위한 비판적 평가 프레임워크를 제공한다.