Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention

기술 요약: 부위별 인자화된 어텐션을 통한 공간적 근거를 갖춘 개념 병목 모델 (Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention)

문제 정의
개념 병목 모델(Concept Bottleneck Models, CBMs)은 클래스 예측 전 인간이 명명한 속성(개념)을 예측함으로써 해석 가능성을 제공한다. 그러나 미세 분류 작업(예: 조류 종 구분)에서 표준 CBM은 "공간적 근거 격차(spatial grounding gap)" 문제를 겪는다. 개념 레이어는 수치적으로는 해석 가능하지만, 각 개념 헤드의 공간적 어텐션은 제약되지 않은 상태이다. 예를 들어, 특정 신체 부위(예: "목 색상")를 위해 명명된 헤드가 만약 해당 속성과 강하게 상관관계가 있는 다른 영역(예: 날개 패치)에 어텐션을 집중시킨다면, 모델은 학습 손실을 충족시키기 위해 그 영역을 선택할 수 있다. 결과적으로 모델의 결정은 명명된 해부학적 구조에 근거하지 않게 되며, 이는 테스트 시의 개입(intervention)이 의도된 해부학적 영역이 아닌 헤드가 포착한 임의의 패치에 작용하게 만들어 개입의 신뢰성을 떨어뜨린다.

방법론: 부위별 인자화된 CBM (PF-CBM)
제안된 PF-CBM은 동결된 DINOv3 ViT-B/16 비전 트랜스포머를 기반으로, 구조적 속성으로서 공간적 근거를 강제한다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어진다:

1. 학습된 전경 게이트(Learned Foreground Gate): 작은 MLP가 DINOv3 패치 특징값 위에서 동작하여 패치당 로짓(logits)을 생성한다. 이 로짓들은 시그모이드 함수를 통과하여 게이트 $g \in [0, 1]$를 생성한다. 이 게이트는 로그 공간에서 어텐션 로짓에 가산적으로 주입된다. 이는 이미지별 세그멘테이션 마스크 없이도 패치가 객체에 속하는지 여부에 대한 이진 질문에 답하며 배경 패치를 억제한다.
2. 부위 라우팅 속성 헤드(Part-Routed Attribute Heads): 모델은 패치 특징값과 교차 어텐션(cross-attend)을 수행하는 $P=12$개의 학습 가능한 부위 쿼리(part queries)를 사용한다. 컴파일 타임에 고정된 "개념-부위" 맵은 $C=312$개의 속성을 특정 부위 토큰으로 라우팅한다. 예를 들어, "목 색상" 속성은 오직 "목" 토큰으로부터만 특징을 읽어온다. 이러한 구조적 제약은 개념이 할당된 해부학적 영역 외부의 특징에 접근하는 것을 방지한다.
3. 학습 가능한 가우시안 공간 사전 분포(Learnable Gaussian Spatial Prior): 순열 대칭성(permutation symmetry)으로 인해 부위 쿼리가 공통된 위치(예: 객체의 중심점)로 붕괴되는 것을 방지하기 위해, 학습 가능한 2D 가우시안 사전 분포가 어텐션 로짓에 추가된다. 이 사전 분포의 평균($\mu_p$)과 표준 편차($\sigma_p$)는 학습 가능한 파라미터이다. 결정적으로, $\mu_p$는 데이터셋의 평균적인 부위 키포인트 위치를 사용하여 오프라인에서 초기화된다. 이 초기화 방식은 매우 적은 양의 주석 달린 키포인트를 필요로 하며, 훈련이나 추론 과정 중에는 이미지별 감독(supervision)을 요구하지 않는다.

훈련 목적 함수
모델은 근거 형성(grounding)과 분류 사이의 균형을 맞추기 위해 두 단계로 훈련된다:

• 1단계: 분류기(classifier)를 동결한다($w_{cls}=0$). 게이트, 부위 어텐션, 속성 헤드를 개념 손실(확신도 가중치 적용 이진 교차 엔트로피), 전경 손실, 정렬 손실(키포인트가 있는 경우), 그리고 어텐션 집중을 유도하는 엔트로피 항을 사용하여 훈련한다.
• 2단계: 분류기의 동결을 해제한다($w_{cls}=1$). 모델은 공동 훈련을 수행하지만, 근거 형성 구성 요소(게이트, 어텐션, 헤드)의 학습률을 분류기보다 한 자릿수 낮게 설정한다. 이는 분류 압력이 1단계에서 구축된 공간적 근거 상태를 덮어쓰는 것을 방지하기 위함이다.

주요 결과
CUB-200-2011 데이터셋에 대한 실험 결과는 다음과 같다:

• 성능 대 근거 형성(Performance vs. Grounding): 공간 사전 분포 모델은 완전 지도 학습 베이스라인과 유사한 분류 정확도(top-1 기준 88.85% 대 88.95%)를 달면서도, 포인팅 정확도(pointing accuracy)를 크게 향상시켰다(36.4% 대 52.6%).
• 이미지별 감독 제거: 바운딩 박스 감독을 PCA 유도 전경 타겟으로 대체하고 가우시안 사전 분포와 결합함으로써, 모델은 모든 이미지별 감독을 제거했다. 이 "박스 프리(box-free)" 구성은 88.85%의 top-1 정확도와 59.7%의 포인팅 정확도에 도달했다.
• 주석 효율성: 키포인트 비율에 대한 조사 결과, 가우시안 사전 분포를 전체 데이터셋의 0.5%인 약 27장의 이미지로 초기화하는 것만으로도 전체 데이터셋을 사용하는 것과 구별할 수 없을 정도의 성능을 달 수 있음을 확인했다.
• 구조의 필요성: 공간 사전 분포를 완전히 제거하면 포인팅 정확도가 2.9%로 급락하며, 이는 사전 분포가 순열 대칭성을 깨고 부위 특성화를 강제하는 데 필수적임을 입증한다.
• 개입 동작(Intervention Behavior): 순차적 훈련(분류기를 훈련하기 전 개념 인코더를 동결)은 top-1 정확도를 희생하는 대신, 개념-클래스 간 상호 정보량이 더 낮은, 더 잘 보정된 병목 구조를 생성한다. 이는 공동 훈련이 개념 크기에 판별력 있는 신호를 담도록 허용하는 반면, 순차적 훈련은 명명된 개념에 대한 더 엄격한 의존을 강제함을 확인시켜 준다.

의의 및 주장
본 논문은 PF-CBM이 해석 가능성과 공간적 근거 사이의 간극을 성공적으로 메웠다고 주장한다. 근거 형성을 최적화의 결과가 아닌 구조적 보장(structural guarantee)으로 만듦으로써, 모델은 개념 예측이 특정 해부학적 영역과 연결되도록 보장한다. 이를 통해 "목 색상"과 같은 개념을 수정했을 때, 올바른 해부학적 증거를 통해 예측에 직접 영향을 미치는 신뢰할 수 있는 테스트 시 개입이 가능해진다.

이 연구는 최적 운송(optimal transport)을 사용하는 DOT-CBM과 같은 소프트 근거 방식과 달리, 하드한 구조적 라우팅 맵을 강제한다는 점에서 차별화된다. 비록 이 방식이 사전 정의된 부위 어휘집과 개념-부위 매핑을 필요로 하지만, 개념과 이미지 영역 간의 대응 관계가 설계에 의해 고정되어 있어 매우 쉽게 검사 가능한 메커니즘을 제공한다. 저자들은 이 방법이 단일 객체가 정형화된 자세(pose)를 취하는 도메인(예: 조류, 얼굴)에 가장 적합하며, 데이터셋 수준의 공간 신호 없이 부위 정체성 자체를 완전히 제거하는 것은 여전히 해결되지 않은 과제로 남아 있다고 언급했다.