Spatially Grounded Concept-Based Image Classification

기술 요약: SEG-MIL-CBM

문제 정의
심층 신경망은 종종 허위 상관관계(spurious correlations)나 검사하기 어려운 증거에 의존하여 높은 정확도를 달รับ합니다. 이는 특히 이해관계가 걸린 고위험 환경에서 문제가 됩니다. 개념 병목 모델(Concept Bottleneck Models, CBMs)은 이미지를 인간이 정의한 개념으로 매핑함으로써 해석 가능한 추론을 제공하지만, 기존의 대부분 CBM은 개념을 전역적 속성(global attributes)으로 취급합니다. 이러한 전역적 접근 방식은 어떤 특정 이미지 영역이 개념을 뒷받침하는지 식별하지 못하며, 예측과 그 설명 사이의 간극을 남깁니다. 또한, 공간적으로 접지된(spatially grounded) CBM(예: SALF-CBM)은 증거를 국소화하지만, 영역 수준의 증거가 최종 결정 로짓(logit)으로 어떻게 집계되는지를 명시적으로 설명하지 못하며, 이로 인해 설명이 예측을 생성하는 계산 과정과 분리되는 결과를 초래합니다.

방법론: SEG-MIL-CBM
저자들은 이미지를 개념 유도 영역으로 분해하고, 세그먼트 수준의 증거에 대한 어텐션 기반 집계를 통해 분류하는 모델인 SEG-MIL-CBM(Spatially Grounded Concept-Based Image Classification)을 제안합니다. 핵심 혁신은 예측을 형성하는 데 사용된 것과 동일한 세그먼트 증거 항(evidence terms)을 설명을 생성하는 데 직접 읽어 들임으로써, 별도의 사후(post-hoc) 속성 모듈(attribution module)의 필요성을 제거했다는 점입니다.

파이프라인은 네 단계로 구성됩니다:

1. 오프라인 전처리: 사전 학습된 파운데이션 모델(CLIP, GroundingDINO, SAM)을 사용하여 각 이미지에 대해 "백(bag)" 형태의 개념 유도 세그먼트를 생성합니다. GroundingDINO는 개념을 국소화하고, SAM은 이진 마스크를 생성합니다. 이 세그먼트들은 동결된 CLIP 개념 유사도 타겟과 함께 캐싱됩니다.
2. 세그먼트 인코딩: 훈련 가능한 모델이 공유 백본($\phi$)을 사용하여 각 세그먼트를 인코딩하고 특징($h_i$)을 생성합니다. 선형 개념 헤드(linear concept head)는 이 특징들을 개념 공간으로 투영하여 학습된 개념 활성화 값($z_i$)을 산출합니다.
3. 책임 있는 집계 (MIL): 모델은 어텐션 기반의 다중 인스턴스 학습(Multiple Instance Learning, MIL) 프레즘을 채택합니다. 클래스 조건부 어텐션 가중치($\alpha_{i,y}$)를 각 세그먼트에 대해 계산하고, 세그먼트-클래스 점수($g_{i,y}$)를 이미지 수준의 로짓($\ell_y = \sum \alpha_{i,y} g_{i,y}$)으로 집계합니다.
4. 설명 생성: 최종 로짓은 명시적인 세그먼트 수준 기여도의 합입니다. 설명은 이 분해 과정에서 비편향(non-bias) 증거 항($C^{sp}_{i,y}$)을 읽음으로써 도출됩니다. 이를 통해 어떤 영역이 예측에 긍정적으로 기여했는지, 그리고 해당 영역 내의 어떤 구체적인 개념이 그 지지를 제공했는지를 밝혀냅니다.

학습 목적 함수는 이미지 수준의 교차 엔트로피 손실과 학습된 개념 활성화와 동결된 CLIP 타겟 사이의 코사인 정렬 손실을 결합하여, 훈련 중 명시적인 개념이나 그룹 레이블 없이도 의미론적 일관성을 보장합니다.

주요 기여

• 책임 있는 집계(Accountable Aggregation): 저자들은 모든 표시된 영역 점수가 로짓 분해 내의 비편향 세그먼트 증거 항으로부터 직접 읽히도록 공간적 개념 예측을 정식화하여, 통합된 예측과 설명을 생성합니다.
• 충실도 검증(Faithfulness Validation): CUB 데이터셋에 대한 세그먼트 수준 삭제 및 삽입 실험을 통해, 학습된 세그민트 순위가 모델 자체의 예측 경로에 충실함을 정량적으로 검증하였으며, 이는 원시 CLIP 돌출도(salience), 세그먼트 면적, 또는 무작위 순위 기반의 대조군보다 우수한 성능을 보였습니다.
• 해석 가능성-강건성 트레이드오프(Interpretability-Robustness Trade-off): 모델은 해석 가능성을 우선시하는 설계가 경쟁력 있는 인식 정확도를 유지하면서도, 평가된 CBM 계열 베이스라인들보다 최악의 그룹 정확도(worst-group accuracy)를 개선할 수 있음을 보여줍니다. 이는 해석 가능성이 없는 그룹 강건 방법론이 달성할 수 있는 최고 수준의 최악 그룹 정확도와 해석 가능성 사이의 파레토 트레이드오프를 명시적으로 드러냅니다.

결과

• 그룹 강건성: 허위 배경 상관관계의 벤치마크인 Waterbirds 데이터셋에서, SEG-MIL-CBM은 최악 그룹 정확도를 SALF-CBM의 65.1%에서 **72.0%**로 향상시켰습니다. 합성 데이터셋인 Pawrious에서는 **87.4%**의 최악 그룹 정확도를 달성하여, 배경 숏컷(shortcut)을 완화하지 못하는 글로벌 CBM 베이스라인들을 크게 앞질렀습니다.
• 표준 인식: 모델은 표준 인식 작업에서도 경쟁력을 유지하며, CIFAR-100에서 최고의 CBM 정확도(85.3%)를 달성하였고, Places365 및 CUB에서 이전의 공간적 CBM보다 개선된 성능을 보였습니다.
• 충실도: CUB에서 모델은 평가된 대조군 중 최고의 삭제/삽입 AUC(DAUC/IAUC: 0.444/0.670)를 달성했습니다. Top-1 삽입 테스트 결과, 가장 높은 순위의 세그먼트만 유지했을 때 원래의 예측이 90.5%의 이미지에서 보존되었습니다.
• 절제 연구(Ablation): 실험을 통해 성능 향상이 숨겨진 특징 바이패스가 아닌 명시적인 국소 증거의 집계에 의해 유도됨을 확인하였으며, 개념 정렬 손실이 설명에 사용되는 의미론적 인터페이스를 유지하는 데 필수적임을 확인했습니다.

의의 및 주장
본 논문은 SEG-MIL-CBM이 예측 자체의 "감사 추적(audit trail)" 역할을 수행함으로써 더 강력한 형태의 설명을 제공한다고 주장합니다. 별도의 분류기에 히트맵을 부착하는 사후(post-hoc) 방식과 달리, SEG-MIL-CBM은 표시된 영역 증거가 순방향 계산(forward computation)에 내재되어 있음을 보장합니다.

저자들은 SEG-MIL-CBM을 (Waterbirds와 같은 특정 데이터셋에서 더 높은 최악 그룹 정확도를 달성할 수 있는) 비해석적 그룹 강건 방법론의 대체재가 아니라, 별개의 파레토 프런티어 상의 지점으로 포지셔닝합니다. 이 모델은 실무자가 경쟁력 있는 정확도를 유지하면서도, 왜 그러한 결정이 내려졌는지에 대해(구체적으로 어떤 객체 부위나 배경 영역이 예측을 뒷받침했는지) 공간적으로 접지된 개념 수준의 설명을 얻을 수 있는 트레이드오프를 제공합니다. 이 연구는 이러한 접근 방식이 글로벌 병목 모델보다 실패 사례(예: 배경 숏컷에 대한 의존)를 더 검사 가능하게 만든다는 점을 강조하지만, 모든 숏컷의 제거를 보장하는 것은 아닙니다.