기술 요약: 컨셉 플로우 모델 (Concept Flow Models, CFMs)

문제 정의

컨셉 병목 모델(Concept Bottleneck Models, CBMs)은 학습된 특징을 인간이 이해할 수 있는 컨셉 공간으로 투영함으로써 심층 신경망의 해석 가능성을 높이는 것을 목표로 한다. 최근의 사후 분석(post-hoc) CBM들은 수동 컨셉 주석(annotation)의 필요성을 제거하기 위해 시각-언어 모델(Vision-Language Models, VLMs)을 활용하지만, **정보 누출(information leakage)**이라는 치명적인 한계에 직면해 있다.

컨셉 임베딩의 수가 특징 임베딩 공간의 차원에 근접함에 따라, 모델은 높은 정확도를 달성하기 위해 부적절하거나 의미론적으로 무관한 상관관계를 악용할 수 있다. 이 시나리오에서 모델은 의도된 의미론적 내용(semantic content) 대신 무작위적이거나 작업과 무관한 컨셉(예: 고양이를 분류하는 데 있어 "차량 차체 도장 색상" 사용)에 의존할 수 있다. 이는 높은 정확도가 더 이상 의미 있는 컨셉에 기반한 추론을 보장하지 않게 함으로써 모델의 해석 가능성을 저해한다. 희소성(sparsity)을 강제하기 위한 정규화나 압축된 컨셉 세트 선택과 같은 기존의 완화 전략들은 작업 복잡도에 따라 확장성이 떨어지거나, 무관한 컨셉의 오용을 구조적으로 방지하지 못하는 경우가 많다.

방법론: 컨셉 플로우 모델 (CFMs)

저자들은 전통적인 CBM의 평면적인 병목 레이어를 **계층적, 컨셉 중심의 결정 트리(hierarchical, concept-driven decision tree)**로 대체하는 계층적 아키텍처인 **컨셉 플우 모델(CFMs)**을 제안한다. 이러한 구조적 변화는 "구조적 희소성(structural sparsity)"을 강제하여, 각 클래스 예측이 특정 결정 경로를 따르는 국소적인 컨셉 부분 집합에만 의존하도록 보장한다.

CFM 프레임워크는 세 가지 주요 단계로 작동한다:

1. 트리 계층 구조 추출 및 의미론적 주석 (Tree Hierarchy Extraction & Semantic Annotation):

   • 프레임워크는 사전 학습된 VLM(특히 CLIP)을 사용하여 클래스 수준의 이미지 임베딩을 생성한다.
   • 의미론적 트리 계층을 구축하기 위해 응집형 클러스터링(Agglomerative clustering, Ward's linkage)을 적용한다.
   • 내부 노드는 병합 거리에 따라 가지치기(pruning)를 수행하여, 노드 간 구분이 약한 너무 깊은 트리가 생성되는 것을 방지한다.
   • LLM을 사용하여 하위 트리의 리프(leaf) 클래스들을 바탕으로 내부 노드에 대한 기술적 라벨을 생성함으로써, 인간과 정렬된 의미론적 계층 구조를 만든다.

2. 컨셉 선택 및 배분 (Concept Selection & Distribution):

   • LLM은 이미지 샘플과 계층적 문맥을 포함하여 각 리프 클래스에 대한 후보 컨셉을 생성한다.
   • 컨셉들은 내부 노드로 집계된다. 중복된 컨셉이나 클래스 이름을 포함하는 컨셉은 필터링된다.
   • 각 내부 노드에 대해 가장 변별력 있는 컨셉을 선택하기 위해 Lasso 정규화가 적용된 다중 클래스 로지스틱 회귀가 사용된다. 노드에 할당되는 컨셉의 수는 노드의 자식 수와 전역 컨셉 예산을 균형 있게 고려한 하이브리드 전략에 의해 결정된다.

3. 미분 가능한 컨셉 플로우 학습 (Differentiable Concept Flow Training):

   • 모델은 엔드 투 엔드(end-to-end)로 학습된다. 각 내부 노드 $v$는 컨셉 행렬 $C_v$(사전 선택된 임베딩)와 학습 가능한 가중치 행렬 $W_v$로 매개변수화된다.
   • 전이 확률 (Transition Probabilities): 입력 이미지 임베딩 $\tilde{z}$에 대해, 모델은 컨셉 활성화(concept activations)를 계산하고, 이를 $W_v$를 통해 투영한 후, 온도 조절된 소프트맥스(temperature-scaled softmax)를 적용하여 자식 노드로 전이될 확률을 결정한다.
   • 경로 집계 (Path Aggregation): 리프 노드(최종 클래스)에 도달할 확률은 학습 가능한 바이어스(bias) 항에 의해 보정된, 고유한 루트-투-리프(root-to-leaf) 경로를 따르는 전이 확률들의 곱이다.
   • 목적 함수 (Objective): 모델은 정답 클래스 경로에 대한 음의 로그 가능도(negative log-likelihood)를 최소화한다.

주요 기여

• 아키텍처 혁신: 계층적 병목을 통해 분류를 일련의 국소적이고 컨셉 중심적인 하위 문제로 분해하는 CFM을 도입하였다. 이 설계는 특정 클래스의 결정 경로로부터 관련 없는 컨셉들을 구조적으로 격리시킨다.
• 이론적 분석: 저자들은 계층적 병목이 정보 누출에 대한 더 높은 장벽을 형성한다는 이론적 증명을 제공한다. 구체적으로, 무작위 컨셉을 사용하여 전역적 분리성을 달성하기 위해서는 CFM의 경우 총 컨셉 예산이 $O(md)$(여기서$m$은 내부 노드 수)에 비례해야 하는 반면, 평면적 CBM은 $O(d)$만 필요하다. 이는 CFM이 무작위적이고 작업과 무관한 컨셉을 통한 정확도 향상에 훨씬 더 강한 저항성을 가짐을 의미한다.
• 의미론적 효율성: CFM이 훨씬 적은 수의 **유효 컨셉(Effective Concepts, NEC)**을 사용하면서도 평면적 CBM과 대등한 정확도를 달달성할 수 있음을 입증하였다. 예측당 사용되는 컨셉 수는 평면 모델의 $O(R)$에서 CFM의 $O(\frac{R}{m} \log_b m)$으로 감소한다.
• 엔드 투 엔드 파이프라인: 시각적 임베딩으로부터 결정 계층을 구축하고, 수동 주석 없이 변별력 있는 컨셉을 선택하며, 확률적 트리 순회(probabilistic tree traversal)를 통해 모델을 학습시키는 완전한 파이프라인을 개발하였다.

실험 결과

실험은 CIFAR-10, CIFAR-100, UCF-101, CUB-200, TinyImageNet의 5개 벤치마크에서 수행되었다.

• 무작위 컨셉에 대한 저항성: 무작위(비의미적) 컨셉을 사용하는 시나리오에서, CFM은 컨셉 예산이 증가함에 따라 평면적 CBM에 비해 현저히 낮은 정확도를 보였다. 예를 들어, CIFAR-10에서 CBM의 정확도는 64개의 무작위 컨셉과 함께 선형 프로브(linear probe) 베이스라인에 근접했지만, CFM의 정확도는 여전히 상당히 낮았다 (75% vs 90%). 이는 무작위적, 작업 무관 컨셉에 대한 구조적 장벽을 확인시켜 준다.
• 의미적 컨셉을 통한 성능: 정제된 의미적 컨셉을 사용할 때, CFM은 훨씬 적은 수의 유효 컨셉을 사용하면서도 최첨단 평면적 CBM(PCBM 및 Labo)과 대등하거나 이를 능가하는 정확도를 보였다.
  • CIFAR-10에서 CFM은 단 6.9개의 유효 컨셉으로 91.59%의 정확도를 달성하였으며, 이는 PCBM 및 Labo의 약 57개와 비교된다.
  • TinyImageNet에서 CFM은 92개의 유효 컨셉으로 70.79%의 정확도를 달성하여, 360개 이상의 컨셉을 사용한 Labo(69.86%)를 능가하고 PCBM(71.07%)과 대등한 성능을 보였다.
• 의미론적 개선 비율 (Semantic Improvement Ratio, SIR): CFM은 현저히 높은 SIR 점수를 나타냈으며, 이는 모델이 부적절한 상관관계보다는 의미 있는 의미론적 컨셉에 더 강력하게 의존하고 있음을 보여준다. 예를 들어, CIFAR-10에서 CFM의 SIR은 19.78%였던 반면, Labo는 1.94%였다.
• 절제 연구 (Ablation Studies): 연구는 CLIP 기반의 계층 구조가 무작위 또는 가중치 기반 계층 구조보다 우수함을 확인하였다. 또한, 해석 가능성(더 희소한 경로)과 정확도(노드당 충분한 컨셉 용량) 사이의 균형을 맞추기 위해 트리를 가지치기하는 것이 매우 중요하다는 점을 강조하였다.

의의 및 주장

본 논문은 CFM이 예측 성능을 희생하지 않으면서 해석 가능성을 높일 수 있는 유망한 방향임을 주장한다. 인간과 정렬된 계층 구조에 결정을 고정함으로써, CFM은 감사 가능하고 투명한 추적 가능한 단계별 추론 경로를 제공한다.

저자들은 자신들의 접근 방식이 컨셉 기반 모델의 근본적인 트레이드오프, 즉 높은 정확도가 의미론적 근거가 아닌 정보 누출을 통해 달성될 위험을 해결한다고 강조한다. 각 결정 단계에서 사용 가능한 컨셉 공간을 구조적으로 제한함으로써, CFM은 모델이 관련 있고 국소적인 컨셉에 의존하도록 강제한다. 이러한 구조적 격리는 기존의 정규화 기술을 보완하며, 특히 복잡하고 세밀한 분류 작업에서 정보 누출을 줄이는 강력한 메커로니즘을 제공한다. 이 연구는 계층적 병목이 인간의 인지적 추론 패턴을 모방할 수 있으며, 이를 통해 모델의 결정이 안전이 중요한 애플리케이션에서 인간의 기대와 더 일치하도록 만들 수 있음을 시사한다.

인정된 한계점:
저자들은 해석 가능성이 여전히 VLM의 시각-언어 정렬 품질과 LLM의 컨셉 생성 능력에 의존하고 있음을 언급하였다. 특정 이미지 영역에 컨셉이 충실하게 근거하지 못하는 문제(환각 현상)는 전문적인 도메인에서 여전히 존재한다. 또한, 고정된 트리 계층 구조에 의존하는 것은 클래스 관계가 본질적으로 계층적이라는 가정을 전제로 하며, 이는 모든 작업에 적용되지 않을 수 있다. 향후 연구로서 적응형 구조(adaptive structures) 및 개선된 시각적 근거(visual grounding)에 대한 탐색이 제안되었다.