기술 요약: 계층적 미세 분류를 위한 레벨 제한 대조 학습 (Level-Restricted Contrastive Learning)

1. 문제 정의

CLIP과 같은 멀티모달 대조 학습 모델은 이미지와 텍스트 임베딩을 정렬함으로써 제로샷 시각 분류에서 강력한 능력을 입증했습니다. 그러나 이러한 모델은 일반적으로 모든 비매칭 텍스트 라벨을 동일한 부정적 예시(negative examples)로 취급하는 플랫 라벨 가정(flat-label assumption) 하에 작동합니다. 이러한 가정은 계층적 구조를 가진 라벨 공간(예: 생물학적 분류 체계)에 적용될 때 한계가 있습니다.

계층적 환경에서 표준 대조 학습은 **상충하는 지도 신호(conflicting supervision signals)**를 생성합니다. 예를 들어, 사자(Panthera leo)와 늑대(Canis lupus)는 종(species) 및 속(genus) 수준에서는 구별되지만, 상위 수준의 조상(예: 목(order) 단계인 Carnivora)은 공유합니다. 표준 플랫 라벨 대조 설정에서는 "사자"의 이미지에 대해 "늑대"라는 텍스트 라벨이 부정적 타겟으로 처리될 수 있는데, 이는 두 대상이 '목' 수준에서는 의미론적으로 호환됨에도 불구하고 발생하는 문제입니다. 이는 **거짓 부정(false negatives)**을 생성하여, 모델이 예측한 미세한 라벨이 예측한 상위 수준의 범주에 속하지 않게 되는 **계층적 불일치(hierarchical inconsistency)**를 초래합니다.

2. 방법론

저자들은 계층 구조 전반에 걸쳐 균형 잡힌 최적화를 보장하고 교차 레벨의 거짓 부정 문제를 제거하기 위해 설계된 레벨 제한 대조 학습(Level-Restricted Contrastive Learning) 프레임워크를 제안합니다.

2.1. 문제 정식화

분류 체계는 $L$개의 계층적 레벨(조상에서 미세 단계까지)을 가진 집합 $\mathcal{T} = (C_1, \dots, C_L)$로 정의됩니다. 각 이미지 $x_i$는 분류학적 라벨 벡터 $t_i = (t_i^1, \dots, t_i^L)$와 연관됩니다.

• 텍스트 구성: 각 레벨 $\ell$에 대해, 텍스트 라벨 $y_i^\ell$은 해당 레벨까지의 분류 체계 접두사를 포함하도록 구성됩니다: $y_i^\ell = (t_i^1, \dots, t_i^\ell)$.
• 인코딩: 이미지와 텍스트 라벨은 CLIP 기반의 이미지($f$) 및 텍스트($g$) 인코더를 사용하여 임베딩 $v_i$와 $z_i^\ell$을 생성합니다.

2.2. 레벨 제한 대조 손실 (Level-Restricted Contrastive Loss)

모든 레벨에 대해 공동 대조 손실을 수행하는 대신, 목적 함수를 각 분류학적 레벨 내에서의 독립적인 비교로 분해합니다.

• 레벨 내 비교 (Intra-Level Comparison): 대조 손실은 각 레벨 $\ell$에 대해 별도로 계산됩니다. 종 수준의 라벨은 다른 종 수준의 라벨하고만 비교되며, 이를 통해 종을 '목'이나 '계'와 비교할 때 발생하는 모호성을 피합니다.
• 그룹 균형 지도 (Group-Balanced Supervision): 여러 이미지가 동일한 상위 수준 라벨을 공유하는 미니 배치(예: 동일한 '강(Kingdom)'에 속하는 서로 다른 두 종)를 처리하기 위해, 이 방법은 라벨을 집계합니다. 특정 레벨에서 동일한 라벨을 공유하는 모든 이미지-텍스트 쌍은 **양성 쌍(positive pairs)**으로 취급됩니다.
  • 이미지-텍스트 손실 ($L_{I \to T}$): 이미지 임베딩과 해당 레벨의 고유한 텍스트 임베딩 집합 사이의 유사도를 계산합니다.
  • 텍스트-이미지 손실 ($L_{T \to I}$): 텍스트 앵커와 해당 라벨을 공유하는 이미지 임베딩 집합 사이의 유사도를 계산합니다.
• 최종 목적 함수: 전체 손실은 모든 $L$개 레벨에 대한 손실의 평균입니다:
  $$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$$
  이러한 균등 가중치는 미세한 레벨이 충분한 지도를 받을 수 있도록 하며, 확신도가 높은 조한(coarse) 수준의 신호에 의해 압도되지 않도록 보장합니다.

2.3. 구현 세부 사항

• 기본 모델: 본 프레임워크는 BioCLIP(Tree of Life를 기반으로 사전 학습된 파운데이션 모델)을 미세 조정합니다.
• 훈련 데이터: 모델은 TreeOfLife-10M 데이터셋으로 훈련됩니다.
• 임베딩 공간: 이 방법은 유클리드(Euclidean) 및 쌍곡(Hyperbolic) 공간 모두에서 구현되며, 후자는 계층적 구조를 표현하는 데 있어 잠재적인 이점을 제공합니다.

3. 주요 기여

1. 거짓 부정의 식별: 본 논문은 표준 대조 학습에서 조상-후손 라벨을 부정적 사례로 취급하는 것이 플랫 라벨 가정을 위반하는 상충하는 신호를 생성함을 밝혀냈습니다.
2. 레벨 제한 프레임워크: 동일한 분류학적 레벨 내의 라벨들로 비교를 제한하여, 명확하게 정의된 양성 및 부정 쌍을 보장하는 새로운 훈련 레시피를 제 제안합니다.
3. 그룹 균형 설계: 미니 배치 내의 라벨 충돌을 처리하기 위해 특정 레벨에서 동일한 라벨을 가진 모든 샘플을 양성으로 취급함으로써, 빈번한 상위 범주로의 편향을 방지하는 메커니즘을 제공합니다.
4. 실증적 검증: 다양한 계층적 벤치마크를 통한 광범적인 평가를 통해 개선된 일관성과 정확도를 입증했습니다.

4. 실험 결과

모델은 iNaturalist 2021 (iNat21), Rare Species, CrypticBio의 세 가지 벤치마크에서 평가되었습니다.

4.1. 정확도 향상

• iNat21: 제안된 방법은 BioCLIP 베이스라인 대비 모든 분류학적 레벨에서의 평균 정확도를 30.47% 향상시켰습니다.
• 비교: 이 방법은 모든 데이터셋에서 OpenCLIP, BioCLIP, 그리고 RCME(기존의 계층 지향적 방법)보다 우수한 성능을 보였습니다.
• 그래뉼러티(Granularity): 표준 대조 손실이 교차 레벨 모호성으로 인해 가장 큰 피해를 입는 중간 레벨(목에서 속 사이)에서 유의미한 이득이 관찰되었습니다. 또한, 최적화가 해당 레벨에만 집중되지 않았음에도 불구하고 종 수준의 성능도 향м상되었습니다.

4.2. 계층적 일관성

• 하향식 제약 추론 (Top-Down Constrained Inference): 예측이 조한에서 미세 단계로 진행되는 엄격한 프로토콜(유효한 후손으로 후보를 제한) 하에서도, 본 방법은 우수한 성능을 유지했습니다.
• nLCA (Normalized LCA): 쌍곡 변형 모델은 RCME의 0.43에 비해 0.71의 nLCA 점수를 달성하였으며, 이는 정확한 종 라벨이 틀리더라도 예측이 올바른 분류학적 가지(branch)에 더 가깝게 머물러 있음을 나타냅전다.
• 공간 비교: 유클리드 변형은 iNat21에서 가장 좋은 성능을 보였고, 쌍곡 변형은 특히 깊은 분류학적 레벨에서 Rare Species 및 CrypticBio에 대해 더 강한 성능을 보였습니다.

4.3. 시각화

텍스트 임베딩의 t-SNE 시각화 결과, 제안된 방법은 BioCLIP에 비해 교차 레벨 혼합이 적고 더 명확한 계층 구조를 생성함을 보여주었습니다. 형제 범주(sibling categories)는 더 뚜렷하게 구분되며, 인접한 분류학적 레벨의 임베딩은 일관된 그룹을 형성합니다.

5. 의의 및 주장

본 논문은 제안된 레벨 제한 대조 학습 프레임워크가 멀티모달 모델의 계층적 불일치 문제를 효과적으로 해결한다고 주장합니다. 동일한 분류학적 레벨 내의 상호 배타적인 라벨 집합으로 비교를 제한하고 레벨 간 지도를 균형 있게 조절함으로써, 이 방법은 다음과 같은 효과를 거둡니다:

• 계층 공간에서 거짓 부정으로 인해 발생하는 상충하는 지도 신호를 제거합니다.
• 플랫 분류 정확도와 계층적 일관성을 동시에 개선합니다.
• 복잡한 기하학적 목적 함수나 특수한 아키텍처 없이도, 대조적 재구성을 통해 임베딩 공간 내에 구조화된 계층적 관계의 출현을 촉진합니다.

저자들은 이 접근 방식이 생물 다양성과 같이 복잡한 분류 체계를 가진 도메인에서 제로샷 분류에 특히 효과적이며, 실세계 적용에 있어 필수적인 논리적 일관성을 유지하는 데 중요하다고 강조합니다.