기술 요약: 대비적 순서 학습 (Contrastive Order Learning, ConOrd)

문제 정의

서수 회귀(Ordinal regression)는 객체 인스턴스의 이산적 또는 연속적 순위를 추정하는 것을 목표로 하며, 이는 얼굴 연령 추정, 블라인드 이미지/비디오 품질 평가, 건강 상태 점수 산출과 같은 응용 분야에서 핵심적인 과제입니다. 표준 분류와 달리, 서수 회귀는 레이블의 내재된 순서와 상대적 거리를 모델링해야 합니다. 그러나 기존 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 순서 학습 (Order Learning): 기하학적 순서 학습(Geometric Order Learning, GOL)과 같은 기술은 레이블의 서수성을 명시적으로 모델링하지만, 종종 국소적인 마진 기반의 쌍별 비교(pairwise comparison)에 의존합니다. 이러한 접근 방식은 마진이 충족되면 더 이상의 그래디언트를 생성하지 못하여, 배치 수준에서 활용 가능한 더 풍부한 전역적 순서 맥락을 활용하지 못하는 문제가 있습니다.
• 대비 학습 (Contrastive Learning): 지도형 대비 학습(Supervised contrastive learning)은 배치 내의 모든 샘플을 효과적으로 활용하지만, 일반적으로 레이블을 범주형으로 취급하여 내재된 순서를 무시합니다. Rank-N-Contrast (RnC)와 같은 확장 모델은 순위 인지 쌍(rank-aware pairs)을 도입하지만, 하드 임계값(hard thresholds)에 의존하여 순서 거리를 이진 결정(양성/음성)으로 붕괴시키며, 중간 정도의 순위 차이와 상당한 순위 차이를 가진 샘플을 모두 동일하게 음성(negative)으로 취급합니다.

결과적으로, 임베딩 공간 내에서 전역적 일관성을 유지하면서도 모든 샘플 쌍 간의 미세한 순서 관계를 포착할 수 있는 프레임워크가 필요합니다.

방법론: 대비적 순서 학습 (ConOrd)

저자들은 순서 학습과 대비 학습의 강점을 통합한 프레임워크인 ConOrd를 제안합니다. 핵심 혁신은 모든 샘플 쌍에 대해 하드한 양성/음성 할당에 의존하는 대신, 소프트한 순위 인지 가중치를 할당하는 **대비적 순서 손실(contrastive order loss, $L_{ConOrd}$)**입니다.

주요 구성 요소:

1. 참조점을 포함한 임베딩 공간: 이 프레임워크는 인스턴스를 단위 구(unit sphere) 상의 특징 벡터로 매핑하는 인코더 $h$를 사용합니다. 또한 각 순위 $m$에 대한 프로토타입을 나타내는 $M$개의 학습 가능한 참조점 $\{\mu_m\}$을 도입합니다.
2. 소프트 친화도 및 격차 가중치 (Soft Affinity and Disparity Weights): 하드 임계값을 사용하는 RnC와 달리, ConOrd는 순위 차이 $|r_i - r_j|$에 기반하여 연속적인 가중치를 정의합니다:
   • 친화도 가중치 ($a_{ij}$): 순위 차이가 커질수록 감소하며, 유사한 순위를 가진 샘플 간의 인력을 촉진합니다. 이는 $a_{ij} = \frac{1}{(r_i - r_j)^2 + \epsilon}$로 구현됩니다.
   • 격차 가중치 ($b_{ij}$): 순위 차이가 커질수록 증가하며, 서로 먼 순위를 가진 샘플 간의 척력을 촉진합니다. 이는 $b_{ij} = (r_i - r_j)^2$로 구현됩니다.
3. 손실 함수: 손실은 다음과 같이 공식화됩니다:
   $$L_{ConOrd} = -\frac{1}{2N} \sum_{i=1}^{2N} \frac{1}{|A(i)|} \log \frac{\sum_{j \in A(i)} a_{ij} e^{\kappa_{ij}/\tau}}{\sum_{j \in A(i)} b_{ij} e^{\kappa_{ij}/\tau}}$$
   여기서 $\kappa_{ij}$는 유사도(음의 제곱 유클리드 거리)이며 $\tau$는 온도 파라미터입니다. 이 공식은 다음을 보장합니다:
   • 순위 차이가 작은 샘플은 서로 끌어당깁니다.
   • 순위 차이가 큰 샘플은 서로 밀어냅니다.
   • 순위 차이의 크기가 인력 또는 척력의 강도를 조절하여 미세한 순서 감독(ordinal supervision)을 가능하게 합니다.
4. 정규화: 각 순위에 대한 참조점 $\mu_m$ 주변에 조밀한 클러스터를 형성하도록 장려하기 위해 센터 손실($L_{center}$)이 추가됩니다.
5. 추론: 순위 추정은 임베딩 공간에서의 $k$-최근접 이웃($k$-NN) 규칙을 사용하여 수행되며, 이는 $k$개의 가장 가까운 훈련 이웃의 순위를 평균하는 방식입니다.

주요 기여

1. 프레임워크 통합: 순서 학습과 대비 학습을 단일 배치 기반 공식 내에서 통합하는 일반적인 프레임워크인 ConOrd를 도입했습니다.
2. 새로운 손실 설계: 순위 차이에 기반한 소프트 친화도 및 격차 가중치를 사용하는 대비적 순서 손실을 제안했습니다. 이를 통해 하드 임계값 처리에 따른 정보 손실을 피하면서, 모든 샘와 쌍이 순서 관계에 따라 학습에 기여할 수 있도록 합니다.
3. 최첨단 성능 (SOTA): 얼굴 연령 추정, 블라인드 이미지 품질 평가(BIQA), 블라인드 비디오 품질 평가(BVQA)를 포함한 다양한 서수 회귀 벤치마크에서 ConOrd가 최첨단 성능을 달encing함을 입증했습니다.

실험 결과

저자들은 다양한 데이터셋과 작업에 대해 ConOrd를 평가했습니다:

• 얼굴 연령 추정: 6개의 데이터셋(MORPH II, CLAP2015, AgeDB-DIR, UTK, CACD, Adience)에서 테스트되었습니다. ConOrd는 CACD를 제외한 모든 데이터셋에서 최고의 평균 절대 오차(MAE)를 달성하였으며, 텍스트 가이드를 사용하는 OrdinalCLIP 및 NumCLIP이나 클래스 분포 정보를 사용하는 SLACE와 같은 강력한 베이스라인들을 능가했습니다.
• 블라인드 이미지 품질 평가 (BIQA): 5개의 데이터셋(BID, CLIVE, KonIQ10k, SPAQ, FLIVE)에서 평가되었습니다. ConORD는 모든 데이터셋에서 기존 방법들보다 스피어만 순위 상관 계수(SRCC)와 피어슨 선형 상관 계수(PCC) 모두에서 더 높은 성능을 보였으며, 복잡한 트랜스포머 기반 및 Mamba 기반 아키텍처를 넘어섰습니다.
• 블라인드 비디오 품질 평가 (BVQA): 5개의 벤치마크(LSVQ, KoNViD-1k, LIVE-VQC, CVD2014, YouTube-UGC)에서 평가되었습니다. ConOrd는 여러 백본 네트워크를 사용하는 방법(예: ModularBVQA)보다 적은 수의 백본을 사용하면서도 일관되게 최고의 SRCC 및 PCC 점수를 달성했습니다.
• 절제 연구 (Ablation Studies):
  • $L_{SupCon}$, $L_{RnC}$ 및 기타 대비 손실과의 비교를 통해 소프트 가중치가 적용된 모든 쌍 비교 방식이 우수함을 확인했습니다.
  • $L_{ConOrd}$와 $L_{center}$의 결 조합이 최상의 결과를 냈으며, $L_{center}$는 클래스 내 응집력을 제공했습니다.
  • 제안된 이차 함수 가중치(quadratic weighting functions)가 다른 기능적 형태보다 견고하고 효과적임을 발견했습니다.
  • 이 방법은 학습 데이터 감소 및 데이터 오염 상황에서도 탄력성을 보여주었습니다.

의의 및 주장

본 논문은 ConOrd가 대비 학습의 전역적 일관성과 순서 학습의 명시적 순서 모델링 사이의 간극을 메움으로써, 유연한 기초를 제공한다고 주장합니다.

• 일반화: 이 프레임워크는 특정 도메인에 국한되지 않고 다양한 서수 회귀 시나리오에 적용 가능한 일반적인 솔루션으로 제시됩니다.
• 효율성: 이 방법은 일부 베이스라인에서 요구되는 데이터 증강이나 동적 네거티브 샘플링이 필요하지 않아 계산 효율적이며, 더 빠른 훈련 시간을 이끌어냅니다.
• 안정성: 소프트 가중치 메커니즘은 나이브한 로그 손실의 그래디언트 불안정성이나 하드 임계값의 정보 손실을 피하며 안정적인 최적화를 제공한다고 주장됩니다.

저자들은 순위 인지적 인력과 척력을 소프트 가중치를 통해 통합함으로써, ConOrd가 모든 샘플 쌍이 원칙에 입각한 방식으로 학습에 기여할 수 있게 하여 견고하고 고성능인 서수 회귀 모델을 가능하게 한다고 결론짓습니다.