기술 요약: 노이즈 데이터에서의 순위 추정을 위한 확률적 순서 학습 (Stochastic Order Learning, SOL)

1. 문제 정의

순위 추정(Rank estimation)은 객체의 서수 클래스(ordinal class, 순위)를 예측하는 작업으로, 얼굴 연령 추정, 미적 점수 회귀, 의료 평가와 같은 응용 분야에서 매우 중요합니다. 이 영역의 주요 과제는 **레이블 노이즈(label noise)**입니다. 모든 오류를 동일하게 취급하는 일반적인 명목 분류(nominal classification)와 달리, 순위 추정은 **구조적 불확실성(structured uncertainty)**을 겪습니다. 예를 들어, 43세로 추정될 사람을 59세로 잘못 분류하는 것은 45세로 잘못 분류하는 것보다 훨씬 더 심각한 오류입니다.

분류나 세그멘테이션을 위한 기존의 노이즈 강건(noise-robust) 방법들은 모든 레이블 오류를 동일하게 취급하여 순서적 특성을 무시하기 때문에 순위 추정에서 실패하는 경우가 많습니다. 반대로, 표준 회귀 기반 접근 방식은 고엔트로피 특징 표현(high-entropy feature representation)을 학습하는 데 실패하여 순위 기반 방법론에 비해 성능이 떨어지는 경향이 있습니다. 또한, 기존의 순서 학습(order learning) 방법들은 깨끗하고 결정론적인 주석(deterministic annotations)을 가정하는데, 이는 레이블이 오염되었을 때 무너지는 가정입니다. 노이즈가 있는 환경에서 인스턴스는 단 하나의 고유한 순위에 대응하는 것이 아니라, 다양한 타당성을 가진 여러 인접 순위와 관계를 맺게 됩니다.

2. 방법론: 확률적 순서 학습 (SOL)

본 논문은 **확률적 순서 학습(SOL)**을 제안하며, 이는 레이블 노이즈 하에서의 순위 추정을 **확률적 순서 문제(stochastic ordering problem)**로 재정의하는 프레임워크입니다. 인스턴스와 단일 순위 사이의 결정론적 연결을 가정하는 대신, SOL은 그 관계를 본질적으로 확률적인 것으로 모델링합니다.

핵심 공식화

노이즈가 포함된 인스턴스 $x$의 순위 $r_x$가 주어졌을 때, 실제 순위 $\bar{r}_x$는 $r_x = \bar{r}_x + e_x$로 모델링되며, 여기서 오차 $e_x$는 이산 가우시안 분포(discrete Gaussian distribution)를 따릅니다. 결과적으로, 인스처 $x$는 노이즈 분포에 의해 결정된 확률을 가진 일련의 타당한 중심점(centroids) $\{\mu_r\}$ 집합과 연관됩니다.

목표는 인스턴스 임베딩 $h(x)$와 순위 중심점 사이의 확률적 비유사도(stochastic dissimilarity) $D_h(x, r)$—즉, 인스턴스 임베딩과 순위 중심점 간의 기대 제곱 유클리드 거리—를 최소화하고, 순위 거리가 증가함에 따라 이 값이 단조롭게 증가하는 임베딩 공간을 학습하는 것입니다.

학습 목적 함수

SOL은 두 가지 상보적인 목적 함수로 구성된 전체 손실 함수 $\ell_{total}$을 사용하여 인코더 $h$와 순위 중심점 $\{\mu_r\}$을 최적화합니다.

1. 판별 손실 ($\ell_{disc}$):
   이 손실은 인스턴스와 중심점 사이의 상호작용을 구조화합니다. 이는 인스턴스로부터 중심점까지의 거리가 노이즈가 있는 순위 쪽으로 가까워질수록 감소하도록 하는 단조성 제약을 강제합니다.

   • 메커니즘: 이는 제곱 거리의 가중 합으로 작용합니다. 가우시안 노이즈 분포의 2차 도함수에서 유도된 계수들은 노이즈가 있는 순위 및 그 주변의 인접 순위(임계값 $\delta$ 이내)를 향한 "끌림(attraction)" 힘과, 먼 순위에 대한 "밀어냄(repulsion)" 힘을 생성합니다. 이는 인스턴스가 여러 타당한 중심점에 가까워질 수 있도록 허용함으로써 레이블 불확실성을 설명합니다.

2. 확률적 순서 손실 ($\ell_{order}$):
   이 손실은 인스턴스 쌍 $(x, y)$ 사이의 확률적 순서 관계를 강제합니다. 실제 순위는 알 수 없으므로, 방법론은 노이즈가 있는 순위와 가정된 노이즈 분포를 기반으로 세 가지 순서 케이스($x \prec y$, $x \approx y$, $x \succ y$)의 확률을 계산합니다.

   • 메커니즘: 계산된 확률에 따라 가중치가 부여된 마진 기반 손실(margin-based losses)을 사용합니다. 만약 $x$가 $y$보다 낮은 순위를 가질 가능성이 높다면, 손실은 $h(x)$가 낮은 순위의 중심점에 더 가깝게, $h(y)$가 높은 순위의 중심점에 더 가깝게 유도합니다. 만약 두 인스턴스가 유사할 가능성이 있다면, 그들의 임베딩이 서로 가깝도록 유도합니다.

이상치 탐지 및 레이블 재설정 (Outlier Detection and Relabeling)

모델을 더욱 정교하게 만들기 위해 SOL은 선택적인 반복 단계를 포함합니다.

• 탐지: 추정된 순위가 노이즈가 있는 레이블과 크게 차이 나는 인스턴스를 이상치(outlier)로 식별합니다.
• 재설정: 이러한 이상치의 레이블은 데이터셋의 평균 절대 오차를 기반으로 조정되어, 극단적인 변화는 방지하면서도 극심한 오류를 수정합니다.
• 반복: 인코더는 이러한 정제된 레이블을 사용하여 미세 조정(fine-tuning)되며, 이 과정은 레이블 노이즈를 점진적으로 줄이기 위해 반복됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 재정의: 레이블 노이즈 하에서의 순위 추정을 결정론적인 인스턴스-순위 연관에서 확률적인 연관으로 전환하여, 확률적 순서 문제로 재구성했습니다.
2. 프레임워크 (SOL): 인스턴스-중심점 상호작용을 위한 판별 손실과 관계적 일관성을 위한 확률적 순서 손실이라는 두 가지 상보적인 목적 함수를 통해 서수적 레이블 불확실성을 포착하는 학습 프레임워크를 도입했습니다.
3. 실증적 검증: 광범적한 실험을 통해 SOL이 다양한 노이즈 유형(가우시안, 라플라스, 균등, 왜도 분포)과 수준 하에서도 다양한 도메인(비전, 의료 영상, 미학, NLP)에서 신뢰할 수 있는 순위 추정을 가능하게 함을 입증했습니다.

4. 실험 결과

저자들은 MORPH II 및 CLAP2015 (얼굴 연령), AADB (미적 점수), RSNA (골 연령), WMT2020 (텍스트 회귀)의 다섯 가지 벤치마크에서 SOL을 평가했습니다.

• 성능: SOL은 다양한 노이즈 유형에서 기존의 최첨단 노이즈 강건 분류 방법(예: SPR, ACL), 회귀 방법(예: ROR-CE, C-Mixup), 그리고 기존의 순서 학습 방법(예: GOL, MWR)을 일관되게 능가했습니다.
  • MORPH II에서 SOL은 모든 노이즈 유형에 대해 가장 낮은 평균 절대 오차(MAE)와 가장 높은 누적 점수(CS)를 달 기록했습니다. 예를 들어, 가우시안 노이즈($\kappa=0.4$) 조건에서 SOL은 MAE 2.826을 달성하여 그다음으로 우수한 방법인 GOL(2.861)보다 뛰어난 성능을 보였습니다.
  • AADB에서 SOL은 모든 설정에서 최고의 성능을 보였으며, 높은 노이즈 수준에서 두 번째로 우수한 방법보다 MAE 측면에서 2.5% 더 나은 성능을 보였습니다.
  • RSNA에서 SOL은 오류 없는 주석을 얻기 어려운 의료 평가 분야에서 큰 격차를 두고 가장 좋은 결과를 냈습니다.
  • WMT2020 (실제 노이즈 데이터)에서 SOL은 0.680의 피어슨 상관계수를 달성하여 이전의 최첨단 기술보다 2.0 포인트 앞섰습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 판별 손실과 확률적 순서 손실이 모두 필수적임을 확인했습니다. 하나만 사용할 경우 성능이 저하되었습니다.
• 효율성: SOL은 중심점 업데이트와 이상치 탐지를 위한 추가적인 계산 단계를 도입하지만, 여전히 실용적입니다. 또한 온더플라이(on-the-fly) 확률 계산 덕분에 GOL과 같은 방법들에 비해 GPU 메모리 소비량이 적음을 보여주었습니다.

5. 의의 및 주장

본 논문은 SOL의 의의가 표준 노이즈 강건 방법들이 해결하지 못하는 순서형 데이터 고유의 구조적 불확실성을 처리할 수 있는 능력에 있다고 주장합니다. 인스턴스-순위 관계를 고정된 것이 아닌 확률적인 것으로 취급함으로써, SOL은 노이즈가 있는 순위 추정에서 흔히 발생하는 큰 추정 오류의 함정을 피합니다.

저자들은 SOL이 단순히 강건성 메커니즘이 추가된 순서 학습의 확장이 아니라, 노이즈가 있는 서수 레이블을 모델링하는 방식의 근본적인 변화임을 강조합니다. 합성 노이즈와 실제 노이즈 주석(인간의 미적 점수 및 의료 평가 등) 모두에서 잘 작동하는 능력은 그 범용성을 시사합니다.

한계 및 겸손한 태도:
저자들은 다음과 같은 몇 가지 한계점을 겸허히 언급했습니다:

• 이 방법은 고정된 확률적 노이즈 분포에 의존하지만, 다양한 유형에 대한 강건성을 보여줍니다.
• 이상치 탐지 및 재설정 모듈은 이론적 필수 사항이라기보다는 실용적인 개선 사항이며, 그 효능은 학습된 임베딩의 품질에 달려 있습니다.
• 이 접근 방식은 여러 하이퍼파라미터($\sigma_{test}$, $T$, $\tau$, $\beta$)를 필요로 하며, 완전 자동 선택은 향후 과제로 남겨두었습니다.
• 얼굴 데이터셋과 관련하여, 저자들은 내재된 불균형이 성별 또는 인종적 편향을 초래할 수 있음을 인정하며, 이러한 편향이 해결될 때까지 연구 목적으로만 알고리즘을 사용할 것을 권고합니다.