Density-Ratio Losses for Post-Hoc Learning to Defer

문제 정의
학습을 통한 지연 (Learning to Defer, L2D) 은 신뢰성이 최우선인 고위험 분야 (예: 의료, 금융) 에 머신러닝 (ML) 모델을 배포할 때 발생하는 과제를 해결합니다. 목표는 모델의 출력이 신뢰할 수 없다고 판단될 때, 모델이 예측을 유보하고 대신 전문가 (잠재적으로 인간) 에게 판단을 위임하도록 하는 것입니다. 학습을 통한 거부 (Learning to Reject, L2R) 가 모델의 자체 신뢰도에 기반하여 유보를 허용하는 반면, L2D 는 훈련 과정에 전문가를 명시적으로 포함시켜 모델이 언제 전문가보다 더 나은 성능을 발휘할 가능성이 있는지 학습합니다.

현대 ML 의 중요한 제약 조건은 '사후 (post-hoc)' 설정으로, 여기서 사전 훈련된 기본 모델 $h$는 고정되고 지연 메커니즘 (거부기) $r$만 학습됩니다. 대규모 모델을 재훈련하는 것은 종종 과도하게 비용이 듭니다. 기존 사후 접근법들은 종종 단순한 휴리스틱 (예: 신뢰도 임계값) 에 의존하거나, 전문가가 맞고 모델이 틀리는 경우를 예측하는 점별 전문가 비교 목표를 추정하려 합니다. 그러나 이러한 방법들은 분포 변화 하에서 실패하거나 전문가가 특화되어 있을 때 실패할 수 있습니다. 또한, 많은 기존 방법들은 지연률을 조정하기 위해 재훈련을 요구하여 적응력을 제한합니다.

방법론
본 논문은 **이상 분포 (ideal distributions)**와 **밀도비 추정 (density-ratio estimation)**에 기반한 새로운 사후 L2D 프레임워크를 제안합니다.

1. 이상 분포: 저자들은 특정 분류기 - 손실 쌍이 낮은 손실을 달성하는 조건에서 실제 데이터 분포 $P$의 발산 정규화 재가중치를 '이상 분포'로 정의합니다. 두 가지 유형을 도입합니다:

   • 주변 이상 (Marginal Ideal, $Q_m$): 관측 공간 $X$에서 최적화됨.
   • 결합 이상 (Joint Ideal, $Q_j$): 결합 공간 $X \times Y$에서 최적화됨.
     켈러블 - 라이블러 (Kullback-Leibler, KL) 발산의 경우, 이러한 이상 분포는 베이즈 클래스 사후 확률 하에서 분류기 (또는 전문가) 의 기대 손실에 의존하는 가중치를 가진 데이터 분포의 승법적 재가중치임이 입증됩니다.

2. 밀도비 지연 규칙: 이진 거부기를 직접 학습하는 대신, 저자들은 모델 $h$와 전문가 $h^{(e)}$의 이상 분포를 비교하여 지연을 정의합니다. 지연 결정은 밀도비 $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$를 임계값으로 설정하여 이루어집니다.

   • 관측치 $x$가 전문가의 이상 분포로 더 잘 설명되는 경우 (즉, 비율이 낮음), 모델은 지연합니다.
   • 이 접근법은 **스코어 (밀도비 추정기)**와 지연 임계값을 자연스럽게 분리하여, 스코어를 재훈련하지 않고도 훈련 후 지연률을 조정할 수 있게 합니다.

3. 이론적 연결:

   • Chow 의 규칙: 주변 KL-이상 분포의 경우, 유도된 규칙은 원래 데이터 분포 하에서 고전적인 Chow 의 규칙을 회복합니다.
   • 전문가-기울어진 사후 확률: 결합 KL-이상 분포의 경우, 규칙은 '전문가-기울어진 (expert-tilted)' 분포 하에서의 Chow 스타일 결정에 해당합니다. 이 분포는 전문가의 손실에 기반하여 레이블을 재가중치하여, 지연 결정에 전문가의 비교 우위를 효과적으로 통합합니다.
   • 가설 검정: 지연 규칙은 모델의 이상 분포와 전문가의 이상 분포를 구별하는 Neyman-Pearson 가설 검정으로 프레임됩니다.

4. DR CPE 손실: 이상 분포는 알려지지 않은 베이즈 사후 확률에 의존하며 테스트 시점에 사용 불가능한 점별 전문가 접근이 필요하므로, 저자들은 폐쇄형 해를 사용할 수 없습니다. 대신 **밀도비 추정 (DRE)**을 **클래스 확률 추정 (CPE)**으로 환원합니다.

   • 저자들은 이진 분류 작업을 통해 모델과 전문가의 이상 분포 간의 밀도비를 학습할 수 있게 하는 DR CPE 손실 ($L_m$ 및 $L_j$) 계열을 유도합니다.
   • **결합 DR CPE 손실 ($L_j$)**은 실제로 추정 가능함이 입증되었으며, 주변 손실 ($L_m$) 의 상한선 역할을 합니다.
   • 본 논문은 이 접근법과 기존 전문가 비교 추정 방법 (예: 0-1 정확도 차이에 대한 회귀) 및 이상 탐지 간의 연결을 확립합니다.

주요 기여

• 분포적 공식화: 본 논문은 직접적인 점별 성능 추정이 아닌 모델과 전문가의 이상 분포 비교에 기반한 사후 L2D 프레임워크를 도입합니다.
• 주변 대 결합 이상: 주변 및 결합 이상 분포 간의 차이를 분석하여, 결합 규칙이 전문가의 특정 강점을 고려하는 전문가-기울어진 분포 하에서의 지연에 해당함을 보여줍니다. 이는 실용적으로 의미가 있습니다.
• DR CPE 손실: 저자들은 표준 클래스 확률 추정을 통해 지연 규칙을 학습할 수 있게 하는 새로운 손실 함수 계열 (DR CPE) 을 유도하여, 이론적 이상 분포와 실용적 학습 간의 간극을 메웁니다.
• 적응성: 이 방법은 스코어를 임계값에서 분리하여 재훈련 없이 지연률을 조정할 수 있게 합니다.

실험 결과
저자들은 CIFAR-100 및 MedMNIST 데이터셋에서 다양한 손상 설정 (레이블 노이즈, 긴 꼬리 분포, 전문가 하위 집합) 하에서 DR CPE 접근법을 평가했습니다.

• 경쟁력: DR CPE 접근법은 신뢰도 기반 휴리스틱, 2 단계 대리 손실 방법, 전문가 비교 추정기를 포함한 일반적인 베이스라인과 경쟁력 있는 성능을 발휘합니다.
• 견고성: 이 방법은 다양한 데이터셋 손상 조합에서 베이스라인보다 우수한 견고성을 보여줍니다. 예를 들어, 다른 방법들이 전문가 하위 집합 (예: DermaMNIST 전문가) 에서 크게 어려움을 겪는 반면, DR CPE 는 안정적인 성능을 유지합니다.
• 절대 분석: 실험은 손실 함수의 선택 (예: 일반화된 교차 엔트로피 대 확률적 0-1) 과 온도 매개변수 $\gamma$가 성능에 영향을 미치지만, 결합 DR CPE 접근법은 견고하게 유지됨을 보여줍니다.

의의 및 주장
본 논문은 사후 L2D 를 이상 분포 간의 밀도비 학습 문제로 제시한다고 주장합니다. 이러한 관점은:

• 고전적인 Chow 스타일 규칙과 현대적 전문가 비교 방법 간의 간극을 메웁니다.
• 이상 탐지와 같은 관련 학습 설정과의 연결을 명확히 합니다.
• 대규모 모델의 재훈련 제한과 고위험 및 변화된 환경에서의 단순 휴리스틱의 불안정성을 해결하는 이론적으로 근거가 있으며 실용적으로 견고하고 적응 가능한 방법을 제공합니다.

저자들은 그들의 접근법이 현재 대리 손실에 대한 일관성 보장을 제공하지는 않는다는 점 (일단 종단간 방법에 비해 이론적 한계) 을 지적하지만, 전체 모델 재훈련 없이 전문가 정보를 효과적으로 활용하는 사후 지연을 위한 실용적이고 견고한 해결책을 제공한다고 강조합니다.