기술 요약: 강건한 지도 학습의 통합 및 최적화

문제 제기

지도 학습에서 실무자는 데이터 수집 및 라벨링부터 모델 배포에 이르기까지 불확실성 하에서 일련의 결정을 내려야 합니다. 각 단계에서 유한 표본의 퇴화 (비대표성 데이터), 라벨 노이즈 (주관적 또는 일관성 없는 주석), 분포 변화 (학습 환경과 배포 환경 간의 차이) 와 같은 실패 모드가 발생할 수 있습니다. 경험적 위험 최소화 (ERM) 에 대한 강건한 대안을 제안하는 방대한 문헌이 존재하지만 (예: 분포 강건 최적화 (DRO), 라벨 스무딩, 인접 위험 최소화 (VRM), 믹스업 등), 이러한 방법들은 일반적으로 고립적으로 개발됩니다.

이러한 단편화는 실무자로 하여금 특정 작업의 지배적인 불확실성 원인이 명확하지 않더라도 사후적으로 단일 실패 모드와 이에 상응하는 강건성 메커니즘에 선행적으로 (a priori) 종속되게 만듭니다. 또한, 이러한 방법들의 내재적 모델링 선택 (데이터 분포가 어떻게 표현되는지, 어떤 편차가 타당한 것으로 간주되는지, 그리고 불확실성이 어떻게 해결되는지) 은 특정 목적 함수 내에 얽혀 있어 체계적인 비교와 결합을 어렵게 만듭니다. 이 논문은 서로 다른 실패 모드를 대상으로 하는 메커니즘들이 여러 모드가 공존할 때 단일 방법보다 우수한 성능을 발휘할 수 있도록 결합될 수 있다고 주장하지만, 현재 프레임워크는 이러한 최적의 조합을 발견할 수 있는 통합된 방식을 제공하지 못합니다.

방법론: 통합 프레임워크

저자들은 강건한 지도 학습을 세 가지 직교하는 설계 축으로 분해하여, 이를 특정 알고리즘의 고정된 구성 요소가 아닌 독립적인 차원으로 취급하는 통합 프레임워크를 제안합니다.

1. 세 가지 설계 축

이 프레임워크는 다음에 기반한 일반적인 강건 학습 문제를 정의합니다:

• 참조 분포 ($P_{ref}$): 섭동이 정의되는 분포입니다. 이는 경험적 분포 ($P_n$) 나 VRM 또는 믹스업을 통해 스무딩/증강된 변형일 수 있습니다.
• 모호성 집합 ($U(P_{ref})$): 입력, 라벨, 또는 둘 모두의 불확실성을 포착하는 타당한 분포들의 집합입니다. 이는 분포 거리 $\Delta$ (예: 워asserstein 거리 또는 KL 발산) 와 섭동 반경 $\varrho$를 통해 정의됩니다. 집합은 공식적으로 $U(P_{ref}) = \{Q \in \mathcal{P}(\mathcal{X} \times \mathcal{Y}) : \Delta(Q, P_{ref}) \leq \varrho\}$로 정의됩니다.
• 모호성 해소 원칙 ($\Phi$): 모호성 집합 내의 불확실성에 대한 실무자의 입장을 인코딩하는 규칙입니다.
  • 비관적: 편향이 배포 후 위협 (예: 적대적 공격, 공변량 변화) 을 나타낸다고 가정하고 최악의 경우 위험 ($\sup$) 을 추구합니다.
  • 낙관적: 편향이 배포 전 오염 (예: 라벨 노이즈) 을 나타내며 부분적으로 수정 가능하다고 가정하고 최선의 경우 위험 ($\inf$) 을 추구합니다.
  • 중립적: 표준 집계 (예: 기대값) 에 해당합니다.

일반적인 목적 함수는 다음과 같이 공식화됩니다:
$$\hat{h}_{robust} = \arg \min_{h \in \mathcal{H}} \Phi_{Q \in U(P_{ref})} \mathbb{E}_{(x,y) \sim Q} [\ell(h(x), y)]$$

2. 이론적 연결

이 논문은 많은 기존 방법들이 세 축을 따라 특정 선택을 고정함으로써 이 프레임워크의 특수한 경우임을 보여줍니다. 제곱 손실을 갖는 선형 모델의 경우, 저자들은 이러한 방법들이 정규화제로서 어떻게 작용하는지 보여주는 폐쇄형 축소식을 유도했습니다:

• VRM (가우시안 노이즈): $\ell_2$ 정규화 항 ($\sigma^2 \|w\|^2$) 을 갖는 ERM 으로 축소됩니다.
• 믹스업: 선형 최소 제곱의 경우, 믹스업은 ERM 최적점에서 이미 0 인 잔차 분산을 패널티하므로 ERM 에 비해 최소점을 변경하지 않습니다.
• W-DRO: 경험적 평균 절대 잔차에 의해 스케일링된 $\|w\|$에 선형인 정규화제를 갖는 ERM 으로 축소됩니다.
• 라벨 스무딩: 방향은 변경하지 않고 ERM 해의 크기를 재조정합니다.

3. 실용적인 학습 절차

이 프레임워크를 실용적으로 만들기 위해 저자들은 모든 설계 선택을 연속적인 하이퍼파라미터로 노출하는 단일 학습 파이프라인을 유도했습니다. 이 절차는 그래디언트 업데이트 전에 미니배치를 네 가지 연속적인 단계를 거쳐 처리합니다:

1. 참조 분포 풍부화: 입력 공간 섭동 (예: VRM 을 위한 가우시안 노이즈 또는 믹스업을 위한 보간) 을 적용하거나 데이터를 변경하지 않습니다.
2. 입력 공간 섭동 ($\Phi_X$): 비관적, 중립적, 또는 낙관적 입장의 선택을 통해 워asserstein 볼 내에서 인스턴스별 섭동을 적용합니다 (투사된 그래디언트 하강을 통해).
3. 라벨 공간 섭동 ($\Phi_Y$): 입장의 선택을 통해 크레달 집합 (예: 라벨 스무딩, 완화, 또는 적대적 이동) 내에서 라벨 섭동을 적용합니다.
4. 샘플 수준 집계 ($\Phi_S$): KL 제약 이중 형식 (예: 비관적/낙관적 집계를 위한 틸티드 ERM) 을 사용하여 배치 전체의 손실을 집계합니다.

이 통합된 손실 함수는 **연결 하이퍼파라미터 최적화 (HPO)**를 가능하게 합니다. 방법을 수동으로 선택하는 대신, 실무자는 표준 블랙박스 옵티마이저 (예: 베이지안 최적화) 를 사용하여 전체 탐색 공간 $(\sigma, \varrho, \alpha, \tau)$을 연결적으로 조정할 수 있습니다. 이는 실무자의 역할을 강건성 메커니즘 선택에서 탐색 예산 지정으로 재정의합니다.

주요 기여

1. 통합 프레임워크: 기존 방법들의 광범위한 클래스를 특수한 경우로 복원하는 세 가지 명시적 모델링 축 (참조 분포, 모호성 집합, 모호성 해소 원칙) 을 포괄하는 일반적 공식화.
2. 이론적 명확화: 선형 모델에 대한 VRM, 믹스업, W-DRO 의 폐쇄형 축소식을 통해 그들의 질적 관계와 고유한 정규화 효과를 명확히 함.
3. 실용적 절차: 모든 설계 선택이 연속적인 하이퍼파라미터인 단일 학습 파이프라인으로, 역전파를 통한 엔드투엔드 학습과 연결 HPO 를 가능하게 함.
4. 실용적 적용성: 지배적인 실패 모드가 알려지지 않았을 때 신뢰할 수 있는 기본값을 제공하며, 다양한 작업에서 최고의 단일 방법 베이스라인과 경쟁력 있는 성능을 보이는 연결 최적화에 대한 실증적 증거.

실험 결과

저자들은 세 가지 모달리티 (표 형식 데이터 (TableShift 벤치마크), 이미지 데이터 (Waterbirds, CelebA), 보상 모델링 (HH-RLHF)) 에서 프레임워크를 평가했습니다. 50 회 시도의 일치된 HPO 예산을 사용하여 "연결 (Joint)" 구성을 W-DRO, KL-DRO, W-DFO, KL-DFO, 라벨 스무딩, 라벨 완화, VRM, ERM 등 다양한 실패 모드를 나타내는 여덟 가지 베이스라인과 비교했습니다.

• 표 형식 데이터: 연결 구성은 정확도 측면에서 최고의 베이스라인과 경쟁력이 있었습니다. 특히, 꼬리 위험 (CVaR 로 측정) 을 크게 개선하여 여러 데이터셋에서 ERM 의 약 절반 수준으로 줄였습니다.
• 이미지 데이터: 그룹 불균형으로 인해 상당한 분포 변화가 발생하는 Waterbirds 에서 연결 구성은 측정 가능한 정확도 비용 없이 ERM 보다 한 자릿수 낮은 CVaR 값을 달성했습니다. 라벨 측 개입 (LS, LR) 과 모호성 집합 방법 (KL-DRO, 연결) 이 특히 효과적이었습니다.
• 보상 모델링: 연결 구성은 가장 강력한 베이스라인인 W-DFO (0.687) 대비 0.713 의 최고 OOD 정확도를 달성하고 OOD CVaR 을 감소시켰습니다.
• Shapley 분석: 보상 모델링 작업에 대한 분석은 단일 구성 요소의 기여도가 결합 시 행동을 예측하지 못함을 드러냈습니다. 예를 들어, 라벨 스무딩 (LS) 은 고립 상태에서는 약했으나 DRO 와 상호작용할 때 정확도 측면에서 지배적이었으며, DRO 단독은 꼬리 위험 측면에서 가장 강력했습니다. 이는 올바른 구성을 발견하기 위한 연결 최적화의 필요성을 확인시켜 줍니다.
• HPO 예산: 최상위 성능 곡선은 연결 구성이 더 단순한 베이스라인과 동일한 시간 척도에서 포화됨을 보여주어, 그 우수한 성능이 더 큰 탐색 공간이나 더 많은 시도의 인공물이 아님을 나타냈습니다.

중요성과 주장

이 논문은 이 연구의 주요 중요성이 실무자로 하여금 사후적으로 단일 강건성 메커니즘에 종속되게 하는 부담을 덜어주는 데 있다고 주장합니다. 강건 학습을 단일 탐색 공간으로 통합함으로써, 이 프레임워크는 주어진 작업에 대한 메커니즘의 최적 조합을 데이터 기반으로 발견할 수 있게 합니다.

저자들은 잘 조정된 단일 축 베이스라인이 특정 모달리티에서 연결 구성과 일치할 수 있지만, 올바른 방법을 선택하려면 지배적인 실패 모드를 사전에 알아야 한다고 주장합니다. 연결 구성은 이러한 선택 문제를 피하여 모달리티 전반에 걸쳐 일관되게 경쟁력을 유지하며, 실패 모드가 알려지지 않았거나 상호작용할 때 강건한 기본값을 제공합니다. 이 연구는 경쟁적이고 고립된 방법들의 패러다임에서 구성 가능하고 결합 가능한 설계 선택의 패러다임으로의 이동을 통해 해당 분야를 발전시킵니다.