기술 요약: DAMEL – 클래스 불균형 학습을 위한 듀얼-축 다중 전문가 학습

1. 문제 제기

심층 신경망 (DNN) 은 종종 실제 세계의 장꼬리 분포에서 발견되는 **클래스 불균형 학습 (CIL)**에 어려움을 겪습니다. 기존 CIL 기법들 (예: 리샘플링, 재가중치, 디커플링 학습) 은 다수 클래스에 대한 예측 편향을 성공적으로 줄이지만, 자주 예측 분산의 증가라는 트레이드오프를 초래합니다.

최근 다중 전문가 학습 알고리즘은 여러 전문가를 학습시켜 이러한 분산을 완화하려 시도합니다. 그러나 이러한 방법들은 일반적으로 지식 증류나 특정 데이터 분할 전략을 포함하는 복잡하고 다단계적인 절차에 의존합니다. furthermore, 기존 다중 전문가 접근법들은 일반적으로 여러 전문가의 예측을 집계하는데, 이는 각 전문가가 학습한 다양한 특징 표현을 완전히 활용하지 못할 수 있습니다.

2. 방법론: DAMEL

저자들은 **DAMEL(듀얼-축 다중 전문가 학습)**을 제안합니다. 이는 표현 축과 시간 축이라는 두 가지 서로 다른 축을 따라 여러 전문가를 활용함으로써 제곱 편향과 예측 분산을 모두 줄이는 개념적으로 단순한 1 단계 알고리즘입니다.

아키텍처 및 학습

• 공유 백본: DAMEL 은 계산 비용을 최소화하기 위해 마지막 잔차 블록까지 공유하는 심층 CNN 백본을 사용하는 $K$개의 전문가를 활용합니다. 각 전문가는 개별적인 마지막 잔차 블록과 분류 레이어를 갖습니다.
• 표현 축 앙상블:
  • 표현을 평균내거나 최종 예측을 집계하는 대신, DAMEL 은 모든 $K$개 전문가로부터의 표현 벡터 ($z_k$) 를 **연결 (concatenates)**합니다.
  • 클래스 균형 손실(클래스 빈도에 반비례하여 교차 엔트로피 손실을 재가중치하는 손실) 을 사용하여 이러한 연결된 표현들에 보조 균형 분류기를 학습시킵니다.
  • 핵심적으로, 클래스 균형 손실의 기울기는 보조 분류기에만 역전파되며, 백본과 개별 전문가 헤드는 표준 교차 엔트로피 손실을 통해 학습됩니다. 이를 통해 보조 분류기는 백본이 단일하고 잠재적으로 타협된 표현을 학습하도록 강요하지 않으면서 모든 전문가의 보완적 특징을 활용할 수 있습니다.
  • 전체 시스템 (전문가 + 보조 분류기) 은 다른 CIL 방법들에서 볼 수 있는 디커플링 학습 경향을 피하고 엔드투엔드로 학습됩니다.

시간 축 앙상블

• 분산을 추가로 줄이기 위해 DAMEL 은 **지수 이동 평균 (EMA)**을 사용하여 학습 에포크 전반에 걸쳐 네트워크 가중치를 집계합니다.
• 에포크 단위 업데이트: 기존의 반복 단위 EMA 나 확률적 가중치 평균 (SWA) 과 달리, DAMEL 은 각 에포크가 끝날 때만 EMA 가중치 ($\theta_{EMA}$) 를 업데이트합니다. 이 전략은 연속된 업데이트 간의 상관관계를 낮추고 더 많은 고유한 모델 상태를 포착함으로써 집계된 가중치의 다양성을 증가시킵니다.
• 추론: 테스트 단계에서는 집계된 $\theta_{EMA}$ 가중치를 가진 보조 분류기만을 사용하여 예측을 수행합니다. 개별 전문가 예측은 최종 출력에 사용되지 않습니다.

3. 주요 기여

이 논문은 다섯 가지 주요 기여를 강조합니다:

1. 표현 축 앙상블: 예측 평균이 아닌 연결을 통해 전문가 표현을 집계하는 새로운 메커니즘으로, 보조 분류기가 여러 전문가로부터의 다양하고 보완적인 특징을 활용할 수 있게 합니다.
2. 다양성 보존: 표현 연결이 단순히 차원 증가가 아니라, 전문가별 표현 다양성을 보존하고 판별적 단서를 공동으로 활용하는 메커니즘임을 입증합니다.
3. 시간 축 앙상블: 반복 단위 EMA 와 SWA 와 구별되는 에포크 단위 EMA 가중치 집계 전략을 도입하여, 시간적으로 집계된 가중치를 예측 분산을 줄이기 위한 추가적인 앙상블 축으로 다룹니다.
4. 엔드투엔드 보조 분류기: 연결된 표현에 클래스 균형 손실로 학습된 보조 균형 분류기를 설계하여, 단일 학습 단계에서 다양한 특징을 활용하면서도 다수 클래스에 대한 편향을 줄입니다.
5. 실증적 검증: 듀얼-축 접근법이 제곱 편향과 예측 분산을 동시에 줄여 기존 다중 전문가 및 CIL 알고리즘보다 우수한 성능을 보임을 보여주는 광범위한 실험 및 제거 연구.

4. 실험 결과

DAMEL 은 CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, iNaturalist2018라는 네 가지 벤치마크 데이터셋에서 평가되었습니다.

• 성능: DAMEL 은 모든 데이터셋과 불균형 비율 ($\gamma = 10, 50, 100$) 에서 최첨단 성능을 달성했습니다. 예를 들어, CIFAR-100-LT($\gamma=100$) 에서 4 개의 전문가를 사용한 DAMEL 은 **53.1%**의 전체 정확도를 달성하여 RIDE(49.1%), ACE(49.6%), TLC(49.8%) 와 같은 강력한 베이스라인들을 능가했습니다.
• 편향 - 분산 트레이드오프: 제곱 편향과 분산에 대한 정량적 분석은 DAMEL 이 두 지표를 성공적으로 동시에 줄였음을 보여주었습니다. 재균형 기법들은 편향을 줄였으나 분산을 증가시켰고, 다중 전문가 방법들은 분산을 줄였으나, DAMEL 의 듀얼-축 접근법은 둘 다 낮췄습니다.
• 제거 연구:
  • EMA 가중치나 표현 연결을 제거하면 성능이 크게 저하되었습니다.
  • 표현 연결은 예측 집계보다 우수한 성능을 보였습니다.
  • 에포크 단위 EMA는 반복 단위 EMA 와 단순 SWA 보다 우수한 성능을 보여, 효과적인 시간 축 앙상블 구축을 위한 업데이트 빈도의 중요성을 확인시켰습니다.
  • 용량 제어 연구들은 성능 향상이 단순히 증가된 모델 용량이나 특징 차원성이 아닌 전문가 다양성에서 비롯됨을 증명했습니다.
• 강건성: 이 방법은 강력한 데이터 증강 기법 (AutoAugment, Cutout) 과 결합되었을 때에도 효과적이었으며, 다양한 하이퍼파라미터 설정 (전문가 수, EMA $\beta$, 분류기 스케일) 에서 안정성을 보였습니다.

5. 중요성 및 주장

저자들은 DAMEL 이 클래스 불균형 학습에서의 편향 - 분산 트레이드오프에 대한 개념적으로 단순하지만 매우 효과적인 해결책을 제공한다고 주장합니다. 복잡한 다단계 증류나 데이터 분할을 피함으로써 DAMEL 은 단일 학습 과정을 통해 우수한 정확도를 달성합니다.

이 논문은 듀얼-축 전략이 핵심 혁신임을 강조합니다:

• 표현 축은 분류기가 풍부하고 다양한 특징 집합에 접근할 수 있도록 하여 편향을 줄입니다.
• 시간 축(에포크 단위 EMA 를 통해) 은 다양한 최적화 상태에서의 가중치를 평균내어 모델을 안정화시키고 분산을 줄입니다.

저자들은 현재 하이퍼파라미터 선택이 휴리스틱하지만, 제안된 프레임워크가 전통적인 재균형 기법과 기존 다중 전문가 알고리즘의 한계를 효과적으로 완화하는 보편적이고 강건한 CIL 접근법을 제공한다고 결론지었습니다.