🤖 machine learning

DirMixE: Harnessing Test Agnostic Long-tail Recognition with Hierarchical Label Variations

이 논문은 디리클레 메타 분포를 통해 전역 및 지역 수준 모두에서 레이블 분포의 변화를 모델링하고, 다양한 불균형 테스트 시나리오 전반에 걸쳐 일반화 성능과 성능 안정성을 향상시키기 위해 잠재 기술 미세 조정(Latent Skill Finetuning) 접근 방식을 결합함으로써, 테스트 불가지론적 롱테일 인식을 해결하는 계층적 전문가 혼합(Mixture-of-Experts) 프레임워크인 DirMixE를 제안한다.

원저자: Zhiyong Yang, Qianqian Xu, Sicong Li, Zitai Wang, Xiaochun Cao, Qingming Huang

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhiyong Yang, Qianqian Xu, Sicong Li, Zitai Wang, Xiaochun Cao, Qingming Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 기계는 마치 학생이 교과서로부터 배우는 것처럼 방대한 사례의 집합을 학습하며 배웁니다. 수십 년 동안 연구자들은 이 교과서가 모든 주제에 대해 균등한 수의 사례를 가진 균형 잡힌 상태라고 가정하며 이러한 시스템을 설계해 왔습니다. 그러나 현실 세계는 그렇게 질서 정연한 경우가 드뭅니다. 자연, 의학, 그리고 일상생활에서 데이터는 종종 왜곡되어 있습니다. 몇몇 범주는 끊임없이 나타나는 반면, 다른 많은 것들은 희귀합니다. 롱테일 분포(long-tail distribution)라고 알려진 이러한 불균형은 기계에게 사각지대를 만듭니다. 기계는 흔한 것들을 인식하는 데는 전문가가 되지만, 희귀한 것들을 인식하는 데는 매우 고전하게 됩니다. 세상이 변한다는 점을 고려할 때 이 과제는 더욱 심화됩니다. 한 세트의 데이터로 훈련된 모델은 배포 시 완전히 다른 혼합 사례에 직면할 수 있으며, 아마도 희귀 사례의 갑작스러운 급증이나 무엇이 흔한지에 대한 변화를 마주할 수도 있습니다. 만약 시스템이 이러한 알려지지 않은 변화에 적응할 수 없다면, 그 신뢰성은 무너집니다.

한 연구팀은 게임의 규칙이 변하더라도 견고함을 유지하는 모델을 훈련하는 새로운 방법을 개발함으로써 이 문제를 해결했습니다. 그들은 테스트 데이터가 알려지지 않았고 어떤 방향으로든 불균형할 수 있는 시나리오에 집중했습니다. 단 하나의 모델이 가능한 모든 변형을 암기하도록 강요하는 대신, 그들은 유연한 전문가 팀처럼 작동하는 시스템을 구축했습니다. 핵심 아이디어는 현실 세계 데이터의 무작위성을 두 가지 층위, 즉 전체적인 지형의 광범하고 거대한 변화와 특정 데이터 구역 내에서 발생하는 더 작고 국소적인 변화로 분해하는 것입니다. 기존 방법들은 고정된, 미리 정의된 시나리오에 서로 다른 전문가를 할당함으로써 이러한 광범적인 변화를 처리하려고 노력했습니다. 그러나 이 접근 방식은 고정된 지점들 사이에서 발생하는 미묘하고 국소적인 변화를 놓쳤으며, 이로 인해 모델은 예상치 못한 변화에 취약한 상태로 남겨졌습니다.

양즈용(Zhiyong Yang)과 동료들이 이끄는 연구진은 DirMixE라고 불리는 새로운 전략을 제안했습니다. 책이 단순히 장르별로 분류될 뿐만 아니라 독자의 특정한 기분(mood)에 따라서도 분류되는 도서관을 상상해 보십시오. 그들의 시스템에서 '기분'은 모델이 마주할 수 있는 흔한 항목과 희귀한 항목의 특정한 혼합을 나타냅니다. 그들은 모델이 몇 개의 정적인 스냅샷이 아닌 연속적인 가능성의 스펙트럼으로부터 학습하도록 하는 프레임워크를 만들었습니다. 그들은 이 스펙트럼의 서로 다른 영역에 서로 다른 전문가를 할당하여, 시스템이 거시적인 다양성과 미세한 국소적 변화를 모두 포착할 수 있도록 했습니다. 시스템이 이 전체 스펙트럼에 걸쳐 잘 작동하도록 보장하기 위해, 그들은 단순히 평균적인 성공률을 찾는 것이 아니라 새로운 방법을 도입했습니다. 대신, 그들은 모델이 평소의 평균보다 성능이 떨어지는 상황을 구체적으로 처벌함으로써 성능 저하의 위험을 최소화하도록 훈련했습니다. 이는 시스템이 단순히 운이 좋은 것이 아니라 일관성을 갖도록 강제하는 안전망 역할을 합니다.

그들의 아이디어를 테스트하기 위해, 연구팀은 일상적인 사물과 자연 종의 이미지를 포함하여 컴퓨터 비전에 사용되는 여러 표준 데이터 세트에 이 방법을 적용했습니다. 그들은 자신들의 접근 방식을 기존의 최첨단 기술들과 비교했습니다. 결과는 그들의 방법이 특히 모델이 보지 못했던 방식으로 테스트 데이터가 심하게 불균형한 상황에서 다른 방식들을 지속적으로 능가했음을 보여주었습니다. 이 시스템은 특히 희귀한 항목이 흔한 항목이 되는 '역방향(backward)' 분포, 즉 전통적인 모델들을 당혹스럽게 만드는 시나리오를 처리하는 데 효과적임을 입증했습니다. 나아가, 연구진은 이 기술을 현대 인공지능을 구동하는 거대하고 사전 훈련된 엔진인 대규모 파운데이션 모델(foundation models)에 적용할 수 있도록 확장했습니다. 매개변수 효율적 튜닝(parameter-efficient tuning) 방법을 사용하여, 그들은 이 거대한 모델들이 처음부터 다시 훈련될 필요 없이 새로운 유연한 훈련 전략에 적응할 수 있도록 함으로써 실질적인 실무 배포를 가능하게 했습니다.

또한 이 연구는 그들의 접근 방식이 타당하다는 수학적 증명을 제공했습니다. 그들은 결과의 분산에 집중하고 특정 유형의 정규화를 사용함으로써, 모델이 보지 못한 데이터에 일반화하는 능력이 이전 방법들보다 이론적으로 더 정교하고 신뢰할 수 있다는 것을 입증했습니다. 이는 시스템이 테스트한 데이터 세트에서 잘 작동할 뿐만 아니라, 예측 불가능한 현실 세계의 환경에서도 수학적으로 버텨낼 가능성이 높다는 것을 의미합니다. 이 연구는 데이터 변동의 계층적 구조, 즉 전역적인 변화와 국소적인 파동을 모두 이해함으로써, 우리가 단순히 똑똑한 것이 아니라 진정으로 회복 탄력성이 있는 인공지능을 구축할 수 있음을 시사합니다.

기술 요약: 테스트 불가지론적 롱테일 인식을 위한 DirMixE

1. 문제 정의

본 논문은 모델이 알려지지 않고 임의로 불균형한 테스트 레이블 분포에 대해 우수한 성능을 발휘해야 하는 도전적인 시나리오인 테스트 불가지론적 롱테일 인식(Test-Agnostic Long-Tail Recognition) 문제를 다룹니다. 고정된 균형 잡힌 테스트 분포를 가정하는 기존의 롱테일 학습과 달리, 이 설정은 실제 세계의 테스트 분포가 시간의 흐름에 따라 롱테일(헤드 집중형)에서 거의 균등한 분포, 심지어 역 롱테일(테일 집중형) 분포에 이르기까지 크게 변할 수 있음을 인정합니다.

핵심 과제는 이러한 변화의 계층적 구조에 있습니다:

전역적 변이(Global Variations): 서로 다른 분포 유형 간의 광범위한 다양성 (예: 롱테일과 역 롱테일 사이의 격차).
지역적 변이(Local Variations): 분포 공간의 특정 이웃 영역 내에 집중된 완만한 변화.

SADE와 같은 혼합 전문가(Mixture-of-Experts, MoE) 접근 방식과 같은 기존 방법들은 일반적으로 고정된 테스트 분포에 전문가를 할당합니다. 이러한 방식은 전역적 변이를 포착하는 데는 효과적이지만, 관찰되지 않은 테스트 데이터에 내재된 연속적이고 지역적인 무작위 변이를 설명하지 못합니다.

2. 방법론: DirMixE

저자들은 테스트 레이블 분포를 **메타-분포(meta-distribution)**로부터 샘플링된 것으로 모델링하는 확률적 프레임워크인 DirMixE를 제안합니다. 이 메타-분포는 **디리클레 혼합(Dirichlet Mixture)**으로 구조화되어, 모델이 전역적 변이와 지역적 변이를 동시에 포착할 수 있도록 합니다.

2.1 레이블 분포의 계층적 모델링

메타-분포 ( $E$ ): 테스트 레이블 분포 $P_{te}$ 는 메타-분포 $E$ 로부터 샘플링된다고 가정합니다.
디리클레 성분: $E$ $E$ 는 $K$ $K$ 개의 성분의 혼합으로 모델링됩니다. 각 성분 $i$ $i$ 는 파라미터 $\alpha^{(i)}$ $α^{(i)}$ 를 가진 디리클레 분포입니다.
- 전역적 변이: 서로 다른 혼합 성분 간의 다양성에 의해 포착됩니다 (예: 정방향 롱테일용 성분 하나, 균등 분포용 성분 하나, 역방향 롱테일용 성분 하나).
- 지역적 변적: 각 디리클레 성분 내의 무작위성에 의해 포착되며, 평균 분포 주변의 완만한 편차를 허용합니다.
전문가 할당: 메타-분포의 각 성분에 특정 전문가 모델 $f^{(i)}$ 가 할당됩니다. 전체 모델은 구성적 구조인 $f^{(i)}_\theta = g^{(i)} \circ \psi$ 를 가집니다. 여기서 $\psi$ 는 공유된 불변 부분이며, $g^{(i)}$ 는 분포 특화된 특징을 포착합니다.

2.2 목적 함수 및 최적화

메타-분포 전반에 걸쳐 안정적인 성능을 보장하기 위해, 저자들은 손실의 평균과 분산을 모두 최적화합니다.

목적 함수: $E_{P_{te} \sim E}[R(f; P_{te})] + \lambda \cdot V_{P_{te} \sim E}[R(f; P_{te})]$ 를 최소화합니다.
준분산 정규화(Semi-Variance Regularization): 평균보다 더 나은 성능을 보이는 모델을 과도하게 처벌하는 것을 피하기 위해, 저자들은 표준 분산 항을 평균 이상의 손실만을 처벌하는 준분산(semi-variance) 항( $\hat{V}_+$ )으로 대체합니다.
몬테카를로 추정(Monte Carlo Estimation): 기대값과 분산을 폐쇄형(closed form)으로 계산할 수 없으므로, 저자들은 몬테카를로 방법을 채택합니다. 훈련 중에 메타-분포로부터 일련의 테스트 레이블 분포 $\{P_j, \xi_j\}$ 를 샘플링하고, 이 샘플들에 대한 로그 조정(Logit Adjustment, LA) 손실의 경험적 평균과 준분산을 계산합니다.

2.3 파운데이션 모델로의 확장: 잠재 기술 미세 조정(Latent Skill Finetuning, LSF)

DirMixE를 대규모 파운데이션 모델에 적응시키기 위해, 저자들은 매개변수 효율적 미세 조정(PEFT) 프레임워크인 **잠재 기술 미세 조정(LSF)**을 도입합니다.

공유된 잠재 기술: 각 메타-분포를 위한 독립적인 전문가를 훈련하는 대신, LSF는 모든 태스크가 $n_K$ 개의 공유된 잠재 기술을 공유한다고 가정합니다.
구현: 이 프레임워크는 LoRA(Low-Rank Adaptation) 및 Adapter 모듈을 사용하여 구현됩니다.
- LoRA-LSF의 경우, 업데이트 행렬 $\Delta\theta^{(i)}$ 는 공유된 잠재 기술 행렬( $A^{(j)}, B^{(j)}$ )의 선형 결합으로 구성됩니다.
- 잠재 기술이 다양성을 유지하도록 상호 직교 정규화(mutual orthogonal regularization)가 적용됩니다.
초기화: 초기 훈련 단계에서 비자명한(non-trivial) 그래디언트를 보장하기 위해 LoRA-LSF를 위한 개선된 SVD 기반 초기화 기법이 제안되었습니다.

3. 이론적 기여

본 논문은 제안된 방법에 대한 엄격한 이론적 분석을 제공합니다:

분산 vs. 준분산: 저자들은 광범위한 손실 분포(지수 분포, 감마 분포, 파레토 분포)에 대해 준분산이 전체 분산과 유사함( $V \asymp V_+$ )을 증명하여, 준분산 정규화 사용의 타당성을 입증했습니다.
일반화 경계(Generalization Bounds):
- 유도된 하위 클래스(Induced Subclasses): 느슨한 최악의 경우 경계를 피하기 위해, 저자들은 "좋은 영역"(낮은 손실)에 존재하는 가설의 "유도된 하위 클래스"를 정의합니다. 이를 통해 전역적 경계( $B$ )가 아닌 데이터 의존적 파라미터( $\rho$ )에 따른 더 타이트한 일반화 경계를 도출할 수 있습니다.
- 계층적 오차 분해: 일반화 오차는 메타-분포 이동 오차, 몬테카를로 샘플링 오차, 그리고 데이터 추정 오차로 분해됩니다.
- PEFT 복잡도: LSF 프레임워크에 대해, 저자들은 모델 복잡도가 전체 파라미터가 아닌 학습 가능한 파라미터의 수에 따라 스케일링되는 일반화 경계를 도출합니다. 이는 로컬 솔루션 주변의 테일러 전개와 저차원 매니폴드의 기하학적 특성(파라미터 공간의 보로노이 분할)을 활용하여 달성됩니다.

4. 실험 결과

CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, iNaturalist에 대해 광범적한 실험이 수행되었습니다.

전통적 딥러닝: DirMixE는 다양한 테스트 설정에서 평균 정확도 측면에서 SADE, BalPoE, RIDE, LDAM과 같은 최신 방법들을 능가합니다. 특히, 다른 방법들이 어려움을 겪는 Backward-LT(역 롱테일) 시나리오에서 상당한 개선을 보여줍니다.
파운데이션 모델: LoRA와 Adapter를 사용하여 CLIP을 미세 조정할 때, DirMixE-LSF는 모든 데이터셋에서 LIFT 및 SADE-LSF와 같은 베이스라인보다 일관되게 높은 성능을 달성합니다.
절제 연구(Ablation Studies):
- 준분산 정규화가 평균 성능을 향상시키는 데 결정적임을 확인했습니다.
- LoRA-LSF를 위한 SVD 기반 초기화가 성능을 크게 높였습니다.
- 전문가의 수를 늘리면 일반적으로 성능이 향령되지만, 특정 지점 이후로는 한계 효용이 감소함이 관찰되었습니다.

5. 의의 및 주장

본 논문은 DirMixE가 다음과 같은 점을 통해 테스트 불가지론적 롱테일 인식의 중요한 진전을 이루었다고 주장합니다:

계층 구조 모델링: 이전의 고정된 전문가 방식에는 부족했던, 테스트 분포의 무작위 변이를 전역 및 지역 수준으로 성공적으로 분해하고 모델링했습니다.
안정성: 준분산 정규화를 통해 더 안정적인 목적 함수를 제공하며, 이를 통해 다양한 분포에 걸친 성능 결과를 더 잘 정량화할 수 있습니다.
확장성: LSF 프레임워크를 통해 MoE 패러다임을 파운데이션 모델로 확장하여, 학습 가능한 파라미터에 따라 일반화 오차가 스케일링된다는 이론적 보장을 유지하면서도 매개변수 효율적인 적응을 가능하게 합니다.
이론적 엄밀성: 계층적 집중 부등식(hierarchical concentration inequalities), 유도된 하위 클래스, 그리고 저차원 매니폴드의 기하학적 분석을 결합하여 표준 학습 및 PEFT 모두에 대해 날카로운 일반화 경계를 도출하는 새로운 이론적 프레임워크를 제공합니다.

저자들은 자신들의 접근 방식이 추론 시점에 특정 테스트 분포에 대한 지식을 요구하지 않으며, 대신 다양한 전문가의 자기 지도적 집계(self-supervised aggregation)에 의존하여 알려지지 않은 테스트 조건에 적응한다고 강조합니다.