기술 요약: LoMETab: 표본 딥러닝을 위한 랭크-1 앙상블을 넘어선 접근

문제 제기

최근 표본 딥러닝 벤치마크는 경계적 결정 트리 (GBDT), 어텐션 기반 아키텍처, TabM 과 같은 암시적 앙상블을 포함한 주요 방법론들이 비교 가능한 효과로 수행되는 "치밀한 성능 군집 (tight performance cluster)"을 보여줍니다. 딥 앙상블은 모델 성능을 향상시키는 검증된 방법이지만, $K$개의 독립적인 네트워크를 학습하는 비용은 선형적으로 증가합니다. BatchEnsemble 과 TabM 과 같은 암시적 앙상블은 대부분의 매개변수를 공유하면서 멤버별 섭동을 도입함으로써 이 문제를 해결합니다.

그러나 기존 암시적 앙상블은 고정된 랭크-1 구조에 의존합니다. TabM 에서 각 멤버는 랭크-1 마스크를 통해 공유 가중치 행렬 $W$를 변조합니다 ($W_k = W \odot (s_k r_k^\top)$). 이 설계는 멤버별 변조 능력을 증가시키기 위한 명시적 축이 부족합니다. 결과적으로 앙상블 이득의 핵심 동인인 앙상블 다양성은 고정된 랭크-1 마스크와 학습 역학으로부터 암시적으로 도출되어야 하므로 직접적으로 제어할 수 없습니다. 선행 연구는 특정 조건 하에서 BatchEnsemble 멤버들이 거의 동일한 함수로 수렴할 수 있음을 시사하며, 이는 랭크-1 변조가 의미 있는 다양성을 실현하지 못할 수 있음을 나타냅니다.

방법론: LoMETab

저자들은 고정된 랭크-1 구조의 한계를 극복하도록 설계된 곱셈 암시적 앙상블의 랭크-$r$ 일반화인 LoMETab 을 제안합니다.

핵심 공식화

랭크-1 마스크 대신 LoMETab 은 각 멤버 $k$에 저랭크 어댑터 행렬 쌍 $A_k \in \mathbb{R}^{d_{out} \times r}$ 및 $B_k \in \mathbb{R}^{d_{in} \times r}$을 할당합니다. 멤버 $k$의 유효 가중치는 다음과 같이 정의됩니다:
$$W_k = W \odot (1 + A_k B_k^\top)$$
여기서 $W$는 공유 베이스 가중치이며, $A_k B_k^\top$는 최대 랭크 $r$의 잔차 행렬을 형성합니다. 항 $(1 + A_k B_k^\top)$은 항등 - 잔차 곱셈 섭동으로 작용합니다. 잔차가 0 에 가까울 때 멤버는 공유 가중치와 유사하게 행동하며, 더 큰 잔차는 멤버별 편차를 유발합니다.

아키텍처 및 학습

• 아키텍처: LoMETab 은 표본 MLP 백본에 삽입됩니다. 입력은 공유 구간별 선형 임베딩을 통해 처리된 후 $K$개의 멤버 전체에 복사됩니다. 각 은닉 선형 레이어는 공유 가중치와 멤버별 어댑터를 결합하는 LoMETab 선형 레이어로 대체됩니다.
• 학습 목적: 모델은 멤버별 손실 함수를 사용하여 학습되며, 모든 $K$개 멤버에 걸친 평균 작업 손실을 최적화합니다. 이를 통해 백본을 공유함에도 불구하고 병렬 서브모델이 전문화될 수 있습니다.
• 추론: 최종 예측은 모든 $K$개 멤버의 출력을 평균화하여 얻습니다 (분류의 경우 확률 평균화, 회귀의 경우 스칼라 출력 평균화).

이론적 표현력

이 논문은 가설 클래스에 대한 엄격한 위계 관계를 확립합니다. 임의의 랭크 $r \ge 2$에 대해, LoMETab 에서 표현 가능한 유효 가중치의 집합은 BatchEnsemble(랭크-1) 이 표현 가능한 집합을 엄격하게 포함합니다. 구체적으로, 임의의 BatchEnsemble 마스크 $s_k r_k^\top$는 $s_k r_k^\top - 1$의 차이가 최대 2 의 랭크를 가지므로 $1 + A_k B_k^\top$로 표현될 수 있습니다. 따라서 LoMETab 은 $r \ge 2$인 경우 설계 공간을 엄격하게 확장합니다.

주요 기여

1. 랭크-$r$ 일반화: 어댑터 랭크 $r$과 초기화 스케일 $\sigma_{init}$로 매개변수화된 항등 - 잔차 저랭크 하마르드 섭동으로 고정된 랭크-1 마스크를 대체하는 LoMETab 의 도입.
2. 제어 가능한 다양성: 추가된 랭크 용량이 측정 가능한 예측 다양성으로 나타난다는 것을 입증. 저자들은 LoMETab 이 가산 저랭크 절단 (ablation) 보다 높은 쌍별 쿨백 - 라이블러 (KL) 발산을 유지함을 보여줍니다. 또한 $(r, \sigma_{init})$ 그리드는 다양성에 대한 광범위한 제어를 제공하여 쌍별 KL 을 여러 차수만큼 변화시킵니다.
3. 데이터셋 의존적 튜닝: 랭크와 초기화 스케일의 최적 구성이 데이터셋에 의존한다는 경험적 증거. 논문은 "고정된 랭크-1" 구성을 반대하며, $r$과 $\sigma_{init}$를 실용적인 튜닝 축으로 삼는 제어 가능한 암시적 앙상블 가족을 제안합니다.

실험 결과

저자들은 37 개의 학술 데이터셋 (TabM 벤치마크 및 TabZilla 소스 포함) 과 77 개의 평가 작업에서 LoMETab 을 평가했습니다.

• 벤치마크 성능: LoMETab 은 37 개 데이터셋에서 평균 순위 2.1 ± 1.3을 달성하여 TabM(2.3 ± 1.8) 을 능가하고 강력한 GBDT 베이스라인 (예: XGBoost, CatBoost) 및 최근 신경 아키텍처와 경쟁합니다. 14 개 데이터셋에서 1 위를 차지했으며, 89.2% 의 데이터셋에서 상위 3 위 이내에 들었습니다.
• 다양성 제어:
  • 곱셈 대 가산: LoMETab 은 가산 저랭크 앙상블 ($W_k = W + A_k B_k^\top$) 에 비해 쌍별 KL 발산에서 "지속적인 격차"를 유지하며, 이는 가산 앙상블이 빠르게 낮은 다양성으로 수렴하는 것과 대조됩니다.
  • 그리드 스윕: $r \in \{1, 2, 4, 8, 16\}$ 및 $\sigma_{init} \in \{0.1, \dots, 3.0\}$을 스윕한 결과, 다양성은 이러한 축들에 의해 공동으로 제어됨이 밝혀졌습니다. 낮은 $\sigma_{init}$는 랭크에 관계없이 낮은 다양성을 초래하는 반면, 더 높은 $\sigma_{init}$는 랭크 축을 활성화하여 다양성을 크게 증가시킵니다.
  • 작업 수준 지표: 증가된 다양성은 분류에서의 argmax 불일치 증가 및 회귀에서의 모호성 증가와 상관관계가 있습니다.
• 성능 대 다양성 트레이드오프: 다양성은 일반적으로 성능을 향상시키지만, 그 관계는 엄격히 단조롭지 않습니다. $r$과 $\sigma_{init}$를 튜닝하면 데이터셋별 최적화가 가능하며, 종종 TabM 에서 앙상블 크기 $K$를 단순히 스케일링하는 것보다 우수한 결과를 냅니다.
• 매개변수 효율성: 증가된 표현력에도 불구하고 LoMETab 이 반드시 TabM 보다 더 많은 매개변수 수를 초래하는 것은 아닙니다. 하이퍼파라미터 최적화는 종종 더 높은 랭크를 사용할 때 더 컴팩트한 구성 (예: 더 작은 은닉 차원) 을 선택하여 많은 경우 총 매개변수 수를 비슷하게 하거나 오히려 줄입니다.

의의 및 주장

이 논문은 표본 암시적 앙상블에 대해 멤버들이 공유 백본에서 어떻게 편차할 수 있도록 허용되느냐가 핵심 설계 질문이라고 주장합니다. 고정된 랭크-1 제약 조건을 넘어섬으로써 LoMETab 은 어댑터 랭크와 초기화 스케일을 앙상블 다양성을 관리하기 위한 실용적이고 제어 가능한 축으로 노출시킵니다.

저자들은 그들의 기여를 고정된 솔루션이 아닌 "제어 가능한 암시적 앙상블 가족"을 제공하는 것으로 겸손하게 규정합니다. 그들은 최적 구성이 데이터셋에 의존하며, LoMETab 의 주요 가치는 특정 작업에 적합하도록 멤버 편차의 형태와 스케일을 조정할 수 있는 능력에 있다고 강조합니다. 이 연구는 향후 연구가 이러한 제어 가능성이 불확실성 추정 또는 분포 외 (out-of-distribution) 검출로 이어질 수 있는지 탐구할 수 있음을 시사하지만, 이는 현재 결과가 아닌 향후 연구 방향으로 식별되었습니다.