기술 요약: 매개변수 효율적 시각 미세 조정을 위한 신뢰도 가중 스펙트럼 할당 및 전체 스펙트럼 코어

문제 정의

사전 훈련된 시각 모델은 라벨링된 데이터가 제한적인 다운스트림 태스크에 빈번하게 적응됩니다. 전체 미세 조정(Full fine-tuning)은 높은 성능을 제공하지만, 단일 백본이 여러 태스크를 지원해야 하는 경우 계산 비용이 많이 들고 비효사적입니다. 왜냐하면 각 태스크마다 별도의 전체 백본을 저장해야 하기 때문입니다. 매개변수 효율적 미세 조정(PEFT)은 백본을 동결하고 압축된 태스크별 상태를 학습함으로써 이 문제를 해결합니다. 그러나 기존의 PEFT 방식(예: 어댑터, LoRA, 비주얼 프롬프트)은 일반적으로 랭크 예산(rank budgets), 어댑터 너비, 삽입 위치 또는 레이어별 할당 규칙과 같은 사용자 지정 하이퍼파라미터에 의존합니다.

고정되거나 균등하게 분포된 적응 예산은 사전 훈련된 백본 전반에 걸친 태스크 관련 정보의 이질적인 분포를 반영하지 못합니다. 서로 다른 텐서들은 다양한 그래디언트 스펙트럼과 전이 민감도를 나타냅니다. 고정된 랭크는 약한 방향에는 용량을 낭비하는 반면, 정보가 풍부한 방향은 충분히 표현하지 못할 수 있습니다. 또한, 많은 PEFT 방식은 배포 시에도 활성 상태의 메서드별 추론 브랜치를 유지하여 지연 시간과 메모리 트래픽을 증가시킵니다. 본 논문은 다음과 같은 기능을 갖춘 방법론의 필요성을 제기합니다:

1. 사용자 정의 예산이 아닌 태스크 증거(task evidence)에 기반하여 용량을 할당함.
2. 레이어별 랭크와 참여하는 텐서를 자동으로 결정함.
3. 배포 전 대수적 병합(algebraic merging)을 통해 메서드별 브랜치를 제거함.

방법론

제안된 방법인 **신뢰도 가중 스펙트럼 할당 및 전체 스펙트럼 코어(Reliability-Weighted Spectral Allocation with Full Spectral Cores)**는 캘리브레이션(calibration), 스펙트럼 할당, 그리고 병합을 포함한 적응의 세 가지 연결된 단계로 작동합니다.

1. 캘리브레이션 및 스펙트럼 증거 추정

이 방법은 백본을 업데이트하지 않고 태스크 관련 스펙트럼 방향을 추정하기 위해 캘리브레이션 데이터셋을 활용합니다.

• 그래디언트 풀링(Gradient Pooling): 각 적격한 백본 텐서 $W_\ell$(태스크 헤드, 임베딩, 정규화 레이어 제외)에 대해, 방법론은 각 캘리브레이션 배치 $t$에 대한 언폴디드 그래디언트(unfolded gradient) $G_{\ell,t}$를 계산합니다.
• 결정론적 파티션(Deterministic Partitions): 캘리브레이션 배치는 두 개의 결정론적 파티션($I_0$와 $I_1$)으로 분할됩니다. 각 파티션에 대한 평균 그래디언트($G^{(0)}_\ell, G^{(1)}_\ell$)와 풀링된 평균 그래디언트($G_\ell$)가 계산됩니다.
• 스펙트럼 분해(Spectral Decomposition): 풀링된 그래디언트에 대해 압축된 특이값 분해(SVD)가 수행됩니다: $G_\ell = U_\ell \Sigma_\ell V^\top_\ell$.
• 신뢰도 가중 스코어링(Reliability-Weighted Scoring): 각 스펙트럼 모드 $j$에 대해, 방법론은 두 파티션 간의 일치도를 기반으로 일관성 점수 $q_{\ell,j}$를 계산합니다.
  • $a_{\ell,j}$와 $b_{\ell,j}$를 각각의 파티션 그래디언트의 특이 벡터 투영이라고 할 때,
  • 공통 응답은 $s_{\ell,j} = (a_{\ell,j} + b_{\ell,j})/2$이고, 불일치는 $d_{\ell,j} = (a_{\ell,j} - b_{\ell,j})/2$입니다.
  • 가중치는 $q_{\ell,j} = \frac{s_{\ell,j}^2}{s_{\ell,j}^2 + d_{\ell,j}^2 + \hat{\nu}_\ell + \epsilon}$로 정의되며, 여기서 $\hat{\nu}_\ell$은 텐서 레벨 분산 페널티입니다.
  • 최종 **모드 증거(mode evidence)**는 $e_{\ell,j} = \sigma_{\ell,j}^2 q_{\ell,j}$이며, 이는 특이 에너지(singular energy)와 파티션 일치성을 결합한 것입니다.

2. 모델 전체 할당 규칙

사용자가 지정한 랭크 예산 대신, 이 방법은 모든 텐서에 걸친 증거 분포로부터 글로벌 할당을 도출합니다.

• 유효 서포트(Effective Support): 방법론은 정규화된 증거 확률로부터 샤논 유효 서포트($D_1$)와 양의 증거 서포트 크기($D_0$)를 계산합니다.
• 자동 랭크 결정: 총 유지되는 스펙트럼 모드 수 $R$은 이러한 서포트들의 기하 평균에 의해 결정됩니다: $R = \lceil \sqrt{D_0 D_1} \rceil$.
• 선택: 모든 레이어와 텐서에 걸쳐 상위 $R$개의 증거 값이 선택됩니다. 이는 다음 사항들을 동시에 결정합니다:
  • 어떤 텐서가 참여할 것인가.
  • 각 참여 텐서의 구체적인 랭크 $r_\ell$.
  • 사용자가 공급한 랭크 예산, 임계값 또는 레이어 리스트는 필요하지 않습니다.

3. 전체 스펙트럼 코어 최적화 및 병합

• 매개변수화(Parameterization): 선택된 좌측($U_{\ell, S_\ell}$) 및 우측($V_{\ell, S_\ell}$) 스펙트럼 부공간 내에서, 방법론은 전체 스펙트럼 코어 $K_\ell \in \mathbb{R}^{r_\ell \times r_\ell}$를 최적화합니다. 대각 스케일링(매칭된 쌍만 업데이트함)과 달리, 전체 코어는 교차 모드 상호작용($u_{\ell,i} v_{\ell,j}^\top$ for all $i, j$)을 포착합니다.
• 최적화: 스펙트럼 코어와 태스크 헤드는 표준 다운스트림 손실을 사용하여 최적화됩니다. 백본과 선택된 기저(bases)는 동결된 상태로 유지됩니다.
• 대수적 병합(Algebraic Merging): 훈련 후, 학습된 업데이트는 원래의 백본 텐서로 대수적으로 병합됩니다: $W_\ell \leftarrow W_\ell + M^{-1}_\ell(U_{\ell, S_\ell} K_\ell V^\top_{\ell, S_\ell})$. 이를 통해 활성 스펙트럼 코어 브랜치가 제거되어, PEFT 메커니즘으로부터 발생하는 지연 시간 오버헤드가 없는 표준 추론 모델이 됩니다.

주요 기여

1. 신뢰도 가중 스펙트럼 점수: 풀링된 그래디언트 에너지와 두 결정론적 캘리브레이션 파티션 간의 일치성을 결합하여 불안정한 모드의 영향을 줄이는 새로운 스코어링 메커니즘을 제공합니다.
2. 사용자 프리(User-Free) 모델 전체 할당: 사용자 지정 랭크 예산이나 레이어 리스트, 할당 규칙 없이 캘리브레이션 데이터로부터 직접 유지할 모드 수, 참여 텐서, 레이어별 랭크를 공동으로 결정합니다.
3. 전체 스펙트럼 코어: 선택된 부공간 내에서 전체 행렬 코어를 사용하여 교차 모드 상호작용을 포착하는 최적화 전략을 사용하며, 이는 대각 스케일링보다 이론적으로 우수하고 대수적 병합을 가능하게 합니다.
4. 통합된 평가: 제안된 방법은 단일 라벨 분류, 멀티라벨 인식, 시맨틱 세그멘테이션 작업 전반에 걸쳐 컨볼루션 및 트랜스포머 백본 모두에 균일하게 적용되었습니다.

실험 결과

본 방법론은 DTD, Flowers-102, Oxford-IIIT Pet, Pascal VOC2007 데이터셋에 대해 ResNet, ViT, Swin, MobileNet 백본을 사용하여 평가되었습니다.

• 리니어 프로빙(Linear Probing) 대비 성능: 이 방법은 리니어 프로빙보다 일관되적으로 우수한 성능을 보였습니다. 주목할 만한 이득은 다음과 같습니다:
  • Flowers-102 (ViT-B/16): 리니어 프로빙 대비 Acc@1에서 4.85 퍼센티지 포인트 상승.
  • Flowers-102 (ResNet-18): 4.21 퍼센티지 포인트 상승.
  • DTD (ResNet-50): 리니어 프로빙 대비 +0.69, 풀 파인 튜닝 대비 +1.76를 달성하면서도, 23.6M 개의 파라미터 대신 150.9K 개의 파라미터만을 최적화했습니다.
• 특화된 PEFT와의 비교: 이 방법이 모든 설정에서 전문화된 베이스라인(예: RepAdapter, SSF)이나 풀 파인 튜닝을 일률적으로 능가하는 것은 아닙니다. 예를 들어, DTD의 ViT-B/16 설정에서는 RepAdapter가 더 높은 정확도를 기록했습니다. 저자들은 본 방법이 헤드 전용 적응(head-only adaptation)이 상당한 격차를 남기지만 풀 파인 튜닝이 너무 비용이 많이 드는 상황에서 가장 유익하다고 언급했습니다.
• 매개변수 효율성: 이 방법은 전체 모델 파라미터의 **0.004%에서 0.307%**에 해당하는 1,165개에서 54,610개의 스펙트럼 코어 좌표를 최적화합니다.
• 절제 연구(Ablation Studies):
  • 전체 vs 대각(Full vs. Diagonal): 전체 스펙트럼 코어가 DTD의 ResNet-18에서 대각 스펙트럼 스케일링보다 1.07 퍼센티지 포인트(Acc@1) 더 높은 성능을 보여, 교차 모드 상호작용을 포착하는 것의 가치를 입증했습니다.
  • 신뢰도 구성 요소: 파티션 일치성 가중치를 제거했을 때 성능이 감소하여, 신뢰도 점수의 중요성을 검증했습니다.

의의 및 주장

본 논문은 제안된 방법이 수동적인 PEFT 설정을 대체할 수 있는 원칙적이고 자동화된 대안을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 하이퍼파라미터 탐색 제거: 사용자가 랭크 예산, 레이어 리스트 또는 할당 규칙을 지정할 필요 없이 캘리브레이션 데이터로부터 이를 직접 도출합니다.
• 배포 효율성: 업데이트를 대수적으로 병합함으로써, 다른 PEFT 방식의 일반적인 단점인 활성 어댑터 브랜치와 관련된 추론 지연 시간 및 메모리 오버헤드를 제거합니다.
• 일반화 가능성: 다양한 아키텍처(CNN 및 Transformer)와 태스크(분류 및 세그멘테이션)에 적용 가능한 단일 할당 규칙을 제공합니다.

저자들은 한계점을 겸허히 인정합니다: 선택된 부공간은 특정 캘리브레이션 배치에 의존하며, 유효 서포트 규칙은 통계적으로 최적인 기준이라기보다 휴리스틱이며, 현재는 각 태스크마다 별도의 병합된 체크포인트가 필요합니다. 향후 연구는 할당 안정성과 더 큰 모델을 위한 캘리브레이션 효율적인 근사법에 집중해야 한다고 제언합니다.