기술 요약: GPart (전역 분할 미세 조정)

1. 문제 제기

파라미터 효율적 미세 조정 (PEFT) 은 전체 미세 조정이 계산적으로 불가능해짐에 따라 대규모 언어 모델 (LLM) 과 기타 기반 모델을 적응시키는 데 필수적입니다. 저랭크 적응 (LoRA) 이 지배적인 PEFT 패러다임이 되었지만, 이는 중요한 기하학적 한계를 도입합니다: 학습 가능한 파라미터에서 가중치 업데이트로의 매핑이 이차선형 (bilinear)($\Delta W = BA$) 이기보다는 선형이라는 점입니다.

이 이차선형 구조는 매핑이 등거리 사상 (isometry) 이 아님을 의미합니다. 즉, 학습 가능한 파라미터 공간의 유클리드 거리는 모델의 가중치 공간에서 보존되지 않습니다. 결과적으로, 학습 가능한 좌표계에서 옵티마이저가 보는 최적화 지형은 유도된 가중치 업데이트의 기하학과 정렬되지 않습니다. Uni-LoRA 와 같은 최근 방법들은 등거리 매핑을 통해 저차원 벡터를 LoRA 파라미터 공간으로 투영함으로써 효율성을 개선하려 시도했습니다. 그러나 최종 단계가 여전히 이차선형 LoRA 매핑 ($\Delta W = BA$) 에 의존하기 때문에, 종단 간 등거리성은 깨지며 기하학적 왜곡 문제는 해결되지 않은 채 남습니다.

2. 방법론: GPart

저자들은 중간 저랭크 병목 현상을 완전히 제거하는 **GPart(전역 분할 미세 조정)**을 제안합니다. LoRA 인자 공간으로 투영하는 대신, GPart 는 저차원 학습 가능 벡터를 모델의 전체 가중치 공간으로 직접 매핑합니다.

핵심 메커니즘

$N$개의 적응된 파라미터가 벡터 $w_0 \in \mathbb{R}^N$으로 평탄화된 사전 학습된 모델이 주어졌을 때, GPart 는 학습 가능한 벡터 $\theta_d \in \mathbb{R}^d$ (여기서 $d \ll N$) 를 도입합니다. 가중치 업데이트는 다음과 같이 정의됩니다:
$$\Delta w = P \theta_d$$
여기서 $P \in \mathbb{R}^{N \times d}$는 랜덤 분할 행렬입니다.

분할 행렬의 구성

행렬 $P$는 시드 의존적 의사난수 과정을 통해 구성됩니다:

1. 전역 할당: $N$개의 모델 파라미터 각각을 $d$개의 불연속 그룹 중 하나로 할당하는 랜덤 할당 함수 $g: \{1, \dots, N\} \to \{1, \dots, d\}$입니다.
2. 정규화: 각 그룹 $j$에 대해, $n_j$를 해당 그룹에 할당된 파라미터 수라고 합시다. 행렬 요소 $P_{ij}$는 다음과 같이 정의됩니다:
   $$P_{ij} = \begin{cases} \frac{1}{\sqrt{n_j}} & \text{if } g(i) = j \\ 0 & \text{otherwise} \end{cases}$$
3. 등거리성 속성: 구성상 $P^\top P = I_d$입니다. 이는 $P$가 $\mathbb{R}^d$에서 $\mathbb{R}^N$으로의 등거리 임베딩임을 보장합니다.

최적화 및 저장

• 순전파 (Forward Pass): 특정 파라미터 $i$에 대한 업데이트는 $\Delta w_i = \theta_{g(i)} / \sqrt{n_{g(i)}}$입니다. 이를 통해 동일한 학습 가능한 값이 서로 다른 레이어의 여러 파라미터에 브로드캐스트될 수 있습니다.
• 역전파 (Backward Pass): $\theta_d$에 대한 기울기는 각 그룹 내에서 정규화된 기울기 합을 누적하여 계산됩니다: $(\nabla_{\theta_d} L)_j = \sum_{i: g(i)=j} (\nabla_w L)_i / \sqrt{n_j}$.
• 초기화: $\theta_d$는 0 으로 초기화되어, 대칭 깨짐 랜덤 초기화가 필요 없이 모델이 정확히 사전 학습된 가중치 ($\Delta w = 0$) 에서 시작하도록 합니다.
• 저장: 전체 미세 조정된 모델은 $d + 1$개의 값, 즉 학습 가능한 벡터 $\theta_d$와 $P$를 재생성하는 데 사용된 랜덤 시드 $s$로부터 복원 가능합니다.

3. 주요 기여

1. 종단 간 등거리성: GPart 는 유클리드 기하학을 보존하는 학습 가능 부분 공간에서 전체 가중치 공간으로의 단일 선형 매핑을 제공합니다. LoRA 및 Uni-LoRA 와 달리, $\theta$-공간에서의 최적화 지형은 유도된 가중치 업데이트 공간과 등거리적입니다.
2. 저랭크 병목 제거: 이 방법은 저랭크 인자화 ($\Delta W = BA$) 의 구조적 제약을 제거하고, 랜덤 저차원 부분 공간을 통해 주변 가중치 공간에서 직접 작동합니다.
3. 단순화된 하이퍼파라미터화: GPart 는 파라미터 효율성과 표현력 사이의 균형을 조절하는 단일 하이퍼파라미터 $d$(부분 공간 차원) 에 의존합니다. 이는 랭크 $r$이 필요한 LoRA 와 $r$ 및 $d$가 모두 필요한 Uni-LoRA 와 대조됩니다.
4. 이론적 및 실증적 검증: 이 논문은 등거리 속성을 증명하고, GPart 가 다양한 작업에서 기존 PEFT 방법들을 능가하거나 동등한 성능을 보임을 입증합니다.

4. 실험 결과

저자들은 자연어 이해 (NLU), 수학 추론, 컴퓨터 비전 벤치마크에서 GPart 를 전체 미세 조정 (FF), 선형 프로빙 (LP), LoRA, BitFit, VeRA, FourierFT, Uni-LoRA 와 비교 평가했습니다.

• 자연어 이해 (GLUE): RoBERTa-base 와 RoBERTa-large 를 사용하여 GPart 는 RoBERTa-base(23K 파라미터) 에서 PEFT 방법 중 평균 최고 성능을 달성했으며, Uni-LoRA, LoRA, VeRA 를 능가했습니다. RoBERTa-large 에서는 평균적으로 Uni-LoRA 보다 향상된 성능을 보였습니다.
• 수학 추론: Qwen, Gemma, Llama 등 다양한 디코더 전용 모델을 사용하여 GSM8K 와 MATH 에서 평가되었습니다. GPart 는 매칭된 파라미터 예산 하에서 Uni-LoRA 와 경쟁력 있는 성능을 유지했으며, GSM8K 와 MATH 에서 평균적으로 약간 개선된 결과를 보였습니다.
• 컴퓨터 비전: ViT-Base 와 ViT-Large 를 8 개의 데이터셋 (예: OxfordPets, CIFAR-100) 에 적용하여 GPart 는 PEFT 방법 중 가장 강력한 평균 성능을 달성했으며, 전체 미세 조정 결과를 근접하고 Uni-LoRA 를 능가했습니다.
• 손실 지형 분석: SST-2 에 대한 손실 지형 시각화는 GPart 가 등거리 파라미터화와 일관된 매끄럽고 잘 중심 잡힌 분지를 생성함을 보여주었습니다. 반면, Uni-LoRA 는 이차선형 재구성 단계로 인해 귀속된 날카로운 고손실 영역을 나타냈습니다.
• 등거리성에 대한 제거 실험: 정규화 ($1/\sqrt{n_j}$) 를 포함한 등거리 GPart 와 비등거리 변형을 비교한 실험은 정규화가 결정적임을 입증했습니다. 비등거리 변형은 심각한 과소 정규화와 낮은 성능으로 고통받았으며, 이는 등거리 속성이 단순한 기하학적 편의가 아니라 최적화 안정성에 필수적임을 확인시켜 주었습니다.

5. 의의 및 주장

이 논문은 최적화 지형을 왜곡하는 구조적 제약을 제거함으로써 PEFT 에 대한 직관적이고 우아한 경로를 제공한다고 주장합니다.

• 이론적 함의: 이 결과는 저랭크 행렬 구조를 부과하지 않고도 전체 가중치 공간의 랜덤 저차원 부분 공간에서 효과적인 미세 조정이 발생할 수 있다는 전제를 지지합니다. GPart 는 VeRA 및 Uni-LoRA 와 같은 방법의 저장 효율성을 유지하면서 PEFT 를 내재 차원성 결과 (Aghajanyan et al., 2021) 와 재연결합니다.
• 실용적 영향: 단일 하이퍼파라미터와 최소한의 저장 오버헤드 ($d+1$개의 값) 로 최첨단 효율성과 성능을 달성함으로써, GPart 는 현대 PEFT 에서 저랭크 병목의 필요성에 도전합니다.
• 한계: 저자들은 인코더, 디코더, 비전 전반에 걸쳐 결과가 유망하지만, 더 큰 언어 모델 (LM), 멀티모달 모델, 특정 지시 따르기 또는 긴 컨텍스트 설정으로의 일반화는 추가 조사가 필요하다고 지적합니다. 이 작업은 새로운 응용별 기능보다는 방법론적 기여로 제시됩니다.