技術的概要：GPart（Global Partition Fine-Tuning）

1. 問題定義

パラメータ効率型ファインチューニング（PEFT）は、大規模言語モデル（LLM）やその他の基盤モデルを適応させるために不可欠であり、フルファインチューニングは計算コストが許容できなくなるためである。低ランク適応（LoRA）は PEFT の支配的なパラダイムとなっているが、学習可能なパラメータから重み更新へのマッピングが線形ではなく双線形（$\Delta W = BA$）であるという、重要な幾何学的限界を導入している。

この双線形構造は、そのマッピングが等長写像ではないことを意味する。つまり、学習可能なパラメータ空間におけるユークリッド距離は、モデルの重み空間において保存されない。その結果、学習座標系におけるオプティマイザが直面する最適化ランドスケープは、誘発される重み更新の幾何学と整合しない。Uni-LoRA などの最近の手法は、等長写像を介して低次元ベクトルを LoRA のパラメータ空間に射影することで効率向上を図ろうとした。しかし、最終段階が依然として双線形な LoRA マップ（$\Delta W = BA$）に依存しているため、エンドツーエンドの等長性は破綻しており、幾何学的歪みの問題は未解決のまま残っている。

2. 手法：GPart

著者らは、中間的な低ランクボトルネックを完全に排除する**GPart（Global Partition fine-tuning）**を提案する。LoRA の因子空間への射影の代わりに、GPart は低次元の学習可能ベクトルをモデルの全重み空間に直接マッピングする。

中核メカニズム

$N$個の適応済みパラメータをベクトル $w_0 \in \mathbb{R}^N$ として平坦化した事前学習済みモデルが与えられたとき、GPart は学習可能なベクトル $\theta_d \in \mathbb{R}^d$（ただし $d \ll N$）を導入する。重み更新は以下のように定義される：
$$\Delta w = P \theta_d$$
ここで、$P \in \mathbb{R}^{N \times d}$ はランダム分割行列である。

分割行列の構築

行列 $P$ は、シード依存の疑似ランダム過程によって構築される：

1. グローバル割当て：ランダム割当て関数 $g: \{1, \dots, N\} \to \{1, \dots, d\}$ により、$N$個のモデルパラメータのそれぞれを $d$個の互いに素なグループのいずれかに割当てる。
2. 正規化：各グループ $j$ について、そのグループに割当てられたパラメータ数を $n_j$ とする。要素 $P_{ij}$ は以下のように定義される：
   $$P_{ij} = \begin{cases} \frac{1}{\sqrt{n_j}} & \text{if } g(i) = j \\ 0 & \text{otherwise} \end{cases}$$
3. 等長性：構築により、$P^\top P = I_d$ が成り立つ。これにより、$P$ は $\mathbb{R}^d$ から $\mathbb{R}^N$ への等長埋め込みであることが保証される。

最適化と保存

• フォワードパス：特定のパラメータ $i$ に対する更新は $\Delta w_i = \theta_{g(i)} / \sqrt{n_{g(i)}}$ となる。これにより、同じ学習可能値が異なる層内の複数のパラメータにブロードキャストされることを可能にする。
• バックワードパス：$\theta_d$ に関する勾配は、各グループ内で正規化された勾配の和を累積することで計算される：$(\nabla_{\theta_d} L)_j = \sum_{i: g(i)=j} (\nabla_w L)_i / \sqrt{n_j}$。
• 初期化：$\theta_d$ はゼロで初期化され、対称性を破るランダム初期化を必要とせず、モデルが事前学習済み重み（$\Delta w = 0$）から正確に開始されることを保証する。
• 保存：ファインチューニングされたモデル全体は、$d + 1$個の値から復元可能である。すなわち、学習可能ベクトル $\theta_d$ と、$P$ を再生成するために使用されるランダムシード $s$ である。

3. 主要な貢献

1. エンドツーエンドの等長性：GPart は、学習可能部分空間から全重み空間への単一の線形マップを提供し、ユークリッド幾何学を保存する。LoRA や Uni-LoRA と異なり、$\theta$空間における最適化ランドスケープは、誘発される重み更新空間に対して等長である。
2. 低ランクボトルネックの除去：この手法は、低ランク分解（$\Delta W = BA$）の構造的制約を除去し、ランダムな低次元部分空間を介して周囲の重み空間で直接動作する。
3. 簡素化されたハイパーパラメータ設定：GPart は、パラメータ効率と表現力のトレードオフを制御する単一のハイパーパラメータ、すなわち部分空間次元 $d$ に依存する。これは、ランク $r$ を必要とする LoRA や、$r$ と $d$ の両方を必要とする Uni-LoRA と対照的である。
4. 理論的および実証的検証：本論文は等長性を証明し、GPart が多様なタスクにおいて既存の PEFT 手法を上回るか、あるいは同等の性能を発揮することを示している。

4. 実験結果

著者らは、自然言語理解（NLU）、数学的推論、コンピュータビジョンのベンチマークにおいて GPart を評価し、フルファインチューニング（FF）、線形プロービング（LP）、LoRA、BitFit、VeRA、FourierFT、Uni-LoRA と比較した。

• 自然言語理解（GLUE）：RoBERTa-base および RoBERTa-large を使用し、GPart は RoBERTa-base（23K パラメータ）において PEFT 手法の中で最高の平均性能を達成し、Uni-LoRA、LoRA、VeRA を上回った。RoBERTa-large においては、平均的に Uni-LoRA を改善した。
• 数学的推論：GSM8K および MATH において、各種デコーダ専用モデル（Qwen、Gemma、Llama）を用いて評価した。GPart は、一致させたパラメータ予算の下で Uni-LoRA と競争力があり、GSM8K および MATH においてわずかな平均改善を示した。
• コンピュータビジョン：8 つのデータセット（例：OxfordPets、CIFAR-100）において ViT-Base および ViT-Large を使用し、GPart は PEFT 手法の中で最も強力な平均性能を達成し、フルファインチューニングの結果に迫り、Uni-LoRA を上回った。
• 損失ランドスケープ分析：SST-2 における損失ランドスケープの可視化は、GPart がその等長パラメータ化と整合する滑らかで中心が整った盆地を生成することを示した。対照的に、Uni-LoRA は双線形再構成ステップに起因する鋭い高損失領域を示した。
• 等長性に関するアブレーション：正規化（$1/\sqrt{n_j}$）を伴う等長 GPart と、それを伴わない非等長バリアントを比較する実験は、正規化が重要であることを示した。非等長バリアントは深刻な正則化不足と低い性能に苦しんでおり、等長性は単なる幾何学的な利便性ではなく、最適化の安定性にとって本質的であることを確認した。

5. 意義と主張

本論文は、GPart が最適化ランドスケープを歪ませる構造的制約を除去することで、PEFT への明快かつエレガントな道筋を提供すると主張している。

• 理論的含意：結果は、低ランク行列構造を課すことなく、全重み空間のランダムな低次元部分空間から効果的なファインチューニングが生まれるという前提を支持する。GPart は、VeRA や Uni-LoRA などの手法の保存効率を維持しつつ、PEFT を内在次元性の結果（Aghajanyan et al., 2021）へと再接続する。
• 実用的影響：単一のハイパーパラメータと最小限の保存オーバーヘッド（$d+1$個の値）で最先端の効率と性能を達成することにより、GPart は現代の PEFT における低ランクボトルネックの必要性に挑戦する。
• 限界：著者らは、エンコーダ、デコーダ、ビジョンにおいて有望な結果が得られているものの、より大規模な言語モデル、マルチモーダルモデル、特定の指示追従や長文脈設定への一般化については、さらなる調査が必要であると指摘している。この研究は、特定のアプリケーション固有の能力というよりも、方法論的な貢献として提示されている。