PEFT-Bench の技術的概要：パラメータ効率型微調整手法のベンチマーク

問題定義

大規模言語モデル（LLM）は、数多くの自然言語理解（NLU）および自然言語生成（NLG）タスクにおいて最先端のパフォーマンスを達成していますが、その巨大な規模は、計算コストおよび環境コストの面で許容しがたい負担をもたらします。標準的な微調整には、タスク固有の重みに対して膨大なリソースとストレージが必要であり、多くの研究者や実務家にとってのアクセスを制限しています。パラメータ効率型微調整（PEFT）手法は、下流タスクのパフォーマンスを維持しつつ学習可能なパラメータを削減することで、この課題に対処するために登場しました。

しかし、現在の PEFT 手法の評価環境は、以下の 3 つの重大な限界に直面しています：

1. 再現性の問題： 既存の多くの研究は、完全に機能するオープンソースの実装や重要な実験詳細を欠いており、独立した検証を妨げています。
2. 範囲の限定性： 評価は、非自己回帰モデル（例：T5、RoBERTa）に焦点を当てたり、GLUE/SuperGLUE などの NLU タスクに分析を制限したりする傾向があり、自己回帰型 LLM の現在時代や、コード生成や数学的推論のような多様なタスクを反映できていません。
3. 不完全な指標： 比較は頻繁に精度やパラメータ数だけに依存し、実世界での展開に不可欠である推論速度やトレーニング時のメモリ使用量といった重要な効率要因を軽視しています。

手法

これらのギャップを埋めるため、著者らは自己回帰型 LLM における多様な PEFT 手法を評価するために設計された、統合されたエンドツーエンドのベンチマークであるPEFT-Benchを導入します。この手法は、モジュール性と再現性を保証するために LLaMA-Factory を基盤として構築されたPEFT-Factoryフレームワークによって支えられています。

1. データセットとタスク

PEFT-Bench は、ドメインの多様性を確保するために 3 つのグループに分類された、12 の固有タスクを表す27 のデータセット全体でパフォーマンスを評価します：

• NLU と推論： GLUE からの 8 データセット、SuperGLUE からの 7 データセット、および追加の 6 データセット（例：MMLU、HellaSwag、WinoGrande）を含みます。
• 数学： MathQA、GSM8K、SVAMP を含みます。
• コード生成： Conala、CodeAlpacaPy、APPS を含みます。
• 注記： 分類タスクでは、自己回帰生成に対応するため、数値ラベルをテキストラベルに変換します。

2. モデルと PEFT 手法

このベンチマークは、ベースモデルとしてLLaMa-3-8B-Instructを使用します。3 つの主要なカテゴリを網羅する7 つの代表的な PEFT 手法を評価します：

• 付加型： IA3、Prompt Tuning、P-Tuning、Prefix Tuning。
• 再パラメータ化型： LoRA。
• 選択型： LNTuning、BitFit。

3. 評価指標

標準的なタスク固有の指標（F1、Accuracy、CodeBLEU）に加えて、著者らは**PEFT ソフトコストペナルティ（PSCP）**指標を提案します。この指標は、Cobb-Douglas 生産関数に着想を得た式を用いて、パフォーマンスと効率コストを統合します：
$$PSCP = P_t \times \left(1 + \frac{M_p}{C_p}\right)^{-\beta_p} \times \left(1 + \frac{M_f}{C_f}\right)^{-\beta_f} \times \left(1 + \frac{M_m}{C_m}\right)^{-\beta_m}$$
ここで：

• $P_t$ は平均タスクパフォーマンスです。
• $M_p, M_f, M_m$ は、それぞれ学習可能なパラメータ数、推論 FLOPs、トレーニング時のメモリ使用量を表します。
• $C$ 値は参照定数です（例：フルモデルトレーニングのパラメータ数、ベースモデル FLOPs の 2 倍、94GB のメモリ）。
• $\beta$ 値は、ユーザーが特定のコストの重要性に重み付けすることを可能にします。

4. 実験設定

実験は、検証用にトレーニングデータの 10% を使用して行われ、AdamW 最適化を用いて 10 エポックにわたってトレーニングを実行しました。安定性は 5 つのランダムシードで評価され、効率性は各手法に対して 27 のデータセット全体で測定されました。

主要な結果

パフォーマンス対効率

• LoRAは、多くのタスクにおいて一般的に最も高い生パフォーマンススコアを達成しました。
• BitFitとLNTuningは、LoRA よりもはるかに少ないパラメータを学習し、GPU メモリを消費しながらも、特定のデータセット（例：MNLI、SST-2、RTE、MMLU）において LoRA と同等かそれ以上のパフォーマンスを達成しました。
• PSCP 指標は、効率コストを考慮すると、BitFit と LNTuning がしばしば LoRA を凌駕することを明らかにしました。これは、低いリソース消費がわずかなパフォーマンス差を補うことができることを示しています。

タスク固有の観察

• NLU と推論： PEFT 手法は、一般的にベースモデルよりもパフォーマンスを向上させました。
• 数学とコード生成： 数学的な文章問題（GSM8K、SVAMP）では PEFT 手法がパフォーマンスを向上させた一方で、複雑なコード生成や推論を要するタスク（Conala、CodeAlpacaPy、APPS）ではパフォーマンスが低下するという顕著なパターンが現れました。著者らは、限られたパラメータによる教師あり微調整は、これらのドメインにおける推論能力の向上には、指示微調整や強化学習に比べて不十分である可能性があると示唆しています。

安定性とトレーニングダイナミクス

• ソフトプロンプトベースの手法（Prompt Tuning、Prefix Tuning、P-Tuning）は、一般的に低いパフォーマンスと高い不安定性を示しました。特に P-Tuning は高い分散を示し、しばしば単一のクラスを予測する状態に崩壊しました。
• IA3は、低リソースデータセット全体で最も低い標準偏差（最も高い安定性）を示しました。
• メモリスパイク： Prompt Tuning は、最初の 1,000 トレーニングステップ中に顕著なメモリスパイクを示しました。これは、入力へのソフトプロンプトの直接追加に起因する可能性が高いです。

意義と主張

本論文は、PEFT-Bench を、NLU および NLG タスクの両方において、自己回帰型 LLM に対する PEFT 手法を評価するために設計された最初の統合的かつ包括的なベンチマークとして位置づけています。その意義は以下の点にあります：

1. 標準化： 以前の PEFT 評価の「ブラックボックス」性を排除する、完全にオープンソースで再現可能なフレームワーク（PEFT-Factory）の提供。
2. 包括的な評価： 精度のみの比較を超え、実世界のシナリオでは効率性（パラメータ、メモリ、速度）がタスクパフォーマンスと同様に重要であることを認識する PSCP 指標の導入。
3. 実証的洞察： LoRA は強力なパフォーマンスを発揮しますが、BitFit や LNTuning のようなより効率的な手法は、リソース制約のある環境における実用的な代替手段であり、ソフトプロンプト手法は効果的になるためには広範なハイパーパラメータ調整を必要とするという具体的な証拠の提供。

著者らは、PEFT-Bench が PEFT 手法の開発と選択を導くための長期的で進化し続けるイニシアチブとして意図されており、現在の結果とコードは GitHub リポジトリを通じて利用可能であると結論付けています。