💬 NLP

Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer

本論文は、タスク固有の差異に由来するソフトプロンプトに対する算術演算を活用して、フル再学習を必要とせずにプロンプトチューニングにおける効果的なマルチタスク初期化と転移を可能にする「タスクプロンプトベクトル」という手法を導入する。

原著者： Robert Belanec, Simon Ostermann, Ivan Srba, Maria Bielikova

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

原著者： Robert Belanec, Simon Ostermann, Ivan Srba, Maria Bielikova

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で極めて賢い図書館（大規模言語モデル）を想像してください。その図書館は、文章を書いたり、質問に答えたり、問題を解決したりする方法を知っています。しかし、この図書館に新しい特定のスキルを教えるには、通常、建物全体の大規模で高価な改修が必要になります。

プロンプトチューニングは、この図書館に教えるより賢く、安価な方法です。図書館全体を再建する代わりに、図書館が読むすべての本の表紙に、小さくカスタムされた「指示カード」（ソフトプロンプト）を追加するだけです。この小さなカードを微調整するだけで、「詩を書く」や「数学の問題を解く」といった新しいタスクを図書館に教えることができます。

現在の手法の問題点は、図書館に2 つのタスク（例えば詩を書くと数学の問題を解く）を同時に実行させたい場合、通常、その特定の組み合わせのためにゼロから新しい指示カードを訓練しなければならないことです。まるで、2 つのスキルを組み合わせるたびに新しいマニュアルを書き直さなければならないようなものです。

この論文は、タスクプロンプトベクトルと呼ばれる新しいツールを紹介しています。その仕組みを簡単なアナロジーを用いて説明します。

1. 「方向」のアナロジー

図書館の指示カードを、特定の方向を指すコンパスの針だと考えてください。

ランダムな開始: 新しい指示カードを手にしたばかりのとき、針はランダムな方向を指しています（激しく回転するコンパスのように）。
訓練: 「数学の問題」を解くようにカードを訓練すると、その針を優しく押して、安定して「数学」の方を向くようにします。
ベクトル: この論文では、タスクプロンプトベクトルを、針がスタートした場所（ランダム）と、到達した場所（数学）との差として定義しています。それは最終的な位置ではなく、そこに到達するために必要な移動や押し方そのものです。

2. 「演算」の魔法

この論文で最も興奮すべき発見は、これらの「押し方」で数学的な計算ができるということです。

「数学への押し方」と「詩への押し方」を持っていると想像してください。
ゼロから新しいカードを訓練する代わりに、「数学への押し方」と「詩への押し方」を単に足し合わせることができます。
その結果、数学と詩の両方を処理する方向を指す新しい指示カードが生まれます。

これは、ケーキの異なる 2 つのレシピを持っているようなものです。チョコレートとバニラ風味を組み合わせるために、全く新しいケーキを焼き直す代わりに、「チョコレート風味料」と「バニラ風味料」を混ぜ合わせて、新しい生地に追加するだけです。

3. これが重要である理由

著者らは、このアイデアを 19 の異なるタスク（文の理解、トピックの分類、数学の問題解決など）でテストしました。その結果、以下の 3 つの重要なことがわかりました。

開始地点は重要ではない: 通常、コンパスを異なるランダムな場所から始めると、わずかに異なる方向を指す結果になる可能性があります。しかし、この論文は、これらの「タスクプロンプトベクトル」が非常に頑健であり、どのランダムな開始地点を使用しても「押し方」は同じであることを示しています。つまり、ある人が作成した「数学への押し方」を、別の人の空白のカードに適用しても、それは依然として機能します。
類似したタスクはよく混ざり合う: 「数学への押し方」を「科学への押し方」に足すと、それらが類似しているためうまくいきます。「数学への押し方」を「料理への押し方」に足そうとすると、混乱を招くかもしれません。この論文は、ベクトルが自然にタスクの類似性を反映していることを示しています。
時間とコストを節約できる: 事前に作成されたこれらのベクトルを単に「足し合わせる」ことができるため、モデルをゼロから再訓練する必要がありません。これは、データが非常に少ない場合（タスクの例が数千ではなく 5 つしかない場合など）に特に役立ちます。このような「リソースが限られた」状況では、これらの事前混合されたベクトルを使用する方が、他の既存の手法よりも優れた結果をもたらすことがよくあります。

まとめ

この論文は、AI の指示を積み木のように扱う方法を提案しています。異なる部屋が欲しいたびに新しい家を建てるのではなく、特定の部屋のための「設計図」（ベクトル）を作成します。その後、これらの設計図を組み合わせることで、新しい建設チーム（モデルの再訓練）を雇うことなく、即座に複数の部屋を持つ家を完成させることができます。

著者らはこれをタスクプロンプトベクトルと呼び、これにより AI がより柔軟になり、効率的になり、複数のタスクを同時に組み合わせやすくなることを示しています。

技術的サマリー：タスクプロンプトベクトル

問題定義

プロンプトチューニングは、大規模言語モデル（LLM）に対するパラメータ効率の良いファインチューニング（PEFT）手法であり、事前学習済みモデルを凍結したまま、少数の連続的なソフトプロンプト重みのみを訓練する。しかし、既存のソフトプロンプトベースの手法は、しばしば十分なマルチタスクモジュール性を欠いている。一般的に、新しいタスク用のソフトプロンプトを訓練するには、完全または部分的な再訓練プロセスが必要であり、複数のタスク用のプロンプトを組み合わせると、性能が低下するか、さらなるファインチューニングが必要となる。「タスクベクトル」（完全モデル重みに対する算術演算）は、コンピュータビジョンや従来の NLP モデルにおいてマルチタスク性能の達成に有望であることが示されているが、この概念はソフトプロンプトベースのチューニングの分野へは効果的に拡張されていない。さらに、既存の PEFT 重み補間手法は、特定のランダム初期化に強く依存しており、再利用性が制限されている。

手法

著者は、タスクベクトル算術の原理をソフトプロンプト空間に適応させた新たな概念である**タスクプロンプトベクトル（TPV）**を導入する。

定義

タスクプロンプトベクトル（ $\tau_{P}^{t}$ ）は、特定のタスクでファインチューニングされた後のソフトプロンプトの重み（ $\theta_{P_{ft}}^{t}$ ）と、そのランダム初期化（ $\theta_{P_{pre}}$ ）との要素ごとの差として定義される：
$\tau_{P}^{t} = \theta_{P_{ft}}^{t} - \theta_{P_{pre}}$
このベクトルは、プロンプトをランダムな状態からタスク固有の部分空間へ移動させる埋め込み空間内の方向を表す。

算術演算

中核となるメカニズムは、異なるタスクからの知識を組み合わせるためのプロンプト算術、特にタスクプロンプトベクトルの加算を含む：
$\tau_{P_{new}} = \tau_{P_{a}} + \tau_{P_{b}}$
この結合ベクトルは、新しいソフトプロンプト初期化（ $\theta_{P}$ ）に適用され、さらなる訓練なしにターゲットタスク用に初期化するために使用できる：
$\theta_{P_{new}} = \theta_{P} + \lambda \tau_{P_{new}}$
ここで、 $\lambda$ は再スケーリング因子である。

実験設定

著者は、T5-base、LLaMa-3.1-8B-Instruct、および DeepSeek-LLM-7B-Chat モデルを用いて、NLI、トピック分類、感情分析、数学問題解決を含む 8 種類のタスクを網羅する 19 のデータセット上で TPV を評価した。主な実験目標は以下の通りであった：

初期化非依存性: ターゲットソフトプロンプトのランダム初期化に関わらず TPV が機能するかどうかをテストする。
ベクトル類似性: 関連タスクと非関連タスクからのベクトル間のコサイン類似性を分析する。
マルチタスク転移: 結合ベクトルのソースタスクにおける性能、およびターゲットタスクにおけるゼロショットおよびフューショット学習の初期化としての性能を評価する。

主要な貢献と知見

1. ランダム初期化非依存性

本研究は、タスクプロンプトベクトルがソフトプロンプトのランダム初期化から実質的に独立していることを示している。あるランダム初期化で訓練された TPV を異なるランダム初期化に適用した場合、大半のタスクにおいて、下流の性能は元の設定と同等に維持される。この性質は、TPV が同じシードを必要とせずに異なる訓練実行間で共有・再利用できるため、極めて重要である。

2. タスクモジュール性とベクトル算術

著者は、類似タスクからのタスクプロンプトベクトルを加算すること（例：MNLI + RTE）が、両方のタスクにおける単一タスク性能を維持するか、わずかに向上させることを示している。これは、TPV がタスク固有の知識をモジュール化された形で効果的にエンコードできることを示唆している。TPV のコサイン類似性は、生のプロンプト自体の類似性よりも転移性の予測因子として優れていることが判明した。

3. 低リソース初期化

ゼロショットおよびフューショット設定（0〜100 ショット）において、事前学習済み TPV の組み合わせを用いてプロンプトチューニングを初期化することは、SPoT（Soft Prompt Transfer）や ATTEMPT といった最先端のベースラインを上回るか、同等の性能を発揮することが多い。具体的には：

TPV の組み合わせは、SciTail および IMDB において、単一タスクのソースプロンプトよりも優れた性能を示した。
AG News および Yahoo Answers において、SPoT の性能と同等であった。
事前学習済みソースプロンプトの数が限られている場合など、いくつかのシナリオで ATTEMPT を大幅に上回った。

4. 既存手法との比較

ソースタスクのセットが変更された際にソースプロンプトの再訓練を必要とする SPoT や、ソースプロンプトの質と量に強く依存する ATTEMPT とは異なり、TPV は高いモジュール性とソースプロンプト非依存性を提供する。これにより、追加の訓練なしに新しいタスクに再利用可能な事前学習済みベクトルを格納する「ベクトルハブ」の作成が可能となる。

意義と主張

本論文は、タスクプロンプトベクトルが、最先端のマルチタスク解決策に対する計算的に効果的な代替手段を提供すると主張している。事前学習済みベクトルに対する単純な算術演算を活用することで、この手法は再訓練の計算コストなしに高いマルチタスクモジュール性を達成する。

著者は、この手法の成功は、ソフトプロンプトの最適部分空間が凸形状を持つ可能性を示唆しており、非線形空間であっても線形近似（ベクトル加算）が効果的に機能することを意味すると仮定している。さらに、ランダム初期化からの独立性は、タスクベクトルのコミュニティ主導のリポジトリの可能性を可能にする。

著者が指摘した限界点:

実験は主に単一言語（英語）のモデルおよびデータセットで行われた。
研究は代表的なモデルとして T5-base に焦点を当てたが、結果はより大規模な LLaMa および DeepSeek モデルでも検証された。
ソフトプロンプト空間の幾何学的性質に関する理論的分析は、今後の課題として残されている。
この手法は現在、NLU および NLG タスクに焦点を当てており、多言語設定でのテストは十分に行われていない。

結論として、この研究は、タスクプロンプトベクトルが低リソース設定においてプロンプトチューニングを効果的に初期化するために使用でき、マルチタスク適応に対する堅牢でモジュール化され、訓練不要なアプローチを提供することを確立している。