想像してみてください。あなたには、図書館にあるほぼすべての本を読んだことのある、超スマートなロボットの友達がいます。そのロボットは詩を書くことも、数学の問題を解くことも、動物を見分けることもできます。このロボットは「大規模事前学習モデル（Large Pre-trained Model）」のようなものです。あなたが出会う前に膨大な量のデータから学習したため、驚異的な力を持っています。しかし、ここには落とし穴があります。もしあなたがこのロボットに、珍しい病気の診断や新しい種類の鳥の識別といった「全く新しいスキル」を教えようとしたら、これまでのやり方では、大人に自転車の乗り方を教えるために、一度記憶をすべて消去して最初からやり直させるようなものです。ロボット全体を最初から再学習させる必要があり、それには果てしない時間がかかり、莫大な費用がかかります。さらに悪いことに、単に古い教えの上に新しいレッスンを上書きしようとすると、ロボットは詩や数学について知っていたことをすべて忘れて混乱してしまうかもしれません。これは「破滅的忘却（catastrophic forgetting）」と呼ばれ、人間のように継続的に学習できるAIを作る上での最大の悩みとなっています。

これを解決するために、科学者たちは2つの異なるトリックに取り組んできました。一つのトリックは「継続学習（Continual Learning）」で、これはロボットに日記をつけて、過去のレッスンを決して忘れないように教えるようなものです。もう一つのトリックは「パラメータ効率の良い微調整（Parameter-Efficient Fine-Tuning: PEFT）」で、これはロボットの脳全体を書き換える代わりに、小さくて取り外し可能な「付箋（ふせん）」を与えるようなものです。新しいタスクを教えるためにその付箋をロボットに貼り付け、終わったら元の知識を損なうことなく剥がすことができます。大きな疑問は、これら2つのトリックを組み合わせたらどうなるか？ つまり、ロボットに「付箋の束」を与えて、古いことを決して忘れることなく、毎日新しいことを学び続けられるようにできるのでしょうか？ これこそが、研究者たちが解決しようとしたパズルです。

この論文の核心： 「付箋」のライブラリ

この論文は、**パラメータ効率の良い継続的微調整（Parameter-Efficient Continual Fine-Tuning: PECFT）**という新しい分野の巨大な調査報告書であり、いわば「巨大な地図」です。著者であるイタリア、イギリス、インド、ニュージーランドの大学の研究者グループは、巨大なAIモデルに対し、脳全体を書き換えるのではなく、わずかな効率的な更新（付箋）だけを使って、新しいタスクを次々と学習させる方法がどれほど上手くいくのかを検証したいと考えました。

巨大なAIモデルを、変更不可能な知識の「巨大な図書館」だと考えてください。以前は、図書館に新しいセクションを追加したい場合、建物全体を建て直さなければなりませんでした。それはコストがかかりすぎ、時間がかかりすぎます。PECFTは、図書館の横に、トピックごとに小さな「モジュール式の棚」を追加していくようなものです。この論文は、これらの「モジュール式の棚」を一つずつ追加し続けていくとき、異なる種類の棚がどのように機能するかを探求しています。

棚を追加する3つの主な方法

研究者たちは、現在の手法を3つのカテゴリーに分類しました。それぞれにメリットとデメリットがあります。

1. 「付け足し型」の棚（アダプターとプロンプト）：
   想像してみてください。あなたは決して開けないバックパック（AIモデル）を持っています。そのバックパック自体を変える代わりに、外側に小さくて専門的なポーチを取り付けます。

   • **アダプター（Adapters）**は、バックパックにジッパーで付ける小さなポケットのようなものです。これらは小さくて効率的であり、元のバックパックを安全に保つのに優れています。
   • **プロンプト（Prompts）**は、バックパックの前面に貼る付箋のようなものです。これらは、バックパックに特定のタスクをどのように処理させるかを指示します。
   • 落とし穴： タスクをどんどん学んでいくと、バックパックは数十個のポーチや付箋で覆われ、重くて散らかった状態になります。論文では、これらはいくつかのタスクには適していますが、何百ものことを学ぼうとすると、あまりに乱雑になりすぎる可能性があると示唆しています。

2. 「配線変更型」の棚（LoRAのような再パラメータ化）：
   新しいポーチを追加するのではなく、この方法はバックパックのジッパーの仕組みの一部を密かに配線し直すようなものです。新しいものを追加するのではなく、既存のギアを少し調整して、新しい動きができるようにします。

   • 何も追加しないため、非常に効率的です。
   • 落とし穴： 新しいタスクのためにギアを調整しすぎると、誤って古いタスク用のギアを壊してしまう可能性があります。論文では、これらの手法はスペースの節約には非常に優れていますが、新しいタスクが古いタスクと似すぎている場合、ロボットが混乱してしまうことがあると指摘しています。

3. 「選択型」の棚（BitFitとマスキング）：
   これは最も極端なアプローチです。ポーチを追加したりギアを配線し直したりする代わりに、バックパックのストラップの縫い目の色を変えるだけです。バックパックのほんのわずかな部分（0.1%未満！）だけに触れます。

   • 落とし穴： 非常に効率的ですが、ロボットに全く新しい難しいスキルを教えるには、力が足りないかもしれません。それは、犬の首輪の色を変えるだけで、犬に空を飛ぶ方法を教えようとするようなもので、それでは不十分なのです。

研究者たちの実際の発見

チームは単にこれらの手法を列挙しただけでなく、実際にテストを行いました。鳥、車、日常の物体などの画像を使用して、どの手法が過去のことを忘れることなく新しいことを学ぶのに最適かを実験しました。

• 「付け足し型」の棚（アダプター）は、精度の面でチャンピオンでした。 ロボットが多くの新しいタスクを学ぶ際、小さな独立したモジュールを追加する手法（アダプターなど）が、一般的に最も高いスコアを獲得しました。これらは、すべてを記憶しておく上で最も信頼できました。ただし、これらすべての小さなモジュールを保存するために、より多くのメモリが必要となりました。
• 「配線変更型」の棚（LoRA）は、最もバランスの良い万能選手でした。 これらは優れたバランスを提供しました。非常に効率的であり、アダプターとほぼ同等の性能を発揮したため、多くの状況において強力な選択肢となります。
• 「付箋」（プロンプト）は最も軽量でしたが、最も苦戦しました。 メモリ使用量は最小限でしたが、論文では、タスクの数が増えるにつれて情報の忘却が起こりやすいことが分かりました。少数のタスクには適していますが、他の手法ほどスケールアップできませんでした。

特に興味深い発見の一つは、「忘却」と「精度」は必ずしも連動していないということです。ある手法は記憶することには非常に優れていましたが（忘却が少ない）、必ずしも新しいタスクで高いスコアを出せるとは限りませんでした。また、新しいことを学ぶのは得意だが、古いことを少し忘れてしまう手法もありました。論文は、唯一の「完璧な」手法はまだ存在せず、スペースを節約したいのか、それとも最高のスコアを得たいのかによって、選ぶべき手法が変わることを示唆しています。

未来：次は何が来るのか？

著者らは、大きな進歩を遂げた一方で、依然として大きな課題があることも指摘しています。今後の研究には以下の視点が必要だと彼らは述べています。

• 3Dデータ： これらのテストのほとんどは、平面の画像（2D）で行われました。自動運転車やロボットのように、ロボットが3Dの世界を理解できるように教える場合はどうなるでしょうか？
• 推論： これらの手法は、ロボットが単に画像を認識するだけでなく、「考え」、複雑なパズルを解くのを助けることができるでしょうか？
• 現実世界の制限： 論文は、現実世界では完璧なデータや無限の計算能力があるわけではないことを強調しています。将来の手法は、データが乏しい場合や、スマートフォンなどの小さなデバイス上でロボットが学習しなければならない場合に、うまく機能する必要があります。

要約すると、この論文は次世代のAIのためのガイドブックです。それは、私たちにこう伝えています。これらの小さな、効率的な「付箋」や「ポーチ」を使うことで、人間と同じように継続的に学習できるAIを構築できる道筋が見えている、と。しかし、そこに到達するためには、ロボットの寿命が長くなり、生活がより複雑になっても、ツールが散らかったり忘れたりしないように、改良を続けていく必要があるのです。