非常に賢いものの、非常に奇妙な記憶の問題を抱えた学生を想像してみてください。新しい主題を学ぶたびに、それまで知っていた古い主題のことを瞬時に忘れてしまうのです。歴史の試験のために勉強すると、数学の方程式を解く方法を忘れてしまうかもしれません。ギターの弾き方を学ぶと、母国語を話す方法を忘れてしまうかもしれません。これは単なる人間の生物学的な癖ではありません。今日の私たちが構築している人工知能（AI）システムにとっての大きな頭痛の種なのです。機械学習の世界では、この現象は「破滅的忘却（catastrophic forgetting）」と呼ばれています。

通常、AIに新しいタスクを教えるとき、私たちは過去のレッスンから例を示して、すでに知っていることを思い出させます。しかし、もしそれができないとしたらどうでしょう？プライバシー法や厳格なメモリ制限によって、AIが以前のレッスンからの古い写真、文書、またはデータを保存することが禁止されているとしたら？AIは、過去の参照資料に立ち返ることなく、新しいことを学びながら、古いスキルを維持しなければなりません。これが「エグゼンプラー・フリー（exemplar-free：例示を用いない）」の課題です。現在のほとんどのAI手法は、過去に自分の脳がどのように変化したかを数学的に記憶することでこれを解決しようとしますが、これには、古いデータがない場合には単純に存在しない特定の数学的信号（「勾配（gradient）」と呼ばれます）が必要となります。

ここで、ルールブックを完全に投げ捨てることでこのパズルを解こうとする新しいアプローチ、EvoCLが登場します。勾配を用いて完璧な数学的経路を計算しようとする代わりに、EvoCLは自然に触発された手法、すなわち「進化」を使用します。これは、AIが自分自身のわずかに異なるバージョンの全集団（ポピュレーション）を作成し、それらすべてをテストし、最も優れたものを保持し、それらを混ぜ合わせてさらに優れた次の世代を作り出すという、「正解を推測するゲーム」のようなものです。これは、過去のデータを見戻したり、標準的な数学的信号を使用したりする必要のない学習方法です。

問題点：AIのアムネジア（記憶喪失）

ニューラルネットワーク（現代のAIの背後にある脳のような構造）の世界には、根強い恐怖があります。ネットワークに新しいことを教えると、古い知識を上書きしてしまう傾向があるという懸念です。それは、ノートに新しい章を書き込んでいるようなものですが、そのインクがあまりに強力なため、前のページまで滲んで消してしまうようなものです。これを防ぐために、ほとんどの科学者は「バックプロパゲーション（誤差逆伝播法）」というテクニックを使用します。これは、本質的には、過去と現在の両方の情報を記憶するためにネットワークの設定をどのように微調整すべきかを計算する洗練された方法です。

しかし、この手法は「エグゼンプラー・フリー」のシナリオにおいて壁に突き当たります。これは、プライバシー上の懸念やメモリ制限により、AIが過去のタスクの生データを保存することができない設定です。古いデータがないため、AIは過去のタスクに必要な数学的信号（勾配）を計算することができません。それは、古い部品の設計図を一度も見ることなく、車のエンジンを修理しようとしているようなものです。その結果、AIは古いスキルから逸脱し、急速に忘却してしまいます。

解決策：方程式ではなく進化を

Grzegorz Rypeść氏率いる著者らは、急進的な転換を提案しています。AIに（見つけられない）勾配を無理やり計算させようとする代わりに、**進化戦略（Evolution Strategy: ES）**を使用することを提案しています。

あなたが、隠された宝物に到達するために、深い霧に包まれた森の中を通る最適なルートを見つけようとしていると想像してください。

• 従来の方法（勾配降下法）： あなたは、どちらの方向が宝物に向かって「下」に向かっているかを知るために、足元の地面の正確な傾斜を計算しようとします。しかし、霧の中（古いデータがない状態）では、地面が見えないため、計算が狂い、迷子になってしまいます。
• EvoCLの方法（進化戦略）： 計算する代わりに、探検隊のチーム（AIモデルの集団）を送り出します。各探検家は、それぞれ少しずつ異なる経路を進みます。誰が最も多くの宝物を見つけたか（最高のパフォーマンス）を確認します。次に、最も優れた2人の探検家の経路を混ぜ合わせ（交叉）、そこに少しのランダムな彷徨（突然変異）を加えて、新しい、より優れた探検家チームを作り出します。これを、完璧な経路が見つかるまで繰り返します。

この方法には、過去の「傾斜」を知る必要はありません。単に、どの解決策が他のものよりも優れているかを知るだけでよいのです。

EvoCLの仕組み：魔法のアダプター

一つ難しい点があります。AIは、古いデータを持っていないのに、どうやって新しい経路が「過去」のタスクにとっても良いものかどうかを知ることができるのでしょうか？

EvoCLは、「潜在バッファ（Latent Buffer）」と「アダプター・ネットワーク（Adapter Network）」を用いた巧妙なトリックを使用しています。

1. メモリバンク： タスクを終了した後、AIは生の画像やテキストを保存しません。代わりに、学んだことの非常に小さく圧縮された要約（「潜在特徴」と呼ばれます）を保存します。これは、絵画そのものではなく、絵画のスケッチを保存するようなものです。非常に少ないスペースで済み、プライバシーも保護されます。
2. 翻訳機（アダプター）： AIが新しいタスクを学習するにつれ、その内部の「言語」は変化します。古い時代のスケッチは、新しい文脈では意味をなさなくなるかもしれません。そこで、EvoCLは、それらの古いスケッチを新しい言語に変換するための、小さな一時的な翻訳機（アダプター・ネットワーク）を訓練します。
3. シミュレーション： AIはこれらの翻訳されたスケッチを取り込み、それらが「本物の古いデータ」であるかのように振る舞います。そして、これらのスケッチに基づいて「擬似的な」損失（エラーの尺度）を計算します。これにより、進化アルゴリズムは、新しい設定が現在のタスクと「シミュレートされた」過去のタスクの両方に役立つかどうかをテストすることができます。

実験結果が示したこと

研究者たちは、単純な手書き数字（MNIST）から複雑な飛行機の画像（FGVCAircraft）、そして異なるドメイン（DomainNet）に至るまで、いくつかの標準的なデータセットでEvoCLをテストしました。彼らは、この問題を解決しようとする既存の最高の手法と比較しました。

結果は有望でした。EvoCLは一貫して競合相手を上回りました。

• MNISTデータセット（手書き数字）において、ECLは3つのタスクを同時に学習した際に**92.3%**の最終精度を達成し、次点の優れた手法を大幅に引き離しました。
• より困難なFashionMNIST（衣類の画像）では、**77.2%**の精度に達し、ここでもトップを維持しました。
• 複雑なCIFAR100（100種類の異なる物体クラス）においても、EvoCLは高い水準を維持し、**24.8%**の精度を達成しました。これは他の手法に対する明確な改善です。

また、論文では、進化的な手法が、勾配が欠落している場合に実際に標準的な数学的手法（SGD）よりも優れているかどうかを確認するための特定のテストも行いました。その結果、標準的な手法は惨めに失敗し、AIがほとんどすべてを忘れてしまう（精度が約**14%**まで低下するケースもあった）一方で、EvoCLは強力なパフォーマンスを維持していることがわかりました。これは、勾配を計算できない場合、進化こそが優れた戦略であることを示唆しています。

トレードオフ：速度か、賢さか

しかし、一つ注意点があります。EvoCLは、古いデータなしで記憶することに関してはより賢いのですが、速度は遅くなります。多くの異なるバージョンのAIを同時にテストする必要があるため、トレーニングに非常に時間がかかります。

• CIFAR100データセットにおいて、他の手法が約3分から20分でトレーニングできたのに対し、EvoCLは985分（16時間以上）近くかかりました。
• 著者らは、これはトレードオフであると述べています。つまり、データを保存せずに学習する能力を得るために、時間を支払うことになるのです。

限界と今後のステップ

論文では、これがまだあらゆる問題に対する魔法の杖ではないことを慎重に指摘しています。

• 規模： この手法は、中小規模のデータセットにはうまく機能します。著者らは、大規模なモデルに対しては「進化」のプロセスが膨大な計算リソースを必要とするため、ImageNet-1kのような巨大なデータセットではまだテストしていないことを認めています。
• 近似： この手法は、翻訳されたスケッチから計算される「擬似的な」損失に依存しています。もし翻訳機（アダプター）が優秀でなければ、AIは間違った学習をしてしまう可能性があります。
• メモリ： 生の画像を保存しないことでスペースは節約していますが、それでも圧縮されたスケッチとアダプター・ネットワークを保存する必要があります。

結論

この論文は、プライバシーやメモリ制限のためにAIが過去のデータを忘れることを強制される場合、常に使ってきたのと同じ数学を無理に適用しようとするのではなく、進化させるべきであることを示唆しています。集団ベースのアプローチと、過去をシミュレートするための巧妙な翻訳機を使用することで、EvoCLは、たとえ古い宿題を見ることが許されていなくても、AIが古いスキルを失うことなく新しいスキルを習得できることを示しています。これは、より低速で計算コストの高い学習方法ですが、データプライバシーが極めて重要な状況におけるAIの新たな扉を開くものです。