Identifying potentiating events in evolutionary search using replay experiments

あなたは、あるキャラクターが巨大なパズルを解こうとしているビデオゲームを観ていると想像してみてください。あなたは、そのキャラクターがついにコードを解読して勝利する場面を目にしますが、どのようにしてそこに到達したのかは全く分かりません。運良くトリックを見つけたのでしょうか？それとも、ゲームの途中で秘密のスキルを習得し、その後の展開を楽にしたのでしょうか？コンピュータサイエンスの世界には、「進化計算（Evolutionary Computing）」と呼ばれる分野があります。それは、細菌の代わりにコンピュータプログラムを「育てる」デジタルなシャーレのようなものです。私たちは、プログラムがバグの修正やロボットの動きの設計といった問題を解決できるようになるために、それらを混ぜ合わせたり、突然変異させたりして、時間をかけて「進化」させます。

通常、コンピュータプログラムが難しい問題を解決すると、私たちはただその勝利を祝います。しかし、科学者たちはこう疑問に思います。「なぜ今回は成功し、前回は失敗したのか？」特定のコードの変化が、後になって成功を可能にしたのでしょうか？ここで「ポテンシエーション（潜在能：potentiation）」という概念が登場します。これはビデオゲームにおける「パワーアップ」のようなものだと考えてください。そのパワーアップがすぐに効果を発揮しているようには見えないかもしれませんが、それはキャラクターに変化を与え、後に特定の鍵を見つけたとき、以前には開けられなかったドアを開けられるようにしてくれるのです。この論文が取り組んでいる問いは、「コンピュータが解決策を見つけることができたとしても、その時、コンピュータが実際には『賢く』見えていなかった場合に、どのようにしてその隠れたパワーアップを見つけ出すことができるのか？」という点です。

---

デジタル生命のテープを巻き戻す

この論文の中で、オースティン・ファーガソンとアレクサンダー・ラレジニは、「リプレイ実験（replay experiments）」と呼ばれる新しい手法を用いて、これらのデジタルの進化を研究する方法を紹介しています。これは、映画を「巻き戻す」ボタンを押すようなものだと考えてください。ただし、単に同じ映画をもう一度見るのではなく、異なる瞬間に映画を一時停止し、その時点でのキャラクターのコピーを作成し、その地点から多くの新しい映画をスタートさせるのです。

現実の世界では、科学者たちはこれを使って細菌の研究を行ってきました。彼らはラボの実験において、異なる日の細菌のサンプルを凍結保存します。その後、それらを解凍して再び進化させ、新しい種類の食べ物を食べるなどの新しい形質を発達させることができるかどうかを確認します。もしできるのであれば、細菌は以前の段階で、何らかの隠れた変化によってすでに「準備」を整えていたことを意味します。

著者らは、このアイデアをコンピュータプログラムの世界へと持ち込みました。彼らは、ソフトウェアに対しても同じことが可能であると主張しています。一つのプログラムが進化して成功するのをただ待つのではなく、進化のあらゆるステップでプログラムの「スナップショット」を保存することができます。そして、それらのスショットを取り出し、その時点から数百通りの少しずつ異なる進化のバージョンを実行することができるのです。これらの新しいバージョンがどれくらいの頻度で成功するかを見ることで、プログラムの「潜在能力（ポテンシャル／ポテンシエーション）」、つまり問題を解決する力を測定できるのです。

大きな驚き：成功は必ずしも「強く」なることではない

著者らは、**遺伝的プログラミング（Genetic Programming）**と呼ばれる単純なタイプのコンピュータプログラムを用いてデモンストレーションを行いました。彼らは1,000個の異なるグループのプログラムを設定し、数字を「小さい」「大きい」「どちらでもない」に分類するという特定のパズルを解かせました。

ここで彼らが見つけたひねりがあり、それがこの物語の最も重要な部分です。「問題に対して上手くなっていること」が、必ずしも「勝利に近づいていること」を意味するわけではないのです。

実験の中で、彼らは2つの要素を追跡しました：

1. 適応度（Fitness）： プログラムがその瞬間にどれくらい上手くいっているか（ゲームのスコアのようなもの）。
2. ポテンシエーション（Potentiation）： もし進化を続けた場合、プログラムが完璧にパズルを解けるようになる「確率」。

テストグループの一つ（集団A）では、プログラムが「局所最適解（local optimum）」に陥りました。これは、ビデオゲームでプレイヤーがプラトー（停滞期）に捕まってしまったような状態です。彼らのスコアは改善を止め、長い間75%のまま停滞しました。観察者にとって、プログラムはただ空回りしているように見えました。しかし、その後、著者らが「巻き戻し」を行い、リプレイを実行したところ、驚くべきことが分かりました。

彼らは、そのグループの歴史のある特定の瞬間において、ポテンシエーションが1%から40%へと急上昇したことを発見したのです。プログラムのスコア（適応度）自体は全く変わっておらず、依然として75%に停滞していたにもかかわらず、彼らは突如として、パズルを完璧に解くことを可能にする「パワーアップ」を手に入れていたのです！

これは大きな発見です。なぜなら、進化的な探索においては、**「現在のスコアだけを見て、自分が勝っているかどうかを判断することはできない」**ということを示唆しているからです。プログラムは失敗している、あるいは行き詰まっているように見えるかもしれませんが、実はスコアにはまだ現れていない、成功への金鉱の上に座っている可能性があるのです。

その手法（「エンジニアリングされた」リプレイ）

これを証明するために、著者らは**「エンジニアリングされたリプレイ（engineered replay）」**という巧妙なトリックを用いました。例えば、赤い帽子を被ったキャラクターと、赤い帽子に青いスカーフを巻いたキャラクターの2つのバージョンがあるとします。どちらのアイテムが勝利に貢献したのかを知りたいとしましょう。

通常の（自然な）リプレイでは、単に「赤い帽子のバージョン」と「赤い帽子＋青いスカーフのバージョン」から新しいゲームを開始します。しかし、極めて正確を期すために、著者らは「エンジニアリングされた」バージョンを作成しました。彼らは、元の歴史には実際には存在しなかった「青いスカーフだけ」を身につけた新しいキャラクターを作成し、そこからもリプレイを実行しました。これにより、コード内のどの小さな変化が秘密のパワーアップであったのかを、正確に特定することができました。

これが将来に意味すること

この論文は、進化のすべての謎を解明したと主張しているわけではありませんが、リプレイ実験が、私たちが十分に活用できていない強力なツールであることを示唆しています。これは以下のことを示しています：

• 隠れた歴史が重要である： 解決策に到達するまでにプログラムが辿った経路は、解決策そのものと同じくらい重要です。
• 適応度は嘘をつく： 高いスコアが必ずしも最も難しい問題を解く準備ができていることを意味するわけではなく、低いスコアが絶望的であることを意味するわけでもありません。
• 「なぜ」を見つけられる： 巻き戻してリプレイすることで、プログラムがどのようにして必要なパワーアップを手に入れたのか、その瞬間を特定できます。

著者らは、将来的に科学者が、なぜ一部のコンピュータ探索は失敗し、他の探索は成功するのかを理解するために、このリプレイ実験を用いるようになることを期待しています。いつの日か、スコアが悪く見えても、隠れたパワーアップがすぐそこにあることを察知して、継続すべきかどうかを判断できる、より優れたアルゴリズムを設計できるようになるかもしれません。今のところ、この論文は、デジタルのジャングルにおいては、スコアボードには決して現れない変化こそが最も重要な変化であるかもしれない、ということを思い出させてくれる素晴らしい一冊です。