From Classification to Regression: Using a Fruitfly to Solve Equations

あなたはコンピュータに未来を予測する方法を教えようとしていると想像してください。通常、私たちはコンピュータに対し、世界がどのように機能するかを最初から最後まで説明する、巨大で包括的なルールブック――単一の巨大な数式――を学習させようとします。それは、チェスの最初の一手を指す前に、考えられるすべての動きをすべて暗記しようとするようなものです。これは機能しますが、スーパーコンピュータの脳を必要とし、実行に膨大な時間がかかります。しかし、自然界にはもっと賢いやり方があります。キッチンを飛び回るショウジョウバエのことを考えてみてください。それは、家全体の巨大な地図を小さな頭の中に持っているわけではありません。その代わりに、周囲の環境を察知し、馴染みのある「香り」やパターン（腐った果物の匂いなど）を認識し、その特定の場所について学んだことに基づいて反応します。家全体の物理学を知る必要はありません。ただ、「今、この瞬間」に何をすべきかを知っていればよいのです。

「分類から回帰へ：方程式を解くためのショウジョウバエ（From Classification to Regression: Using a Fruitfly to Solve Equations）」と題されたこの論文は、このショウジョウバエの戦略を模倣することで、コンピュータに複雑な数学の問題を解かせる新しい方法を探求しています。科学の世界において、「回帰（regression）」とは、入力と出力の間の関係を見つけることを指す、単なる専門用語です（例えば、金属棒を加熱する時間に基づいて、それがどれくらい熱くなるかを予測することなど）。通常、科学者はこれを行うために、一つの巨大で複雑なモデルを構築しようとします。しかし、この論文は、一つの巨大な脳を作るのではなく、「パターンの小さなライブラリ」を使うべきだと提案しています。それは、まるで「選択型アドベンチャー・ブック（choose-your-own-adventure book）」のようなものです。あらゆる状況に対して新しい物語を書く代わりに、いくつかの主要なシーン（パターン）を用意し、それらをどのように混ぜ合わせてその瞬間の物語を伝えるかというルールを設定するのです。著者たちは、問題を「これはどのパターンに最も似ているか？」というゲーム（分類）として扱い、答えをブレンドすることで、コンピュータが難しい方程式を驚くほど速く、メモリ消費を抑えつつ、かつ驚くほど正確に解けることを示しています。

ショウジョウバエの秘密：空気を嗅ぐことで方程式を解く

著者であるパシフィック・ノースウェスト国立研究所のシャディ・E・アーメドとパノス・スティニスは、巧妙なトリックを提案しています。それは、全体の地図を学ぼうとするのではなく、ランドマーク（目印）を学ぶことです。

従来の機械学習では、システムが時間の経過とともにどのように変化するか（天候や惑星の動きなど）を予測したい場合、通常、巨大なニューラルネットワークを訓練して「グローバル・サロゲート（全域近似モデル）」として機能させます。これは、一度に全入力空間を理解しようとする単一の複雑なモデルです。問題は、これらのモデルは巨大で、高価で、動作が遅くなることです。それは、たった一冊の本を見つけるためだけに、議会図書館全体をバックパックに入れて持ち歩こうとするようなものです。

著者らは、ほとんどの科学的データは、実際には全空間を満たしているわけではないと主張しています。惑星は宇宙の中をランダムに飛び回るわけではありません。特定の軌道に従います。ショウジョウバエは壁に向かって直進するわけではありません。食べ物の香りに従って飛びます。これらのシステムは、同じ「レジーム（領域）」や振る舞いを何度も繰り返します。論文は、グローバルなルールを学習する代わりに、代表的なローカル・パターンの有限のライブラリを構築すべきだと提案しています。

「フルーツフライ・リグレッサー（Fruitfly Regressor）」がどのように機能するかを、香りの比喩を用いて説明します：

1. 香りのライブラリ（パターン）： あなたが「香り（パターン）」のライブラリを持っていると想像してください。各香りは、システムの特定の、繰り返し現れる振る舞いを表しています。揺れる振り子の場合は、あるパターンは「左へ速く振れる」、別のパターンは「頂上でゆっくり止まる」といったものです。
2. 嗅ぎ分けテスト（類似性）： 新しい状況（「クエリ」）が発生したとき、コンピュータは方程式をゼロから解こうとはしません。代わりに、その状況を「嗅ぎ」ます。現在の状態を、ライブラリにあるすべての「香り」と比較します。
3. 加重混合（再構成）： コンピュータは、単に「最高の一つ」の香りを選ぶだけではありません。現在の状況がそれぞれの香りにどれくらい似ているかを計算します。もし、それが「速い左への動き」に60％、「ゆっくりとした頂上での停止」に40％似ているなら、それら二つのパターンの既知の答えを混ぜ合わせます（答えAの60％ ＋ 答えBの40％）。そして最終的な予測を得るのです。

このアプローチは、難しい回帰問題（連続的な数値を予測すること）を、分類問題（どのパターンが存在するかを特定すること）と、その後の単純な数学の問題（答えを混ぜること）へと変換します。

この論文が実際に明らかにしたこと

著者らは、この手法を二つの全く異なるタイプの問題、すなわち動的システム（惑星や流体のように、時間の経過とともに変化するもの）と、一般回帰（データにおける関係性の発見）に適用しました。

1. 動くショウジョブエ（動的システム）
彼らは、ロトカ・ヴォルテラ系（捕食者と被食者の個体数がどのように相互作用するかを示すモデル）と、ローレンツ系（混沌とした気象パターンを示す有名なモデル）にこの手法を適用しました。

• 結果： 非常に小さなパターンのライブラリ（わずか4個から32個のパターン）を用いても、モデルは高い精度でこれらのシステムの将来の振る舞いを予測できました。
• 驚きの事実： これらのパターンの「境界」が、システムの安定点（嵐の中心のようなもの）の周囲に自然に形成されることがわかりました。たとえ特定の領域においてあるパターンが「勝者」でなかったとしても、そのパターンは最終的な答えに寄与しており、それによって予測は滑らかで安定したものになります。
• 「未知の」方程式： ある実験では、彼らはシステムを支配する方程式さえ知りませんでした。彼らは一時的な「ヘルパー（補助）」モデルを使用してパターンを学習しましたが、パターンが見つかった後は、そのヘルパーを捨ててしまいました。最終的なモデルは、パターンとその応答を保持するだけで済みます。これは、通常必要とされる巨大なニューラルネットワークと比較して、メモリ消費の面で大きな勝利です。
• 継続学習： システムが変化した場合（例：天候が新しいパターンに移行した場合）、古いことを忘れることなく、ライブラリに新しい「香り」のパターンを単に追加できることを示しました。これは、AIが新しいことを学ぶ際に古い教訓を忘れてしまう「破滅的忘却」の問題を回避します。

2. ラボの中のショウジョウバエ（一般回帰）
彼らはまた、放物線に曲線をフィットさせることや、1次元ポアソン方程式（熱や電気がどのように広がるかを表す物理方程式）を解くことなど、標準的な数学の問題にもこの手法を適用しました。

• 設定： 入力変数（位置など）を「香り」として扱い、パターンをそれぞれ独自の「香りの雲」を持つ固定点として扱いました。
• 結果：
  • 単純な放物線に対しては、10個のパターンを使用し、テスト誤差は**0.1%**でした。
  • 10個の異なる正弦波（サイン波）からなる複雑な波に対しては、30個のパターンを使用し、誤差は約**1%**でした。
  • 鋭い角を持つトリッキーな物理問題（片側は放物線で、もう片側はゼロとなるもの）に対しては、100個のパターンの使用で、誤差は約**10%**でした。論文では、この高い誤差は関数が滑らかでない鋭いエッジを持っているために予想されるものであり、「香りの広がり」がその特定の形状に対して完全に調整されていなかったためであると述べています。
• 速度： 論文は、単純な問題については標準的なMacBookでパターンの値を解くのにわずか0.01秒しかかからず、最も複雑なものでもわずか3.5秒であったことを強調しています。

これが意味すること（および意味しないこと）

この論文は、複雑な問題を解決するために、必ずしも巨大で全知全能の脳を構築する必要はないことを示唆しています。問題を小さな認識可能な「パターン」のライブラリへと分解し、類似性に基づいてそれらを混ぜ合わせることで、以下のようなモデルを作成できます：

• より小さい： 保存するためのパラメータがはるかに少なくて済みます。
• より速い： オンライン予測ステップは、単なる類似性チェックと加重和であり、大規模な計算ではありません。
• より柔軟： 新しいデータが入ってくるにつれて、簡単に更新できます。

しかし、論文はこれがあらゆることに対する魔法の杖であるとは主張していません。著者らは、彼らの手法がデータの「繰り返される振る舞い」や局所的な構造に依存していることを明示しています。もしシステムが完全にランダムで、決してパターンを繰り返さない場合、このライブラリ方式は苦戦する可能性があります。また、結果は有望ですが、これらはシミュレーションと特定の数学的例に基づいたものであり、論文はこれがまだ現実世界の気候モデリングや生物学的システムを解決したと主張しているわけではありません。ただし、そのための道筋を示しています。

著者らはまた、まだ完全には解明できていない点についても指摘しています。例えば、パターンの「分散（香りの広がり）」をどのように選ぶべきかを正確には分かっていません。彼らは、分散を「ドメインのサイズをパターンの数で割ったもの」に設定するのが最適であることを発見しましたが、これは直感に反するように感じられました（ランダムウォーカーが直進することを期待するようなものです）。しかし、テストではそれが機能しました。また、パターンの数は、システムが現在のライブラリに対して複雑になりすぎた場合にのみ増えるように、適応的にできる可能性も示唆しています。

結局のところ、この論文は遊び心がありながらも強力な視点の転換を提示しています。海全体を暗記しようとするのではなく、海流を学べ、というものです。ショウジョウバエが局所的な香りを認識してナビゲートする能力を模倣することで、私たちはより軽いタッチで、世界で最も難しい方程式を解けるようになるかもしれません。