A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination

あなたは、ミステリーを解こうとしている探偵だと想像してください。ただし、手がかりとなるのは指紋やアリバイではなく、スプレッドシート上の数字です。あなたの目標は、それらの数字がどのように振る舞うかを説明する、整った書き言葉としての数学の方程式、すなわち隠された「レシピ」を見つけ出すことです。これは**記号回帰（Symbolic Regression）**の世界です。標準的なコンピュータプログラムが単に答えを出すために数字を計算するのとは異なり、記号回帰は、$F=ma$ や重力の公式のような、人間が読んで理解できる「自然の法則」そのものを書き出そうとします。それは、天気を予測するだけのブラックボックスと、なぜ嵐が来るのかを説明できる気象予報人の違いのようなものです。

長い間、科学者たちはコンピュータを使ってこれらのレシピを探し続けてきましたが、そのプロセスはしばしば不器用なものでした。それは、壊れた時計の歯車をランダムに入れ替えながら、動くことを祈るようなものです。もし時計が動かなければ、コンピュータは単に「悪いスコア」を受け取り、再び試行します。そして、しばしば同じ間違いを何度も繰り返します。近年、科学者たちは、これらの数式を見つけるために、大規模言語モデル（LLM）——あなたがよく知っている超スマートなAIチャットボット——を活用し始めました。これらのAIは、次に続く言葉（あるいは数学記号）を推測することには長けていますが、行き詰まったり、意味の通じない方程式を書いたり、データが複雑になると混乱したりすることがあります。大きな疑問は、「どうすれば、このAI探偵たちに、ランダムな推測をやめさせ、本物の専門家チームのように働いてもらえるのか？」ということです。

そこで登場するのが、数学の公式探索を単独行動ではなく、よく統制されたチームの努力として扱う新しい手法、A-SRです。この論文の著者であるZhao Wenxiao氏とその同僚たちは、従来のやり方があまりにも硬直的であることに気づきました。かつては、AIがただ方程式を提案し、スコアを受け取り、そしてまたやり直すだけでした。もし方程式が壊れていれば、AIは数字を増やして修正しようとし、もし単純すぎれば、より複雑にしようとしますが、それらは「なぜ失敗したのか」を真に理解することなく行われていました。

A-SRは、AIに「マネージャー」と「専門家チーム」を与えることで、ゲームのルールを変えます。ニュースルームを想像してみてください。編集長（コーディネーター）は、一人の記者に記事を書かせるだけではありません。代わりに、編集長は一日の出来事を見て、どの専門家が必要かを判断します。もし記事に間違いが多い場合は、事実確認を行うために**校閲者（Reviewer）を呼びます。もし記事が退屈で新しい切り口が必要なら、斬新なアイデアを練るために生成者（Generator）を呼びます。もし記事が長すぎて分かりにくい場合は、無駄を削ぎ落とすために簡略化担当（Simplifier）**を投入します。そして、もし物語に重要なピースが欠けている場合は、**分析者（Analyst）**がアーカイブを掘り下げて、失われた繋がりを見つけ出します。

A-SRが特別なのは、このチームが決まったスケジュールに従うわけではない点です。「編集長」は自己進化します。それは、探索がどのように進んでいるかをリアルタイムで監視します。もしチームが間違いのループに陥っていたら、編集長は戦略を切り替え、例えば、新しいアイデアの探索をやめて、壊れた部分の修正に集中するよう指示します。また、何が機能し、何が機能しなかったかについての「記憶」を保持し、その情報を適切な専門家にルーティングします。例えば、チームが特定の種類の数学的エラーのために失敗し続けている場合、その失敗は校閲者に送られ、校閲者はチームに対し、次回どのようにそれを避けるべきかを教えます。

この論文は、このアプローチが驚くほど効果的であることを示しています。化学物質の反応から材料の伸縮まで、さまざまな科学的パズルに対してテストを行った結果、A-SRは以前の手法よりもはるかに高い頻度で正しい数学的「レシピ」を見つけ出しました。Llama3.1-8Bというモデルを用いた一連のテストでは、成功率は約**25.79%から48.30%**へと跳ね上がりました。これは、AIが正しく解ける問題の数がほぼ倍増したことを意味します。さらに印象的なことに、これらのチームによる学習成果を、より小さなオープンソースのAIモデル（Qwen3-4B）に教え込んだところ、その小さなモデルの成功率も、**24.58%から38.29%**へと大幅に上昇しました。

研究者たちはまた、細菌の増殖や機械システムの振動といった、現実世界の科学データに対してもA-SRをテストしました。これらトリッキーでノイズの多い現実のシナリオにおいて、A-SRは8件中7件のケースで最適な数学的記述を見つけ出し、他のトップレベルの手法を打ち破りました。重要な教訓は、AIが数学に強くなったということだけではありません。AIが「自分の間違いについて考える方法」を学んだということです。何百万ものランダムな組み合わせを盲目的に試すのではなく、AIは自らの失敗を診断し、必要に応じて役割を切り替え、記憶を利用して同じ間違いを繰り返さない方法を学んだのです。それは、混沌とした単独の探索から、賢く調整されたエージェントのチームへと、役割を分担し、新しいアイデアを求めるべきか、それとも立ち止まって修正すべきかを熟知したマネージャーの導きのもとで、それぞれが最も得意とする仕事を行う体制への転換なのです。