MUSE: An Interactive Meta-Agent for Understanding and Steering LLM-powered Data Science Systems

データサイエンスとは、生の数字を、世界を説明する物語へと変える技術である。何十年もの間、この作業は、専門家が乱雑なデータをクリーニングし、カスタムコードを書き、結果が妥当であることを確認するために自らの作業を絶えず検証するという、遅く反復的なプロセスであった。それは、アナリストとデータの間の対話であり、一つの問いが次の問いへとつながり、新たなパターンが出現するにつれて初期の決定がしばしば再検討されるプロセスである。近年、「大規模言語モデル」として知られる強力なコンピュータプログラムが、この分野におけるアシスタントとして機能し始めている。これらのデジタルエージェントは、「どの顧客が製品の購入をやめるかを予測して」といった単純なリクエストを聞き取り、それに応答するために必要なコードを自動的に書き、データをクリーニングし、数学的モデルを構築することができる。これは複雑な分析を誰にでも利用可能にすることを約束する一方で、新たな問題を生み出した。すなわち、これらの自動化されたアシスタントが間違いを犯したとき、人間がどこで何が間違ったのかを見つけ出し、機械に修正方法を伝えることが非常に困難であるということだ。コンピュータの内部的な思考プロセスは、多くの場合、コードやテクニカルログが入り混じった混沌とした流れであり、非専門家には意味不明な文字列に見えるため、物事が軌道を外れたときにユーザーがプロセスを制御することができなくなっているのである。

パーデュー大学とマイクロソフト・リサーチの研究者たちは、この透明性と制御の問題を解決するために、「MUSE」と呼ばれる新しいシステムを開発した。MUSEは、人間のユーザーと自動化されたデータサイエンス・エージェントの間に位置する、インテリジェントな翻訳者であり、監督者として機能する。MUSEは、エージェントが行っていることを平易な英語で要約した単純な概要から、エージェントが書いた特定のコードの一行一行に至るまで、複雑なワークフローを5つの異なる詳細レベルに分解し、エージェントの活動を明確なステップ・バイ・ステップの物語へと再構成する。これにより、ユーザーはまず全体像を把握し、その後、本を読みながら文章が分かりにくい時にだけ脚注を確認するように、理解したい特定のステップにのみズームインすることができる。

このシステムは単に要約するだけでなく、トラブルに対して能動的に監視を行う。自動化されたアシスタントが作業を進める間、MUSEはその行動をリアルタイムで監視する。もしエージェントが重要なデータを削除したり、モデルの学習に欠陥のある手法を用いたりといった不審な動きをした場合、MUSEは即座にそのステップに警告フラグを立てる。極めて重要なのは、MUSEが単に「何かがおかしい」と言うだけではないという点である。それはなぜそのステップに問題があるのかを自然言語で説明し、その場でユーザーが修正できる方法を提示する。ユーザーは、フラグが立てられたステップをチャットボックスにドラッグしたり、システムに問題を説明させたり、あるいは推奨される修正案のリストから選択したりすることができる。これにより、ユーザーがエラーを探すために何時間ものログを調べたり、修正のために複雑な指示を書いたりする必要がなくなる。また、このシステムは結果の検証も支援し、エージェントが生成した数値が実際に正しいことを確認するためのシンプルなチェック機能を生成する。

このアプローチが本当に人々に役立つかどうかをテストするため、研究者たちは、技術的な経験レベルが異なる15人の参加者を対象とした調査を実施した。彼らは、3つの異なるセットアップを使用してデータサイエンスのタスクを完了するよう求められた。一つ目は、生の混乱したログのみが表示される設定、二つ目は、構造化された要約は見られるもののエラーを手動で修正しなければならない設定、そして三つ目は、フル機能のMUSEシステムを使用する設定である。結果は、この新しいシステムの明確な優位性を示した。MUSEを使用した参加者はタスクの完了が大幅に速くなり、生のログを見ていた参加者の平均26分に対し、平均17分で完了した。また、彼らは最終的な結果に対してより高い自信を持っていると報告した。この研究は、システムがユーザーがエラーを素早く発見し、技術的な詳細に迷い込むことなく修正するのを助け、混乱したブラックボックスを透明で協力的なパートナーへと効果的に変えたことを明らかにした。

研究者たちは、MUSEを使用することで人々のインタラクションの仕方が劇的に変化したことを観察した。MUSEがない場合、ユーザーは間違いを見つけようとして、コードの行を延々とスクロールし続ける傾向があり、そのプロセスは遅く、もどかしいものであった。MUSEを使用すると、彼らは「探索」することを止め、「検査」するようになった。彼らはシステムの警告を利用して問題のある領域へ直接ジャンプし、組み込まれたツールを使用して質問したり変更を要求したりした。この研究は、自動化されたデータサイエンス・ツールを使用する際の主な障壁は、コードを書く能力ではなく、自動化されたプロセスを理解し、導く能力であることを示唆している。コンピュータの出力を人間が読めるステップへと再構成し、介入するための直接的な手段を提供することで、MUSEは人間の意図と機械の実行の間の溝を埋め、強力なデータ分析をより幅広い人々にとって身近なものにしている。