HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection

あなたは、雲の中にまで届き、霧の中に消えていく巨大な棚が続く、混沌とした広大な図書館に足を踏み入れたところだと想像してください。ここは「本」の図書館ではなく、「基盤モデル（foundation models）」の図書館です。これらは、チャットボットから医療診断ツールまで、あらゆるものを動かす巨大で再利用可能な「脳回路」です。ソフトウェアエンジニアリングの世界において、これらのモデルは車のエンジンのようなものです。見た目がかっこいいからとか、単に最も人気のあるブランドだからという理由だけで選ぶことはできません。自分の車体（シャーシ）に適合するか、手持ちの燃料で走れるか、そして段差に当たった時に壊れないかを知る必要があるのです。

問題は、この図書館が成長するスピードがあまりにも速いため、人間がすべてのラベルを読み切ることができないことです。通常、人々は最もダウンロード数が多いアイテムを選んだり、超スマートなロボット（AI）にアドバイスを求めたりします。しかし、ロボットに尋ねることは、手品師にレシピを教わるようなものです。彼らは美味しい答えをくれるかもしれませんが、どうやってそれを作ったのかは分かりませんし、時にはデタラメを言うこともあります。この論文は、研究チームによって書かれており、シンプルでありながら非常に難しい問いを投げかけています。「図書館が大きすぎてすべてを読み切ることもできず、手品師たちが少し謎めいているとき、どうすれば自分の車に最適なエンジンを選べるのか？」と。彼らは、単なる推測ではなく、「なぜそれを選んだのか」を実際に説明できる新しい選択方法を提案しています。それは、魔法のような当て推量を、明確で監査可能なチェックリストへと変えるものです。

---

問題点： 「人気投票」の罠

現在、Hugging Faceのようなプラットフォームで基盤モデルを探すことは、単にどれだけ多くの人がその携帯電話を買ったかだけで新しいスマホを選ぶようなものです。「ダウンロード数」や「いいね」の順で並んだリストが目に飛び込んできます。しかし、人気があることと、パフォーマンスが高いことは別物です。あるモデルが有名だからといって、古代の言語を翻訳したり、小さなノートパソコン上で動作したりといった、あなたの特定のニーズに応えられるとは限りません。

著者らは、モデル選びは単純なキーワード検索や人気投票であってはならないと主張しています。それは複雑なソフトウェアエンジニアリングの決定なのです。機能的なニーズ（コードを書けるか？）、運用上の制約（メモリに収まるか？）、そして品質への懸念（信頼できるか？）のバランスを取らなければなりません。人気だけに頼ったり、ブラックボックスであるAIにアドバイスを求めたりすることは、なぜそのモデルが選ばれたのかという理由が見えないまま、暗闇に取り残されることを意味します。

解決策： 説明可能な司書「HugSelect」

ここで、HugSelectの登場です。HugSelectを「マジック・エイト・ボール（運勢を占う魔法の球）」ではなく、図書館にあるすべての本を読み、全ページに詳細なメモを取った、超組織的で超論理的な司書だと考えてください。

HugSelectがどのように機能するかを、楽しい比喩を使って説明します。

あなたが特定の種類の車を探していると想像してください。あなたは司書にこう言います。「雪道でも走れて、サンルーフが付いていて、価格は2万ドル未満の車が必要です」

• 従来の方法（人気重視）： 司書は、ヒーターが付いていないコンバーチブル（オープンカー）であっても、ショールームで最も人気のある車を指さします。
• 従来の方法（魔法のAI）： 司書は「これは素晴らしい車だと思います！」と言いますが、なぜそう思うのか、あるいはエンジンのスペックがどうなっているのかを教えることができません。
• HugSelectの方法： 司書は巨大なスプレッドシートを取り出します。そして、すべての車に対して「雪」、「サンルーフ」、「価格」の列をチェックします。各車がニーズにどれだけ合致しているかに基づいてスコアを付けます。そして、次のようなレポートをあなたに渡します。「車Aは、サンルーフがあり安価なので90点ですが、雪にはあまり強くないので減点されました。車Bは、雪には最適ですが、高価なので85点です」

HugSelectは、AIモデルに対しても全く同じことを行います。それは71,274ものモデルからなる膨大な「知識ベース」を構築します。単にタイトルを見るだけでなく、モデルの説明文を読み、コードをチェックし、さらにはコミュニティの議論（RedditのスレッドやQ&Aサイトなど）をスキャンして、モデルの信頼性や速度について人々が実際に何を考えているかを確認します。

仕組み： 3つの材料

すべてのモデルに対して「スコアカード」を作成するために、HugSelectは3種類の材料を混ぜ合わせます。

1. メタデータ： ライセンスの種類（無料で使えるか？）やファイルサイズといった、動かしがたい事実。
2. 機能的特徴： そのモデルが実際に「できること」。説明文に「画像を扱える」と書いてあるか？ 数学の問題を解く推論ができるか？ HugSelectはテキストを読み取ってこれらの能力を見つけ出します。
3. 認識された品質： これは「噂話」の欄です。コミュニティで何が語られているかを分析します。もし人々が「頻繁にクラッシュする」と不満を漏らしていれば、HugSelectは「信頼性」の項目で減点します。もし「非常に高速だ」と言われていれば、スコアが上がります。

これらのデータを集めた後、HugSelectは**重み付き合計モデル（Weighted Sum Model: WSM）**と呼ばれる数学的手法を使用します。あなたが学生を採点している場面を想像してください。「数学」が成績の50％で「芸術」が10％である場合、HugSelectはあなたが最も重視することに基づいてスコックを加算します。もしあなたが「スピードは気にしない、ただ信頼性が欲しいんだ」と言えば、HugSelectは即座に重みを調整してリストを再ランク付けします。

結果： 実証実験

研究者たちは、HugSelectが実際に機能するかどうかを検証するために、一連のテストを行いました。単なる推測ではなく、厳しいテストにかけました。

• 読解テスト： HugSelectがモデルの説明やコミュニティのレビューを正しく読み取れるかどうかをチェックしました。機能については約80%、品質属性については約**84%**の精度で正解を出しました。乱雑な人間のテキストを読むロボットとしては、かなり優秀な結果です！
• 対決： HugSelectを、4つの有名な商用AIシステム（ChatGPT、Claude、Geminiなど）と比較しました。彼らに「医療向けQ&Aボットのためのモデルを見つけてください」といった44種類の異なるシナリオを与えました。
  • HugSelectは、正しいモデルの「系統（ファミリー）」を**91%**の確率で見つけ出しました。
  • 正確な「モデルそのもの」を見つけた確率は**61%**でした。
  • これは、大手商用AIと同等の性能でした（特定のモデルを見つける能力では商用AIの方がわずかに優れているものもあり、逆に劣っているものもありました）。しかし、HugSelectには大きな利点がありました。それは透明性です。商用AIは単に答えを出すだけでしたが、HugSelectは答えに加え、どの機能がモデルの得点や減点に影響したのかを示す数学的な根拠を提示しました。

「なぜ重要か」という要因

HugSelectが最も重要に貢献しているのは、意思決定を**監査可能（auditable）**にすることです。ソフトウェアエンジニアリングにおいて、「AIがこれを使うように言ったから」という理由は通用しません。上司やクライアント、あるいは安全検査官に対して、なぜそれを選んだのかを説明できなければならないからです。

研究者たちはまた、AIに詳しい10人の専門家を対象とした「ユーザー調査」も行いました。これらの参加者は、HugSelectが有用で使いやすいと感じました。彼らは、トレードオフ（妥協点）を確認できる点を高く評価しました。例えば、「モデルAは速いが信頼性は低い。一方でモデルBは遅いが非常に堅実である」といった具合に、違いを把握できるのです。これにより、人間はブラックボックスを盲信することなく、より良い判断を下せるようになります。

結論

この論文は、AIモデルの選択を「運任せ」や「人気投票」として扱うのをやめるべきだと示唆しています。細かい規定を読み、コミュニティの声に耳を傾け、その計算過程を説明するシステムを構築することで、HugSelectは自信を持って適切なツールを選ぶ方法を提示しています。これは完璧を謳っているわけではありません。研究者たちは、コミュニティのフィードバックが乱雑である場合があることや、「最高の」モデルという「正解（グラウンド・トゥルース）」を見つけるのが難しい場合があることも認めています。しかし、適切なデータの組み合わせと明確な論理があれば、混沌としたAIモデルの図書館を、整理された説明可能なツールボックスに変えられることを証明しています。

要するに、HugSelectは、単に最も人気のある本を指さすだけでなく、その本を開いて、最も優れた部分をハイライトし、なぜそれがあなたの物語にとって正しい選択なのかを正確に教えてくれる司書なのです。