The Embedder's Dilemma: LLMs Are Better, but at What Cost?
本論文は、大規模言語モデルと特化型埋め込みモデルが37のタスクにおいて同等の総体的な性能を達成している一方で、埋め込みモデルはコストと速度において圧倒的に優れていることを示しており、埋め込みモデルが類似性と分類タスクを担い、LLMは推論集約型の検索用に取っておくという分業を示唆している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大な干し草の山の中から、特定の針を見つけようとしている場面を想像してみてください。人工知能の世界において、この「針」とは情報の断片であり、「干し草の山」とは膨大なテキストのデータベースです。長年、これを行うための標準的な方法は、「埋め込みモデル（embedding model）」と呼ばれる特化したツールを使うことでした。これらのモデルを、本を「読む」のではなく、文書の全体的な雰囲気に基づいて即座に独自の「カラーコード（ベクトル）」を割り当てる、超高速の司書だと考えてください。あなたが質問をすると、彼らは一致するカラーコードを持つ文書を見つけ出します。これは非常に高速で安価ですが、本の表紙だけで判断しているようなもので、その中にある深く複雑な意味を見逃してしまう可能性があります。
最近では、大規模言語モデル（LLM）と呼ばれる新しい種類のAIツールが非常に人気を集めています。これらは物語を書いたり、数学の問題を解いたり、会話をしたりできる「天才」モデルです。これほど賢いのであれば、「全文を読んで物語を理解できる天才がいるのに、なぜ速くて単純な司書を使う必要があるのだろうか？」と人々は考え始めました。大きな疑問はこうです。「より良い結果を得るために、速くて安い司書を、高価で遅い天才に入れ替えることはできるのか？」 本論文はこのジレンマに真っ向から切り込み、「天才」によるアプローチが、その莫大な代金を支払うだけの価値が本当にあるのか、それともほとんどの仕事においては依然として「司書」の方が優れているのかを検証しています。
研究者たちは、利用可能な最も賢い10種類のLLMと、最高の特化型埋め込みモデル26種類の間で、大規模な対決を設定しました。彼らは、メールをトピック別に分類することから、大量の文書の中から正しい答えを見つけ出すことまで、37種類の異なる課題を課しました。結果は驚くべきものでした。総計では、これら2種類のAIは実質的に引き分けでした。最も賢いLLM（Gemini 3.1 Pro）のスコアは77.6、最高の埋め込みモデル（Octen-8B）のスコアは77.2でした。このわずか0.4ポイントの差は、統計的なノイズと言ってもいいほど微々たるものです。
しかし、この引き分けの裏には大きな秘密が隠されています。それは「コスト」です。この0.4ポイントのわずかな優位性を得るために、LLMを実行するのに154ドルかかったのに対し、埋め込みモデルのコストはわずか0 believed 0.11ドルでした。つまり、LLMは同じ仕事をするために、1,431倍も高くついたのです。それは、郵便物を仕分けるために、ノーベル賞級の科学者のチームを雇うようなものです。単なる仕分け機を持ったインターンなら1ペニーで済むというのに。また、論文は、LLMは同じコンピュータハードウェア上で、埋め込みモデルよりもテキストの処理速度が2.5倍から736倍も遅いことも明らかにしました。
また、論文は「天才」であるはずのLLMが、必ずしも常に天才ではないことも発見しました。彼らは特定の事柄に長けているだけなのです。複雑な法的契約を理解したり、異なる文書間の点と点を結びつける必要がある答えを見つけ出したりといった、深い推論を必要とするタスクでは、LLMがリードしました。しかし、メールを分類したり、似たトピックをグループ化したり、2つの文章が同じ意味であるかどうかを確認したりするようなタスクでは、特化型の埋め込みモデルの方が実際により優れているか、あるいは同等の性能を発揮しました。実際、論文によれば、LLMはしばしば「考えすぎ（overthinking）」ていることが分かりました。研究者がLLMに対して、問題を解決するために大量の追加テキストを生成する「思考（thinking）」モードを使用しないよう指示したところ、モデルは一部のタスクにおいて実際により優れた成績を収め、かつ多額の費用を節約できました。これは、追加の推論が必ずしも必要ではないことを証明しています。
では、最終的な結論はどうでしょうか？ 論文は、単に最新の派手なツールに置き換えればよいというわけではないと示唆しています。代わりに、ハイブリッドなアプローチをとるべきです。まず、速くて安い埋め込みモデルを使用して、干し草の山を素早く絞り込み、最も可能性の高い候補を見つけます。そして、もし質問が本当に難しく、深い思考を必要とする場合は、その絞り込まれた少数の候補を精読させるために、高価なLLMを投入するのです。こうすることで、司書のスピードと低コスト、そして必要な時だけ天才の深い推論能力という、両方の良いとこ取りができます。論文は、日常的なタスクのほとんどにおいては、依然として特化型の埋め込みモデルがチャンピオンであり、高価なLLMは最も難しいパズルに対してのみ使用すべき贅沢品であると結論付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。