💬 NLP

DiscoverLLM: From Executing Intents to Discovering Them

DiscoverLLM は、認知状態ベースのユーザーシミュレーターを通じてユーザーが曖昧な意図を発見し具体化するよう大規模言語モデルを訓練する新規フレームワークであり、その結果、創造的、技術的、視覚的タスクにおいてタスクパフォーマンスの大幅な向上、会話の短縮、およびユーザー満足度の向上が実現される。

原著者： Tae Soo Kim, Yoonjoo Lee, Jaesang Yu, John Joon Young Chung, Juho Kim

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tae Soo Kim, Yoonjoo Lee, Jaesang Yu, John Joon Young Chung, Juho Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがシェフに非常に特定の料理を注文しようとしているが、実際にはまだ何を食べたいのか分かっていないと想像してください。ただお腹が空いていて、「美味しいもの」が欲しいということだけ分かっています。

標準的なAIシェフに「美味しいものを作って」と頼むと、ステーキを推測して出すかもしれません。一口食べて「んー、ちょっと違うな」と言うと、シェフは「辛くしますか？」と聞きます。あなたは「分からない」と答えます。シェフは再び推測し、サラダを出すかもしれません。あなたは「いや、冷たすぎる」と言います。このやり取りは、シェフがあなたが何を求めているのか正確に知るのを待っているため、永遠に続く可能性があります。

DISCOVERLLMは、あなたが食事を目にするまで、自分が何を望んでいるのか分からないかもしれないという点をAIシェフに理解させるための新しいトレーニング方法です。

以下は、この論文がシンプルな比喩を用いて説明する内容です。

1. 問題点：「隠されたメニュー」

通常、AIモデルはあなたの頭の中に完全な注文（「完全に形成された意図」）があるものと仮定しています。彼らは自分の役割を、「熱いのがいいですか、それとも冷たいのがいいですか？」のような確認質問をすることだと考えています。

しかし、現実には、特に物語を書くや絵を描くといった創造的なタスクにおいて、例を見るまで答えが分からないことがよくあります。まだ辛いものを味わったことがなければ、シェフに「辛くして」とは言えません。辛いものを試すことで、自分が辛いものが好きだと発見する必要があるのです。

2. 解決策：「テイスティングメニュー」シミュレーター

研究者たちは、AIを訓練するために、人間のように振る舞う特別な「シミュレートされたユーザー（ロボット）」を構築しました。このロボットは、自分がまだ持っていないと気づいていない秘密の隠されたメニュー（好みのリスト）を持っています。

隠されたメニュー： ロボットには「詩が欲しい」「動物が欲しい」「猫が欲しい」「寝ている猫が欲しい」といった秘密の願望リストがあると想像してください。
発見のプロセス： 最初は、ロボットは「詩が欲しい」ということしか知りません。猫が欲しいとはまだ知りません。
AIの役割： 「どんな動物が欲しいですか？」と聞く（ロボットはまだ答えられない）のではなく、AIは異なるオプションを提示しようとします。
- AIの試行： 「犬についての詩はこちらです」
- ロボットの思考： 「犬でもいいけど、もっと柔らかいものがいいかも」（ロボットはペットを好むことを発見する）。
- AIの試行： 「寝ている猫についての詩はこちらです」
- ロボットの思考： 「そう！これだ！」（ロボットはついに真の意図を発見する）。

3. トレーニング：「促す」ことの学習

AIは報酬システムを用いて訓練されます。正しい答えを出すことだけでなく、ユーザーが何を望んでいるのか理解するのを手助けすることでポイントを獲得します。

悪い手： ユーザーが分からない状態で「猫が欲しいですか、それとも犬が欲しいですか？」とAIが尋ねると、AIはポイントを獲得できません。ユーザーは行き詰まります。
良い手： AIが犬の絵を見せ、ユーザーが「いいえ、もっと小さいものがいいかも」と言うと、AIはポイントを獲得します。これはユーザーが新しい好みを発見するよううまく「促す」ことに成功したからです。

この論文では、このバランスを**多様性（Divergence：探索するために多くの異なるオプションを示すこと）と収束（Convergence：ユーザーが何が好きか分かれば絞り込むこと）**と呼んでいます。

4. 結果：話すより行動する

研究者たちは、この新しいAIを物語の執筆、技術記事の作成、デジタル画像の描画などのタスクでテストしました。

より速い発見： 新しいAIは、古いモデルよりも約10%速くユーザーが望むものを見つけるのを手助けしました。
短い会話： AIが無意味な質問を止め、役立つ例を示し始めたため、会話は40%短縮されました。
幸せなユーザー： 実際の人間を対象とした研究では、人々は新しいAIの方がより役立つと感じ、自分自身で何を望んでいるのか確信が持てない場合でも、そのニーズを「先取り」しているように思えました。

全体像

古いAIは、メニュー全体を読んで注文するのを待つウェイターだと考えてください。
新しいDISCOVERLLMは、異なる料理の小さなサンプルを持って来るテイスティングシェフだと考えてください。それらを味わうにつれて、「ああ、実は辛いものが好きなんだ！」や「冷たいスープは嫌いなんだ」と気づくのです。

この論文は、AIに指示を待つだけでなく、探索を通じて自分自身の好みを発見させるようなテイスティングシェフになるよう教えることで、創造的でオープンエンドなタスクにおいてAIをより効果的にできる、と主張しています。

技術サマリー：DISCOVERLLM

問題定義

現在の大規模言語モデル（LLM）は、主にユーザーの意図を実行し、引き出すように訓練されており、ユーザーは完全な（場合によっては明確化されていない）目標を持って対話を開始するという前提に立っています。しかし、書き物やデザインなど、開放的で創造的かつ未定義のタスクでは、ユーザーは当初、明確な意図を持たないことがよくあります。代わりに、ユーザーは潜在的な結果を観察し、探索することで、自分が何を望んでいるかを発見します。マルチターン微調整やプロンプト戦略を含む既存のアプローチは、意図が隠れているが静的であると仮定し、明確化の質問を通じてそれを表面化することに焦点を当てています。しかし、「どのようなトーンを望みますか？」といった質問にユーザーが答えられない場合（まだその好みが形成されていない場合）、このアプローチは失敗します。核心的な課題は、既存の意図を単に引き出すだけでなく、協働的な探索を通じてユーザーが自らの意図を発見し、形成するのを積極的に支援するモデルを訓練することです。

手法：DISCOVERLLM フレームワーク

著者らは、意図の引き出しとは異なる問題として意図の発見を実用的にする、汎用可能な訓練フレームワークであるDISCOVERLLMを提案します。このフレームワークは、潜在的で階層的な意図構造を持つユーザーの認知状態をモデル化する、新しいユーザーシミュレーターに依存しています。

1. 対話を通じた意図の発見

このフレームワークは、意図の形成を段階的な洗練プロセス（ $I_0 \subseteq I_1 \subseteq \dots \subseteq I_T$ ）として形式化します。

潜在的意図の階層化: ユーザーの意図は木構造（ $H$ ）として表現され、ノードは広範なもの（例：「動物が含まれる」）から具体的なもの（例：「ソファで眠るトラ猫が含まれる」）まで範囲にわたります。
発見状態: ノードは「未発見」「萌芽中」「発見済み」のいずれかの状態に存在します。ユーザーは「発見済み」の意図のみを表明できます。
応答駆動型の進行: アシスタントの応答（ $r_t$ $r_{t}$ ）が状態遷移を決定します。
- 直接的関与: 応答が意図を明示的に問うか、またはその意図を満たす場合、そのノードは「発見済み」となります。
- 傍系的関与: 応答が一致しないが関連するオプションを提示する場合（例：ユーザーが猫を望んでいるのに犬を提案する）、累積スコアに寄与します。閾値を超えると、ノードは「未発見」から「萌芽中」または「発見済み」へと進展し、ユーザーが自分が何を望んでいないかを見ることで好みを絞り込む様子をモデル化します。
表現性の制約: シミュレーション内のユーザーは、発見済みの意図のみを表現できます。意図が「萌芽中」である場合、ユーザーは「多分何か違うもの」のような曖昧なフィードバックしか提供できず、モデルがユーザーがまだ提供できない具体的な詳細を単に求めることを防ぎます。

2. 報酬計算

このフレームワークは、訓練を導くためにターンごとの報酬（ $R$ ）を計算します。

発見の進展（ $R_d$ ）: 発見された意図の数（ $|I_{t+1}| - |I_t|$ ）の増加を測定します。これにより、潜在的な好みを表面化させたモデルが報酬を得ます。
効率性ペナルティ（ $R_e$ ）: 過度な応答長を罰し、簡潔な対話を促します。
総報酬: $R(r_t) = R_d(r_t) + R_e(r_t)$ 。設計上、発見が最優先され、効率性は二次的な制約として扱われます。

3. 訓練パイプライン

ユーザーシミュレーターと報酬関数を用いて、このフレームワークは複数の訓練パラダイムをサポートします。

合成データ生成: 会話をシミュレートし、**教師あり微調整（SFT）**用の高品質データセットを生成します。
選好最適化: **直接選好最適化（DPO）**のためのペアワイズ比較（選ばれた応答 vs 却下された応答）を作成します。
オンライン強化学習: PPOやGRPOなどのアルゴリズムを用いて、報酬信号に基づいてモデルを直接最適化します。

主要な貢献

意図発見の形式化: 本論文は、隠れた意図を引き出すことと、未形成の意図を発見することを区別し、意図の具体化がアシスタントによる解決空間の探索によって駆動されるという形式的モデルを提案します。
新しいユーザーシミュレーター: ユーザーの認知状態を意図の階層としてモデル化するシミュレーターであり、標準的な訓練セットでは以前は利用不可能だった意図発見に対する報酬の計算を可能にします。
訓練フレームワーク: LLM に発散（抽象的な意図を探るためのオプションの探索）と収束（具体的な意図を満たすための出力の洗練）のバランスを教える完全なパイプライン（SFT、DPO、RL）です。

実験結果

このフレームワークは、ベースモデルとして Llama-3.1-8B-Instruct と Qwen3-8B を使用し、クリエイティブライティング、テクニカルライティング、SVG 描画の 3 つのドメインで評価されました。

性能向上: DISCOVERLLM は、最良のベースライン（プロンプトや COLLABLLM を含む）と比較して、意図発見が10% 以上、意図満足度が11% 以上向上しました。
効率性: タスク性能を維持または向上させながら、会話長を最大**40%**削減しました。
相互性: 相互性のスコアが**83%**向上し、より効果的な協働を示しています。
行動分析: 単一のドラフトを修正するだけの純粋な収束傾向を持つベースモデルや、発散に過剰適合する（無限のオプションを提供する）SFT モデルとは異なり、DISCOVERLLM のバリアントは、発散的な探索と収束的な洗練の間を行き来するバランスの取れたパターンを示しました。
汎化性: このアプローチは、未見のドメイン（旅行計画、Web 開発）や異なるシミュレーター設定（バックボーン LLM や更新則の変化）にも汎化しました。
ユーザー調査: 75 人の人間参加者による調査において、DISCOVERLLM はベースラインと比較して、より高い相互作用およびライティング満足度スコアをもたらし、タスク完了時間を短縮しました。参加者は、モデルが自らの潜在的意図を「予期」しているように感じたと指摘しました。

意義と主張

本論文は、DISCOVERLLM が、単に指示を実行するモデルから、ユーザーと共に問題を探索し形作る能動的なパートナーへと、人間中心の AI を転換させるものであると主張しています。ユーザーが事前計画ではなく、行動を通じて自らのニーズを発見するという認知現実に対処することで、このフレームワークは、AI が未定義で開放的なタスクをより効果的に支援することを可能にします。著者らは、このアプローチが安全性の整合性を損なうことなく、ユーザーの意図が当初流動的である複雑で創造的な取り組みにおいて協働するモデルを訓練するためのスケーラブルな方法を提供することを強調しています。この研究は、静的なユーザー目標を仮定するのではなく、問題空間と解決空間の共進化を促進するように将来の AI システムを設計すべきであることを示唆しています。