技術概要：SeDT – 多ターン会話の信頼性向上のための Sentence-Transformer Decision-Transformer 条件付け

1. 問題定義：「会話に埋没する」現象

大規模言語モデル（LLM）は、タスクが単一のターンで完全に指定される場合と比較して、複数のターンにわたって段階的に提示される場合、顕著な性能の崩壊を示します。この現象は「Lost in Conversation（会話に埋没）」（Laban et al., 2025）として記録されており、最先端のモデル全体で平均 39% の性能低下をもたらします。

重要なのは、この論文が、この崩壊は主に能力の欠如ではなく信頼性の失敗であると主張している点です。最良の場合の適性（90 パーセンタイル）の低下はわずか 16% ですが、信頼性の欠如（90 パーセンタイルと 10 パーセンタイルの間のギャップ）は 2 倍以上（+112%）に拡大します。

根本原因は構造的であると特定されています：

• 平坦な文脈重み付け：多ターン会話は、すべての以前のターンが等しい暗黙的な重みを持つ平坦な文脈ウィンドウに連結されます。
• 注意バイアス：トランスフォーマーモデルは体系的に中間文脈の情報を無視します（「U 字型」の注意バイアス）。これにより、会話の途中で明らかにされた重要な制約がノイズとして扱われます。
• 失敗モード：これにより、回答への早急なコミットメント、誤った中間回答への過度な依存、中間ターンの制約の喪失、および冗長な逸脱が生じます。

ファインチューニングなどの既存の解決策は、キュレーションされたデータと重みの変更が必要となるため、推論時には実用的ではありません。「要約（recapitulation）」（履歴の繰り返し）のような他の文脈管理戦略は、重要な制約と偶発的な対話を区別できないことが多く、失敗します。

2. 手法：SeDT

著者は、オフライン強化学習からのReturn-to-Go（RTG）条件付けを導入することで、平坦な文脈重み付けを解決する、トレーニング不要の推論時手法であるSeDT（Sentence-transformer Decision-Transformer conditioning）を提案します。

2.1 形式的な類似性

SeDT は、Decision Transformer（Chen et al., 2021a）と多ターン LLM 推論の間に直接的なアナロジーを導き出します：

• 軌道（Trajectory）：会話履歴。
• ステップ（Step）：単一のターンで明らかにされる各情報断片。
• 報酬（Reward）：最終的な出力目標に対するその断片のセマンティックな関連性。
• Return-to-Go（RTG）：モデルに重要度を推測させるのではなく、SeDT は各断片に累積的な関連性スコア（$\hat{R}_t$）を注釈付けします。これは、そのターン以降にまだ到来する目標関連情報の総量を表します。

最終ターンのモデルへの入力は、ターンの平坦なリストから、注釈付きタプルの列に変換されます：$[(\hat{R}_1, \text{shard}_1), \dots, (\hat{R}_T, \text{shard}_T)]$。

2.2 3 つのシグナルによる関連性スコアリング

各断片の関連性（$rel(t)$）を計算するために、SeDT は 3 つの相補的なシグナルを組み合わせます：
$$rel(t) = \alpha \cdot sem(t) + \beta \cdot lex(t) + \gamma \cdot pos(t)$$
ここで、重みは経験的に $\alpha=0.6, \beta=0.2, \gamma=0.2$ に設定されます。

1. セマンティックシグナル（$sem$）：断片とタスクタイプの「ゴールアンカー」（例：「完全な Python 関数を作成する」）との深い整合性。all-mpnet-base-v2 を使用した密ベクトル埋め込みのコサイン類似度によって計算されます。
2. 語彙シグナル（$lex$）：ゴールアンカーと断片間の表面レベルのキーワード重複（Jaccard 類似度）。埋め込みが見逃す可能性のあるドメイン固有のキーワードを捉えます。
3. 位置シグナル（$pos$）：トランスフォーマーが文脈の中央を無視する自然な傾向に対抗するために設計された逆 U 字型のブースト。これは中央のターンに最高スコアを割り当て、開始と終了に向かって対称的に減少します。

2.3 RTG 注釈とプロンプト構築

• 累積スコアリング：ターンの RTG は、そのターンから会話の終わりまでの関連性スコアのサフィックス和です。
• 最終断片の保証：最終断片には最小保証が適用され、元の関連性が低くても最後の制約が破棄されないようにします。
• 信頼ラベル：関連性が平均を超える断片はCONFIRMEDとしてマークされ、それ以外はUNCERTAINとしてマークされます。これらのラベルは、モデルに提示される履歴に付加されます。

2.4 RTG 誘導型自己修正

SeDT には、2 つのガードを備えた検証メカニズムが含まれています：

1. トリガー：会話（最終断片の正規化された関連性と不確実なターンの割合に基づいて）が「弱い」と判断された場合、検証ステップがトリガーされます。
2. 受入ガード：検証モデルが新しい回答を生成します。この回答は、元の回答よりも多くの「CONFIRMED」断片（内容語）をカバーする場合にのみ、元の回答を置き換えます。これにより、正しい回答の確率的な上書きを防ぎます。

3. 主要な貢献

1. 問題の特定：多ターン信頼性の崩壊の構造的な根本原因として平坦な文脈ターンの重み付けを特定し、Decision Transformer の RTG 条件付けとの形式的な類似性を確立すること。
2. SeDT 手法：モデル変更を一切必要とせず、トレーニングデータも不要な、トレーニング不要の推論時手法。
3. 3 つのシグナルによる関連性：セマンティック、語彙、位置のシグナルを組み合わせた定式化により、文書化された失敗モード（早急なコミットメント、中間ターンの喪失など）を直接対抗させること。
4. RTG 基盤の自己修正：修正メカニズムによって導入される「悪影響ケース（hurt cases）」がゼロである、保守的な検証経路。

4. 実験結果

この手法は、3 つの LLM（GPT-4o-mini、Gemini 2.5 Flash、Llama 3.3-70B）と 3 つのタスク（Actions、Math/GSM8K、Code）にわたるLost-in-Conversation ベンチマーク（Laban et al., 2025）で評価されました。

• 性能向上：SeDT は、9 つすべてのモデル - タスク組み合わせにおいて、シャード化されたベースラインを上回りました。
  • 平均性能（$\bar{P}$）：向上幅は +5.6% から +37.7% の範囲でした。Gemini 2.5 Flash は最大の単一向上（Actions で +37.7）を示し、単一ターンの性能上限に向かって大幅に回復しました。
  • 信頼性：信頼性の欠如（$U$）は、9 つの組み合わせのうち 7 つで減少しました。この手法は、特に Math と Actions タスクにおいて、スコア分布を効果的に狭めました。
• 適性：最良の場合の能力（適性 $A_{90}$）はすべてのケースで向上し、この向上がノイズの低減ではなく、真の能力の回復を反映していることを確認しました。
• アブレーション研究：
  • 単一のシグナル（セマンティック、語彙、または位置のいずれかのみ）では不十分であり、組み合わせが必要でした。
  • 特定の重み付け（$\alpha=0.6$）は意味のあるものとして検証され、均一な重み付けを上回りました。
  • 「ランダム RTG」（計算された関連性の代わりにランダムな数値を使用）はベースラインよりも優れていましたが、SeDT よりも著しく劣っていました。これは、単なる数値プレフィックス形式ではなく、計算された関連性シグナルが性能を駆動していることを証明しています。
• 自己修正：メカニズムは約 28% の実行でトリガーされましたが、悪影響ケースはゼロであり、新しい回答が明らかに確認された制約をより多くカバーする場合にのみ回答を置き換えました。

5. 意義と主張

この論文は、「Lost in Conversation」の問題は少なくとも部分的には文脈重み付けの問題であり、再トレーニングなしに推論時に解決可能であると主張しています。

• 構造的洞察：この研究は、モデルの「信頼性の欠如」や「意図の不一致」から、会話履歴の構造的表現へと責任の所在を移転します。
• 実用性：ファインチューニングを不要とし、検証のために最大 1 回の追加 LLM 呼び出しのみを必要とする SeDT は、ユーザーが必然的に制約を段階的に明らかにする現実世界の多ターン相互作用に対するスケーラブルな解決策を提供します。
• メカニズム：RTG 条件付けの成功は、インストラクションチューニングされた LLM が、事前学習中にコードコメントやアウトラインに見られるような数値プレフィックスなどの明示的な重要度シグナルに応答することを学習していることを示唆しています。これにより、モデルはこれらの「暗黙のコンテキスト内デモンストレーション」を活用して、重要な制約への注意を再重み付けできます。

著者らは、「モデルにどの過去のターンが重要かを伝えるだけで、会話で失われた性能を大幅に回復させるのに十分である」と結論付けています。