技術概要：インプレースフィードバック：マルチターン専門家-LLM 協調のための信頼性の高い改善

問題定義

大規模言語モデル（LLM）は、ソフトウェアエンジニアリング、法的ドラフト作成、臨床文書作成などの専門家ワークフローにおける協調アシスタントとして、ますます展開されています。しかし、これらのタスクは、誤りが連鎖する可能性のある複雑な推論を伴うことが多く、専門家は通常、出力を検査し、モデルの応答を改善するために微細なフィードバックを提供します。しかし、先行研究によると、LLM はマルチターン対話において、このフィードバックを信頼性高く統合することに頻繁に失敗しています。

核心的な問題は「コンテキスト汚染」です。対話ターンが蓄積するにつれ、モデルは最新の修正を統合しつつ、以前のフィードバックを保持し、無関係なコンテンツをそのままにしておく必要があります。この統合が失敗すると、モデルは以下の事態を招く可能性があります：

1. 以前に正しかったコンテンツを破損させる。
2. 新しいフィードバックを無視し、以前の誤りを再現する。
3. フィードバックを局所的に統合するが、その後の推論に新たな誤りを導入する。

これらの失敗は、専門家に出力の再確認と修正の再提示を強いることとなり、生産性を損ない、疲労を引き起こします。

手法：インプレースフィードバック

著者は、新しい対話パラダイムであるインプレースフィードバックを提案します。これは、ユーザーが新しいフィードバックメッセージを追加するのではなく、モデルの以前の応答を直接編集するものです。このプロセスは 2 つの段階で構成されます：

1. インプレース編集：専門家はモデルの応答内の誤ったスパンを特定し、それを直接修正し、修正されたスパンに依存するテキストの下流部分を削除します。
2. 継続生成：LLM は、修正されたコンテキストから継続して、応答の残りの部分のみを再生成します。

対話履歴に指示を追加する標準的なマルチターンフィードバックや、過去のターンを要約するメモリベースのアプローチとは異なり、インプレースフィードバックは、誤ったスパンを条件付けコンテキストから完全に除去します。これにより、誤ったコンテキストの蓄積を防ぎ、実効的な入力長を短く保つことができます。

本研究は、この手法を 3 つの相補的な次元で検証しました：

• 自動化ベンチマーク：LLM ベースのエージェントを用いて専門家のフィードバックをシミュレートし、5 つの推論集約型データセット（MATH-hard、MMLU-pro、GPQA、LiveCodeBench、ZebraLogic）での評価。
• 微細分析：ZebraLogic パズルにおけるターンレベルの分解により、特定の失敗モード（正しいコンテンツの保持、フィードバックの受容、自律的修正）を測定。
• ユーザー調査：15 名の分野専門家が科学論文の要約を改善する制御実験により、満足度、疲労度、および知覚された信頼性を測定。

主要な貢献と結果

1. 性能とトークン効率

5 つのベンチマーク全体およびテストされた 5 つの LLM（4B から 70B パラメータまで）において、インプレースフィードバックは、標準的なマルチターンフィードバックおよびメモリベースフィードバックを一貫して上回りました。

• 精度：インプレースフィードバックは、より高い精度を達成し、ターン経過に伴う改善が速いです。例えば、Gemma による GPQA において、インプレースフィードバックは 10 ターン後に初期応答に対して 47.6 パーセントポイントの精度向上を実現し、マルチターンフィードバックの改善幅の 2 倍以上でした。
• トークン効率：マルチターンフィードバックは、履歴全体が追加されるため、各ターンごとに入力トークンが線形に増加します。一方、インプレースフィードバックは入力長を安定させ、完全な応答ではなく必要な継続部分のみを再生成するため、生成されるトークン数が大幅に少なくなります。

2. 改善のメカニズム（失敗モード分析）

ZebraLogic データセットを用いて、著者は失敗モードを診断するための 3 つの指標を導入しました：

• 正しさ保持率（CPR）：以前に正しかったコンテンツの保持。
• フィードバック受容率（FAR）：明示的修正シグナルの受容。
• 推論による修正率（CTRR）：言及されていない推論部分への修正の伝播。

知見：

• マルチターンフィードバック：CPR は高いまま（モデルは正しいコンテンツを保持）ですが、ターンが蓄積するにつれ、FAR と CTRR は着実に低下します。蓄積された履歴はモデルが以前のコンテンツを再現するのを助けますが、明示的なフィードバックを超えた推論能力を阻害します。
• インプレースフィードバック：FAR と CTRR が著しく高くなります。修正されたスパンから直接再生成することで、モデルは古くなった推論からの干渉を回避し、修正をその後のステップに堅牢に伝播させます。

3. ユーザー調査の結果

科学論文の要約を改善する 15 名の専門家を含む調査において：

• 満足度と疲労度：参加者は、マルチターンフィードバックと比較して、インプレースフィードバックの方が最終出力の満足度が著しく高く、疲労度が大幅に低いと報告しました。
• 定性的フィードバック：専門家は、マルチターンフィードバックでは「狙っていない部分が修正され」「以前に受け入れられた編集が元に戻され」、草案全体を再確認する必要があると指摘しました。インプレースフィードバックは、再確認領域を編集されたスパンに限定しました。
• 混合戦略：タスクに応じてマルチターンとインプレースフィードバックの間で選択するハイブリッドワークフローが、すべての次元で最高評価を受けました。専門家は、再構成にはマルチターンを、詳細の磨き上げにはインプレースを使用すると説明しました。

意義と主張

本論文は、エラーを直接編集することは、フィードバック指示を追加することよりも、専門家-LLM 協調にとってより効果的なパラダイムであると主張しています。インプレースフィードバックの意義は、以下の点にあります：

1. コンテキスト汚染の軽減：誤ったスパンをコンテキストから除去することで、モデルを混乱させる誤った情報の蓄積を防ぎます。
2. 信頼性の向上：修正がより信頼性高く適用され、有効なコンテンツを破損することなく、その後の推論ステップに伝播されることを保証します。
3. 専門家の負担軽減：完全な再生成を検証することに伴う認知的負荷と疲労を軽減し、改善サイクルをより効率的にします。

著者は、インプレースフィードバックを専門家-LLM 協調のための妥当なデフォルトとして推奨しつつ、標準的なマルチターンフィードバックを併せて提示することで、専門家が特定の修正タイプに対して最も効果的なツールを選択できるようにすることを提案しています。

著者が指摘する限界：

• 実証評価は学術的な計算予算内で実行可能なモデルに焦点を当てており、クローズドソースまたは著しく大規模なモデルはテストされていません。
• 自動評価は、編集をシミュレートする LLM ベースの「インプレースエージェント」に依存しており、不完全です（適切な編集を約 40-54% の場合のみ生成）。著者は、実際の人間の編集はよりクリーンである可能性があり、報告された改善は保守的である可能性があると指摘しています。
• ユーザー調査は、15 名の参加者による科学要約タスクに限定されており、より広範な主張には、より多様な分野およびより長期間にわたる調査が必要です。
• この手法は現在、テキスト継続 API に依存しており、商用プロバイダーからは普遍的に利用可能ではありません。