💬 NLP

Enhancing LLMs through human feedback: a journey towards self-improvement

本論文は、補助的なフィードバックRAGシステムを統合することで、継続的なユーザーフィードバックを通じて主要なRAGシステムの性能を反復的に洗練させる新しいヒューマン・イン・ザ・ループの手法を提案し、LLM-as-a-Judge評価を通じて、多様なベンチマークにおける正確性と関連性の著しい向上を実証するものである。

原著者： Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートなロボット司書「RAG」を想像してみてください。この司書は、本（ドキュメント）を見つけ、それらに基づいて回答を書くのが非常に得意です。しかし、時として司書は間違いを犯したり、回答が少し硬くてロボット的な感じになったりすることがあります。従来、もし回答が気に入らなければ、単に「低評価（親指を下に向ける）」ボタンを押すだけでした。これは、オンかオフかのバイナリ・スイッチのようなものです。それはロボットに「ダメだ」と伝えますが、「なぜダメなのか」や「どう修正すべきか」までは教えてくれません。

この論文は、この司書を教えるための新しい方法であるFLARE（Feedback-driven LLM Adaptive RAG Enhancement）を紹介しています。単なる「低評価」の代わりに、FLAREではユーザーが詳細なメモ、修正、さらにはスタイルのコツなどを書き込むことができます。これは、学生がテストで赤い「×」印をもらうのと、先生から「日付は合っているけれど、国名を書き忘れているよ。あと、口調が少しぶっきらぼうすぎるね」というノートをもらうことの違いのようなものです。

2ステップのダンス：オフラインの準備とオンラインの魔法

FLAREは、司書が働いている裏側で行われる、2ステップのダンスのように機能します。

ステップ1：オフラインの準備（学習セッション）
ユーザーが詳細なメモを残すと、FLAREはそれをただ保管するだけではありません。そのメモを「文脈的強化（contextual enrichment）」プロセスに通します。例えば、ユーザーが「間違い、ドナルド・トランプだ」と書いたとします。FLAREは、この断片的な情報をチャット履歴を用いて、「2025年現在、アメリカの現職大統領はドナルド・トランプである」という明確で完全な文章へと変換します。

次に、特別なAI（「審判」）が、これらのメモを2つのバケツに分類します。

事実確認（Fact Checks）: 「おい、データベースを更新しろ、大統領が変わったぞ！」
スタイルガイド（Style Guides）: 「次はもっと丁寧で、歴史的な背景も含めるようにしろ。」

これらのメモは、その後「デジタル検索タグ」に変換され、特別なライブラリ（ベクトルデータベース）に保存されます。これが、システムが過去から学ぶ「オフライン」の部分です。

ステップ2：オンラインの魔法（ライブショー）
さて、新しいユーザーが質問をします。司書が回答する前に、FLAREは素早いサイドチェックを行います。「以前に似たような質問があったか？メモは残されていたか？」と問いかけます。もし答えが「イエス」であれば、FL가는それらのメモを掴み取り、司書が回答を書いている「最中」に、その脳内に直接注入します。それはまるで、司書が「詳細を忘れないように！」と書かれた前回の顧客からの付箋を、突然思い出したかのようです。

証拠：効果はあったのか？

著者らは、このアイデアが実際に司書を賢くするかどうかを確認するために、3つの異なる「遊び場（プレイグラウンド）」でテストを行いました。

架空の遊び場： 架空のキャラクターに関する架空の対話を使用しました。FLAREがない場合、司書は少し混乱し、コンテキストが欠けているとスコアは約5点満点中1点でした。FLAREを使うと、司書はほぼすべての質問で完璧に近いスコア（5点満点中5点）を獲得しました。
トリビアの遊び場： ここは難しい部分でした。ロボットの学習データが終了しているため、本来は知らないはずの2024年や2025年の出来事に関する質問をしました。
- FLAREなし： 司書は間違った推測をするか、曖昧な回答を出し、平均スコアは5点満点中3.06でした。
- FLAREあり： 司書は以前のユーザーからのフィードバックを利用して、新しい事実を学びました。平均スコアは3.91まで跳ね上がりました。
- 例： 2025年のオスカー賞について尋ねられた際、基本の司書は勝者を間違えましたが、FLAREはそれを正しい人物に修正し、さらに特定の層にとって歴史的な勝利であったというクールな詳細も付け加えました。
テクニカルサポートの遊び場： 無線ネットワークに関する現実世界の質問（Intelの内部データ）を用いてテストしました。ここでは、FLAREは適切なフィードバックを「見つける」ことには非常に優れており（成功率95%）、しかし、そのフィードバックを使って最終的な回答を改善できたのは**61%**の時だけでした。

FLAREが「できないこと」（そして、まだ必要なこと）

この論文が主張していないことも理解しておくことが重要です。著者らは、FLAREがすべてを即座に解決する魔法の杖ではないことを慎重に述べています。

完璧な解決策ではない： テクニカルサポートのテストにおいて、システムは適切なメモを95%で見つけ出しましたが、それを使って回答を修正できたのは61%だけでした。著者らは、メモを「注入」する方法（テキストの中に埋め込む方法）によって、ロボットが最も重要な部分を無視してしまうことがあるためだと示唆しています。
まだ完全な自律性はない： 現在のシステムは、すべてのフィードバックを平等に扱います。そのメモが世界の専門家によるものか、あるいは混乱したユーザーによるものか、あるいは昨日書かれたものか、それとも去年書かれたものかを判断できません。著者らは、どのメモが最も重要かを判断する、よりスマートな仕組みを構築する必要があると認めています。
「解決済み」の問題ではない： 論文は、システムには「さらなる洗練の機会がある」と明言しています。彼らは、フィードバックを書いた人物の確認や、回答が弱そうに見える場合にメモを読み直すといった機能を実装する予定です。

結論

主な知見は、ロボット司書に詳細な記述によるフィードバックを与え、そして新しい質問に答える際にそのメモを読ませることで、正確さと有用性が大幅に向上するということです。実施されたシミュレーションとテストにおいて、この「ヒューマン・イン・ザ・ループ（人間が介在する）」アプローチは、特にロボットが事前に知らなかった新しい情報に対処する場合、優れたシステムを素晴らしいシステムへと変えました。しかし、著者らが指摘するように、完全に自己改善するロボットへの道のりは終わっていません。彼らはまだ、単なる「いかなるメモ」ではなく、「最高のメモ」に耳を傾ける方法を見つけ出す必要があるのです。

技術要約：FLAREフレームワークを通じた人間によるフィードバックによるLLMの強化

問題提起

大規模言語モデル（LLM）は、人間からのフィードバックによる強化学習（RLHF）を通じて大きく進化してきたが、従来のAIシステムは多くの場合、バイナリ形式のフィードバック（例：高評価／低評価）に依存しており、学習の深化を制限している。さらに、標準的な検索拡張生成（RAG）システムは、進化するユーザーの嗜好を捉えたり、文脈の不一致を解決したり、動的な情報ニーズに適応したりすることに頻繁に失敗する。既存のアプローチは、検索バイアス、堅牢性の課題、および生成パイプラインに豊かなテキスト形式の人間による修正を取り込む能力の欠如に苦しむことが多い。静的なトレーニングを超え、構造化された「ヒューマン・イン・ザ・ループ」のフィードバックを通じて、RAGシステムにおける継続的かつ反復的な自己改善を可能にするメカニズムが必要とされている。

手法：FLAREフレームワーク

本論文では、構造化されたユーザーフィードバックを推論ワークフローに直接統合することで、RAGの性能を洗練させるために設計された反復的フレームワークであるFLARE（Feedback-driven LLM Adaptive RAG Enhancement）を紹介する。このシステムは、オフライン前処理とオンライン推論という2つの並行したフェーズで動作する。

1. オフライン・フィードバック管理パイプライン

このフェーズでは、生のユーザーフィードバックを処理して、将来の検索のための構造化された知識ベースを作成する：

収集とエンリッチメント： ユーザーの自由記述のフィードバックはMongoDBデータベースに保存される。生のフィードバックは、会話履歴とともにエンリッチされ、断片的な入力を自己完結的で解釈可能な記述へと変換される。
LLM駆動型処理： LLMがエンリッチされたフィードバックを処理し、以下の3つのタスクを実行する：
1. クエリ合成： 本質的な意味を保持しつつ、余分な要素を除去して元のユーザークエリを洗練させる。
2. 事実抽出： 不正確な情報を修正したり、知識ベースを更新したりするために、簡潔な事実記述を生成する。
3. ガイドライン抽出： 事実的内容を変更することなく、スタイルや構造のガイドライン（例：トーン、フォーマット）を特定する。
分類と集計： フィードバックは「事実データの修正」と「スタイル／構造のガイドライン」に分類される。GPT-4oは、冗長または矛盾するエントリを集約して統合し、実行可能な洞察をフィルタリングする。
ベクトルインデックス作成： 合成されたクエリはtext-embedding-ada-002を用いて埋め込まれ、高速な類似性ベースの検索を可能にするためにAzure Vector Databaseにインデックス化される。

2. オンライン推論ワークフロー

ライブ運用中、フレームワークは処理されたフィードバックをリアルタイムで統合する：

デュアル検索アーキテクチャ： 入力されるクエリは、プライマリRAGシステムと専用のFeedback-RAGモジュールの両方によって処理される。
適応的統合： Azure Hybrid Searchにより、現在の入力と意味的に類似した、以前にインデックス化されたクエリが特定される。
- 事実の修正： プライマリRAGのコンテキストに直接注入される。
- スタイルのガイドライン： 出力のフォーマットやトーンを洗練させるためのシステムレベルの指示として統合される。
出力生成： 拡張されたRAGシステムは最終的な回答を生成し、これは将来のオフライン・バッチ処理のためにログに記録され、継続的な改善ループを形成する。

実験設計

本フレームワークは、以下の3つの多様なデータセットを用いて、LLM-as-a-Judgeプロトコルによって検証された：

架空のペルソナ対話（FPD）： 実装の正確性と制御された評価を検証するための、合成ソースからの68個の匿名化された対話。
トリビア・ベンチマーク： LLMの知識カットオフを超えた、時間経過に敏感なイベント（2024年〜2025年）を含む70のトレーニングペアと30のテストペア。これは新しい情報への汎化をシミュレートしている。
無線技術ドキュメント： ドメイン固有の精度と堅牢性をテストするための、実際のIntelテクニカルサポートのクエリから派生した80のトレーニングペア。

評価指標には、リスト形式のクエリに対するF1スコアと、非リスト形式のクエリに対する多次元的な定性的評価（事実の正確性、文脈の関連性、完全性）が含まれる。

主な結果

一般知識（FPD）： FLAREは顕著な改善を示し、ほぼすべての項目で最大スコア5を達成した（平均スコア：FLAREなしの4.0に対し、FLAREありの5.0）。これは統計的に有意なp値 $4 \times 10^{-6}$ を示した。
一般知識（トリビア）： FLAREは、30問のテストセットにおいて、ベースラインのRAGシステムが3.06であったのに対し、平均スコア3.91を達成した。システムは、ベースラインが最新の検索コーパスへのアクセスがあっても苦戦した一方で、初期トレーニングデータを超えた新しい情報に適応することに成功した。
カスタムドメイン（無線）：
- 検索成功率： FLAREは、テストクエリの95%（76/80）に対して関連するフィードバックを正常に検索した。
- 活用ギャップ： フィードバックは検索されたものの、それが最終的な回答に組み込まれたのは**61%**の時のみであった。これは、関連するコンテキストを検索することと、生成中にそれを効果的に活用することの間のギャップを浮き彫りにしている。

意義と主張

本論文は、FLAREが情報検索技術における自律的な洗練への重要な一歩であると断じている。その主な貢献は以下の通りである：

動的な適応： 静的なRLHFパイプラインとは異なり、FLAREは生成ループ内でフィードバックを分類、集約、および検索するため、継続的なシステムレベルの適応を可能にする。
微細な学習： バイナリのフィードバックではなく、豊かなテキストによる修正や行動シグナルを取り込むことで、システムはより微細な学習と改善された文脈の整合性を実現する。
スケーラブルな検証： LLM-as-a-Judgeプロトコルの使用は、自動化されたスコアリングを人間の好みに一致させ、フィードバック駆動型の改善を評価するための、堅牢で再現可能なフレームワークを提供する。

限界と今後の方向性

著者らは現在の限界について謙虚に認めている：

検索・活用ギャップ： 生成モジュールは、検索されたフィードバックを39%のケースで取り込むことに失敗した。これは、モデルの注意（Attention）が制約されている場合、テンプレートベースの文字列結合が重要な詳細を軽視する可能性があることを示唆している。
静的な重み付け： 現在のシステムは、すべての検索されたコメントを等価に扱っており、著者の専門知識、最新性、または一貫性といった手がかりを無視している。
今後の研究： 著者らは、フィードバックの関連性や信頼性によって重み付けを行う適応型ランキングメカニズムの開発、疎なコンテキストのための反復的デコーディングループの実装、およびマルチモーダル入力（スクリーンショット、音声メモ）を含むフィードバックスキーマの拡大を計画している。最終的な目標は、低レイテンシで完全に自律的な、自己改善型RAGフレームワークである。