💬 NLP

Enhancing LLMs through human feedback: a journey towards self-improvement

本文提出了一种新颖的人机回环方法，该方法通过集成一个辅助反馈 RAG 系统，利用持续的用户反馈来迭代优化主 RAG 系统的性能，并通过 LLM-as-a-Judge 评估，证明了其在多种基准测试中在准确性和相关性方面的显著提升。

原作者： Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人图书管理员，名叫 RAG。这位图书管理员非常擅长寻找书籍（文档）并根据它们编写答案。但有时，这位图书管理员会出错，或者给出的答案感觉有些生硬、机械化。在传统情况下，如果你不喜欢一个答案，你只会给一个“踩踩”图标。这就像是一个二进制开关：只有“好”或“坏”两种状态。它告诉机器人“不好”，但并没有告诉它为什么不好，或者应该如何修正。

这篇论文介绍了一种教导这位图书管理员的新方法，叫做 FLARE（反馈驱动的 LLM 自适应 RAG 增强）。FLARE 不仅仅是提供一个“踩踩”，它允许用户留下详细的笔记、纠正意见，甚至是风格建议。这就像是一个学生在考试中得到的是一个红色的“X”，与得到老师的一句评语——“日期对了，但你忘了提到国家，而且你的语气太生硬了”——之间的区别。

两步舞步：离线准备与在线魔法

FLARE 的运作方式是两个在后台进行的步骤，就像是在图书管理员工作时进行的“两步舞步”。

第 1 步：离线准备（学习阶段）
当用户留下详细笔记时，FLARE 并不仅仅是将它存档。它会将笔记通过一个“上下文富集”过程。想象一下，用户说：“错了，是唐纳德·特朗普。”FLARE 会利用聊天历史将这个片段转化为一个清晰、完整的句子：“截至 2025 年，美国的现任总统是唐纳德·特朗普。”

然后，一个特殊的 AI（“裁判”）会将这些笔记分类到两个桶中：

事实检查： “嘿，更新数据库，总统换人了！”
风格指南： “嘿，下次请更有礼貌，并包含更多的历史背景。”

这些笔记随后会被转化为数字化的“搜索标签”，并存储在一个特殊的图书馆（向量数据库）中。这就是“离线”部分，即系统从过去中学习的过程。

第 2 步：在线魔法（现场表演）
现在，一位新用户提出了问题。在图书管理员回答之前，FLARE 会进行快速的侧面检查。它会问：“以前有人问过类似的问题吗？他们留下过笔记吗？”如果答案是肯定的，FLARE 会抓取这些笔记，并在图书管理员编写答案的过程中，直接将其注入到图书管理员的大脑里。这就像是图书管理员突然想起了之前一位顾客留下的便签，上面写着：“别忘了添加更多细节！”

证明：它奏效了吗？

作者在三个不同的“游乐场”中测试了这个想法，以观察它是否真的让图书管理员变得更聪明。

虚构游乐场： 他们使用了关于虚构人物的虚构对话。在没有 FLARE 的情况下，图书管理员有点困惑，在缺少上下文时得分仅为 1 分（满分 5 分）。有了 FLAFRE，图书管理员在几乎所有问题上都获得了接近完美的得分（5 分）。
知识问答游乐场： 这是最棘手的部分。他们询问了关于 2024 年和 2025 年的事件——这些是机器人原本不应该知道的事情，因为其训练数据在更早之前就停止了。
- 没有 FLARE： 图书管理员会猜错或给出模糊的答案，平均分为 3.06（满分 5 分）。
- 有了 FLARE： 图书管理员利用之前用户的反馈来学习新的事实。平均分跃升至 3.91（满分 5 分）。
- 示例： 当被问及 2025 年奥斯卡奖时，基础版的图书管理员答错了获奖者。FLARE 将其纠正为正确的人选，甚至还增加了关于特定人群历史性胜利的精彩细节。
技术支持游乐场： 他们在关于无线网络（英特尔内部数据）的真实世界问题上测试了它。在这里，他们发现 FLARE 在找到正确反馈方面表现出色（成功率达到 95%）。然而，该系统仅在利用这些反馈来改进最终答案方面达到了 61% 的成功率。

FLARE 不是什么（以及它仍然需要什么）

了解这篇论文没有声称什么非常重要。作者谨慎地表示，FLARE 并不是一个能瞬间解决一切问题的魔杖。

它不是完美的解决方案： 在技术支持测试中，尽管系统找到了 95% 的正确笔记，但它仅在 61% 的情况下利用这些笔记来修复答案。作者认为这是因为他们“注入”笔记的方式（将其嵌入文本中）有时会导致机器人忽略最重要的部分。
它尚未实现完全自主： 该系统目前将所有反馈视为同等对待。它不知道一条笔记是来自世界级专家还是困惑的用户，也不知道一条笔记是来自昨天还是去年的。作者承认他们需要建立一种更聪明的方法来决定哪些笔记更重要。
它不是一个“已解决”的问题： 论文明确指出，该系统存在“进一步完善的机会”。他们计划添加诸如检查谁写了反馈，以及如果答案看起来很弱则重新阅读笔记等功能。

核心结论

主要的发现是，给机器人图书管理员提供详细的、书面的反馈——并在它回答新问题时让它阅读这些笔记——能显著提高它的准确性和帮助性。在他们进行的模拟和测试中，这种“人类在环（human-in-the-loop）”的方法将一个优秀的系统变成了一个卓越的系统，尤其是在处理机器人此前不知道的新信息时。但正如作者指出的，通往完全自我进化的机器人的旅程尚未结束；他们仍需弄清楚如何让机器人去倾听那些最好的笔记，而不仅仅是任何笔记。

技术摘要：通过 FLARE 框架通过人类反馈增强大语言模型（LLMs）

问题陈述

尽管大语言模型（LLMs）通过基于人类反馈的强化学习（RLHF）取得了显著进展，但传统的 AI 系统通常依赖于二元反馈（例如：点赞/点踩），这限制了学习的深度。此外，标准的检索增强生成（RAG）系统经常无法捕捉不断变化的用户的偏好、解决上下文不匹配问题，或适应动态的信息需求。现有方法往往受到检索偏差、鲁棒性挑战以及无法将丰富的文本形式的人类纠正纳入生成流水线的影响。因此，需要一种机制，能够超越静态训练，通过结构化的、人在回路（human-in-the-loop）的反馈，实现 RAG 系统持续的、迭代的自我改进。

方法论：FLARE 框架

本文介绍了 FLARE（反馈驱动的 LLM 自适应 RAG 增强），这是一个旨在通过将结构化用户反馈直接集成到推理工作流中来优化 RAG 性能的迭代框架。该系统通过两个并行阶段运行：离线预处理和在线推理。

1. 离线反馈管理流水线

此阶段处理原始用户反馈，以构建用于未来检索的结构化知识库：

收集与富集： 用户自由文本反馈被存储在 MongoDB 数据库中。原始反馈通过对话历史进行富集，从而将碎片化的输入转换为自包含且可解释的陈述。
LLM 驱动的处理： 一个 LLM 处理富集后的反馈，执行以下三项任务：
1. 查询合成（Query Synthesis）： 精炼原始用户查询，在保留核心语义的同时去除无关元素。
2. 事实提取（Factual Extraction）： 生成简洁的事实陈述，以纠正不准确之处或更新知识库。
3. 准则提取（Guideline Extraction）： 识别风格和结构准则（如语气、格式），而不改变事实内容。
分类与聚合： 反馈被分类为“事实数据纠正”和“风格/结构准则”。GPT-4o 对反馈进行聚合，以合并冗余或冲突的条目，并筛选出具有行动价值的见解。
向量索引： 合成的查询使用 text-embedding-ada-002 进行嵌入，并索引在 Azure 向量数据库中，以实现快速的基于相似性的检索。

2. 在线推理工作流

在实时运行期间，框架将处理过的反馈集成到生成过程中：

双重检索架构： 输入的查询会同时由主 RAG 系统和专门的 Feedback-RAG 模块进行处理。
自适应集成： Azure Hybrid Search 识别与当前输入具有语义相似度的先前索引查询。
- 事实纠正： 直接注入到主 RAG 上下文中。
- 风格准则： 集成为系统级指令，以优化输出格式和语气。
输出生成： 增强后的 RAG 系统生成最终响应，该响应会被记录用于未来的离线批处理，从而创建一个持续改进的闭环。

实验设计

该框架通过 LLM-as-a-Judge（LLM 作为评判者） 协议在三个多样化的数据集上进行了验证：

虚构人格对话（FPD）： 来自合成来源的 68 个匿名对话，用于验证实现的正确性和受控评估。
常识问答基准（Trivia Benchmark）： 包含 70 个训练对和 30 个测试对，涉及 2024–2025 年间的时间敏感事件，这些事件超出了 LLM 的知识截止日期，模拟了对新信息的泛化能力。
无线技术文档： 80 个训练对源自真实的 Intel 技术支持查询，测试领域特定的精确度和鲁棒性。

评估指标包括针对列表型查询的 F1 分数，以及针对非列表型查询的多维度定性评估（事实准确性、上下文相关性、完整性）。

关键结果

通用知识（FPD）： FLARE 展示了显著的提升，在几乎所有项目中达到了最高分 5 分（平均分：FLARE 为 5.0，无 FLARE 时为 4.0），其 p 值具有统计学显著性，为 $4 \times 10^{-6}$ 。
通用知识（常识问答）： 在 30 个问题的测试集上，FLARE 实现了 3.91 的平均分，而基准 RAG 系统为 3.06。该系统成功适应了超出其初始训练数据的新信息，而基准系统即使在拥有最新的检索语料库时也表现挣扎。
定制领域（无线）：
- 检索成功率： FLARE 成功为 95% 的测试查询（76/80）检索到了相关的反馈。
- 利用差距： 虽然检索到了相关反馈，但仅在 61% 的情况下被纳入最终答案中。这凸显了在检索相关上下文与在生成过程中有效利用该上下文之间存在差距。

意义与主张

论文指出，FLARE 代表了信息检索技术向自主精炼迈出的重要一步。其主要贡献包括：

动态适应： 与静态 RLHF 流水线不同，FLARE 在生成循环中对反馈进行分类、聚合和检索，实现了系统级的持续适应。
细粒度学习： 通过引入丰富的文本纠正和行为信号而非二元反馈，系统实现了更细致的学习和更好的上下文对齐。
可扩展的验证： 使用 LLM-as-a-Judge 协议提供了一个稳健、可复现的框架，用于评估反馈驱动的改进，使自动化评分与人类偏好保持一致。

局限性与未来方向

作者谦逊地承认了当前的局限性：

检索-利用差距： 生成模块未能处理 39% 的检索到的反馈，这表明当模型注意力受限时，基于模板的字符串拼接可能会忽略重要的细节。
静态权重： 当前系统将所有检索到的评论视为同等重要，忽略了诸如作者专业知识、时效性或一致性等线索。
未来工作： 作者计划开发自适应排序机制，根据相关性和可信度对反馈进行加权；实现针对稀疏上下文的迭代解码循环；并扩大反馈模式以包含多模态输入（截图、语音笔记）。最终目标是一个低延迟、全自主、自我改进的 RAG 框架。