💬 NLP

FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking

FinRAG-12B 是一个经过生产验证、数据高效的 120 亿参数框架，它结合了专用训练流程与校准后的拒绝机制，为超过 40 家金融机构提供高度准确、有据可依且成本效益高的问答服务，其在引用质量和查询解决方面优于 GPT-4.1，同时显著降低了延迟和运营成本。

原作者： Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一家银行招聘一名新助理。你需要一个极其聪明、对银行规则了如指掌，且——最重要的是——从不凭空捏造的人。如果不知道答案，他们必须说“我不知道”，而不是胡乱猜测并给出可能导致银行陷入麻烦的错误财务建议。

本文介绍了FinRAG-12B，这是一款专为上述工作设计的专用人工智能助手。以下是作者如何构建它以及它为何有效，以通俗易懂的方式解释。

问题：过于“讨好”的助理

标准人工智能模型（比如你在线聊天的那些）擅长写故事或编写代码，但在银行业有一个坏习惯：它们过于急于取悦用户。如果你问了一个它们无法从记忆中回答的问题，它们往往会编造一个听起来合理的答案。在银行，这是危险的。如果客户询问抵押贷款罚款，而人工智能猜错了，可能会导致诉讼或资金损失。

解决方案：打造聪明、诚实助理的“配方”

团队创建了一个拥有 120 亿参数的 AI（可以将其想象为一个非常大但并非巨大的大脑），并使用特定的“配方”对其进行训练，以解决这些问题。他们并没有只是喂给它海量的数据，而是精心策划了一个高质量、较小的数据集（仅 1.43 亿个“标记”或单词），以教会它三项特定技能：

1. “引用”技能（展示你的推导过程）

想象一个学生在参加考试。普通的人工智能可能只会写出答案。FinRAG-12B 被训练成像一个必须展示推导过程的学生。

他们是如何做到的： 他们创建了一个训练流程，要求 AI 仅使用提供给它的特定文档（如银行政策手册）来回答问题。
结果： 当 AI 回答时，它会指出文档中支持其答案的确切句子。它学会了说“根据政策第 4 页，费用为 50 美元”，而不是仅仅猜测。在测试中，它在这方面的表现甚至优于最先进的商业 AI 模型。

2. “诚实”技能（知道何时停止）

这是最关键的部分。团队意识到，如果 AI 仅针对它能回答的问题进行训练，它将永远学不会说“我不知道”。

类比： 想象一位老师只问学生知道答案的问题。学生将永远学不会承认无知。
修正： 团队故意向 AI 提供了 22% 的问题，这些问题的答案不在提供的文档中。他们教导 AI，在这些情况下，正确的答案是“我不知道”。
结果： AI 学会了“校准”。当它不确定时，它会拒绝回答（12% 的情况），这比基础模型（95% 的情况会猜测）更安全，也比其他过于频繁拒绝回答的模型（20% 的情况）更少令人烦恼。

3. “课程”学习（对 AI 进行学校教育）

他们没有一次性将所有数据灌输给 AI。他们采用了一种“课程”方法，就像学校系统一样：

第一阶段（普通学校）： 他们使用开源数据向 AI 教授通用的金融语言。这为其奠定了坚实的基础。
第二阶段（专业训练）： 然后，他们将其引入真实的私人银行对话和特定规则。
为何重要： 如果随机混合这两种类型的数据，AI 会感到困惑且表现不佳。通过分阶段教学，它先学习了规则，然后学习如何将其应用于现实生活。

现实世界结果：“现场测试”

作者不仅是在实验室中测试了这一点；他们将其部署在40 多家金融机构中。以下是发生的情况：

更多问题得到解决： 新 AI 成功回答了比旧系统多 7.1% 的客户问题，且无需人工介入。
速度与成本： 它比使用顶级商业 AI API 快 3 到 5 倍。更重要的是，其运行成本低 20 到 50 倍。
- 类比： 使用旧的商业 AI 就像为了去杂货店短途旅行而乘坐私人飞机。FinRAG-12B 就像驾驶一辆可靠、高效的电动汽车。它能让你更快到达目的地，且价格仅为前者的一小部分。
客户满意度： 虽然单个回答的质量没有发生巨大变化，但由于更多的问题得到了成功解决，客户总体上感到更满意。

总结

FinRAG-12B 是一款经过专门训练的银行 AI，旨在做到诚实、有据可依且高效。通过教导它引用来源并承认不知道答案，作者创建了一个对银行更安全、运行成本更低，且实际上比“现成”替代方案能解决更多客户问题的系统。

关于局限性的说明： 作者谨慎地指出，这是专门针对银行问题（如贷款和账户）进行测试的。他们并不声称它目前适用于股票交易或保险，并且由于隐私法律，他们无法分享其私有训练数据，尽管他们确实分享了其公开的训练方法。

技术摘要：FinRAG-12B

问题陈述

大型语言模型（LLM）在银行业的采用受到对事实准确性、监管合规性及可验证依据的严格要求的阻碍。现成模型往往存在幻觉、过度顺从（谄媚）行为，以及缺乏与利率和机构政策等动态领域特定数据对齐的问题。在检索增强生成（RAG）系统中，模型可能会忽略检索到的上下文、依赖不相关的段落，或在信息不可用时编造答案。这构成了重大的监管和财务风险。此外，现有解决方案往往无法在“回答问题”与“在证据不足时拒绝回答”之间取得平衡，导致要么产生不安全的幻觉，要么过度拒绝（过度谨慎）。

方法论

作者提出了FinRAG-12B，这是一个专为银行 RAG 优化的 120 亿参数大语言模型，基于Gemma 3 12B-IT基础模型构建。该方法的核心是一个统一且数据高效的训练框架，联合优化答案质量、引用依据和校准后的拒绝机制。

1. 数据策展流程

训练语料库包含98,648 个样本（1.43 亿 token），优先考虑质量而非规模。该流程包括：

RAG-v1（开源）： 通过 JudgeLM 过滤筛选出 43,581 个样本，以确保高质量的监督信号。
合成 SEC 问答： 利用五阶段流程从 SEC 文件（10-K、10-Q）生成 16,773 个样本。这包括分割文档、在四个难度级别生成问题、重述以匹配真实用户查询分布（风格、长度、正式程度）、强制要求引用风格的输出，以及注入干扰段落以模拟检索噪声。
CommonCrawl 金融子集： 从真实用户查询（非个人身份信息）和相关段落中提取的 20,499 个样本，通过随机森林分类器过滤以确保隐私合规。
拒绝校准数据： 17,795 个专有示例（占混合数据的 22%），其中检索到的上下文在主题上相关但信息不足。目标输出是明确的“我不知道”，以此训练模型选择 abstain（放弃回答）而非产生幻觉。

2. 训练策略

该模型采用两阶段课程学习方法：

阶段 1（领域适应）： 使用 60,354 个样本（RAG-v1 + 合成 SEC）进行训练，采用保守的学习率（ $1 \times 10^{-6}$ ）。这利用可复现的数据建立了基于依据的生成和引用对齐的基础能力。
阶段 2（任务专业化）： 在 38,294 个样本（CommonCrawl + 专有银行数据）上继续训练，采用更高的学习率（ $5 \times 10^{-6}$ ）。此阶段引入真实世界的查询分布并校准拒绝行为。
位置偏差缓解： 为了抵消模型倾向于不成比例地关注上下文开头或结尾的倾向，作者使用离散右梯形谐波衰减分布的混合体，随机化相关段落与干扰段落的位置。
拒绝校准： 系统性扫描确定，22% 的不可回答示例比例能产生最佳权衡，在最小化无依据回答的同时，避免对可回答查询的过度拒绝。

3. 模型配置与服务

微调： 在所有注意力层和 MLP 层上使用 LoRA（低秩适应）（ $r=64, \alpha=256$ ）。
量化： 使用 SmoothQuant 将模型量化为W4A16（4 位权重，16 位激活），将占用空间从 24GB 减少到 8.4GB，从而在单 GPU 上高效部署，且性能下降极小。

主要贡献

数据高效流程： 一个多阶段流程，结合了“以 LLM 为裁判”的过滤、基于风格条件的合成生成以及符合隐私要求的真实数据提取，仅用 1.43 亿 token 就构建了高质量、有依据的训练数据集。
校准的拒绝机制： 一种基于受控负采样（22% 不可回答示例）的策略，显著减少了幻觉，同时防止了通用模型中常见的过度拒绝。
端到端生产框架： 一个经过验证的方法论，涵盖数据策展、课程学习和量化服务，已部署于 40 多家金融机构。

结果

评估在专有银行测试集（258 个示例）和公共FinanceBench基准上进行。

答案质量与依据： FinRAG-12B 取得了6.21 的 JudgeLM 分数，优于 GPT-4.1（5.72）和基础 Gemma 3 模型（5.70）。它还将引用质量提升至73.1（GPT-4.1 为 70.8），证明了更具选择性和相关性的引用依据。
拒绝校准： 该模型在不可回答查询上的放弃回答率为 12.0%。这相对于基础模型不安全的 4.3% 比率（拒绝不足）和 GPT-4.1 的 20.2% 比率（拒绝过度）有了显著改善。
泛化能力： 在 FinanceBench 上，FinRAG-12B 取得了最高的 F1 分数（0.284），引用率为 97.3%，优于基础模型和 GPT-4.1。
消融研究： 同时对所有数据源进行联合训练导致性能崩溃（JudgeLM 3.28，46.5% 的过度拒绝）。两阶段课程学习对于解决学习引用规范与校准拒绝之间的冲突至关重要。
延迟与成本： FinRAG-12B 的运行速度比 GPT-4.1快 3–5 倍（总完成时间为 0.57 秒，而 GPT-4.1 为 1.83 秒），在单张 RTX 6000 Ada GPU 部署时，每个查询的成本低 20–50 倍。
生产影响： 在美国一家大型信用合作社的实时部署中，FinRAG-12B 将查询解决率提高了7.1 个百分点（从 77.4% 提升至 84.5%， $p < 0.001$ ）。用户满意度从 59.5% 提升至 62.9%，这主要归功于更高的解决率，而非单次响应质量的边际改进。

意义

该论文声称，FinRAG-12B 证明了在受监管领域构建可靠的大语言模型时，数据质量、依据和训练方法论比模型规模更为关键。通过将数据高效流程与校准拒绝机制相结合，该系统在无需承担大型商业 API 的延迟和成本负担的情况下，实现了高准确性和安全性。该工作强调，在生产级 RAG 系统中，提高解决率是用户满意度的主要驱动力，并且统一的框架可以在高风险的金融环境中成功驾驭回答、引用和放弃之间的权衡。