🤖 AI

From Numbers to Judgment: Specialist LLM Agents and Reinforcement Learning for European Listed Real Estate

本文表明，虽然将欧洲上市房地产分析分解为专门的 LLM 智能体能显著提高数值任务性能，但若要增强综合性财务判断力，则需要通过强化学习（GRPO）进行针对性的参数适配，而非仅仅依靠提示词层面的分解。

原作者： Pardis Taghavi, Santosh Bhavani

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Pardis Taghavi, Santosh Bhavani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何成为一名金融分析师。在人工智能的世界里，这些机器人被称为“大语言模型”（LLM）。你可以把它们想象成那些读过图书馆里几乎所有书籍的博学学生，但当被要求处理特定的、棘手的数学问题，或者根据一系列复杂的规则做出复杂决策时，它们有时会感到困惑。这篇论文就处于科学的一个角落，研究人员在那里试图探索如何更好地“训练”这些机器人来处理金钱和商业规则。他们提出的核心问题是：是让机器人一次性完成所有工作更好，还是应该将工作拆解开，让它扮演一个由不同专家组成的团队？这有点像在问：“是有一个天才厨师独自尝试烹饪整场宴会更好，还是有一个配备了专门的面点师、专门的烧烤大师和专门酱料专家的厨房更好？”

研究人员通过使用一个非常具体且棘手的课题——欧洲房地产公司——来测试这个想法。这些公司就像一群住在同一栋建筑里的邻居，但根据所在的国家不同，遵循着不同的规则。有些公司必须将大部分利润作为股息发放，而有些则完全不需要发放。如果你对错误的规则应用在了错误的案例上，计算就会出错，投资建议也会变得危险。团队想要看看，将分析过程拆分为“专家”角色是否能帮助机器人算对数字，以及是否能帮助机器人做出关于一家公司是否值得投资的复杂重大判断。

专家团队 vs. 单打独斗

为了测试他们的想法，研究人员构建了一个名为“Larix”的系统。把 Larix 想象成一个经理，他拥有一份包含 16 个步骤的庞大清单，用于分析一家房地产公司。Larix 并没有把整个清单交给一个机器人并说：“你自己把这些都做了。”相反，它尝试了一种不同的方法：它将清单拆解成了八个较小的团队，即“专家”。其中一个团队是“财务”专家，另一个是“资产质量”专家，还有一个是“宏观叠加”专家。

研究人员与一个非常强大的机器人（一个“前沿”模型）进行了一场比赛，看谁会胜出。在第一场比赛中，机器人必须独自完成所有工作（“单体式”方法）。在第二场比赛中，机器人拿到了完整的 16 步清单，但仍需独自完成。在第三场比赛中，机器人被分配到了一个特定的专家角色，比如“财务”专家，并且只被给予了与该工作相关的特定部分清单。

结果令人惊讶且非常明确。在处理枯燥、机械的数学任务时（例如在报告中寻找特定数字或进行简单计算），“专家”方法成为了巨大的赢家。扮演专家的机器人比尝试独自完成所有工作的机器人，在数值任务上的正确率高出了 15.8 个百分点。这就像是那个扮演专家的机器人戴上了降噪耳机，忽略了所有干扰性的额外指令，全身心地投入到了数学计算中。

然而，当涉及到“判断”任务时——即机器人需要观察不同的证据并决定一家公司是风险较高还是安全时——专家方法完全没有帮助。事实上，专家方法有时甚至会让情况变得更糟。在这些判断任务上，扮演专家的机器人得分与独自完成所有工作的机器人持平。事实证明，要做出好的判断，你实际上需要看到全貌，而不仅仅是一个狭窄的切片。通过将工作拆分，机器人错失了不同信息之间的联系。

“训练”大脑的魔力

研究人员随后提出了第二个问题：如果拆分工作无法帮助处理复杂的判断，我们能否直接通过“训练”机器人的大脑来让它变得更好？他们选取了一个较小、较便宜的机器人（一个拥有 90 亿参数的模型，名为 Qwen3.5-9B），并给予它一种特殊的训练方式，称为“基于群体相对策略优化的强化学习”（GRPO）。

把这种训练想象成一种电子游戏，每当机器人得到正确答案时，它就会获得高分；每当答错时，它就会得到低分。随着时间的推移，机器人学会了通过调整其内部的“大脑设置”来获得更高的分数。他们不仅仅是让机器人死记硬背答案，而是教会了它理解游戏的规则。

这种训练在判断任务上产生了神奇的效果。经过训练后，这个较小的机器人在判断任务上的得分提升了 14.2 分。它不仅在练习过的特定公司上表现得更好，而且在从未见过的公司上也表现出色。当在全新的公司进行测试时，它的综合得分上升了 15.2 分，而在一个特定的“契约压力测试”（检查公司应对财务困难的能力）中，它的表现提升了惊人的 40.4 分。

核心结论

那么，这篇论文究竟发现了什么？它表明，使用人工智能进行金融分析并没有单一的“最佳”方式。这完全取决于你要求机器人做什么。

针对数字和数学： 将工作拆分为专家是明智之举。这有助于机器人集中注意力并忽略干扰，从而实现更准确的计算。
针对大局判断： 拆分工作并无裨益。相反，你需要直接“训练”机器人的大脑，让它学会如何连接不同信息之间的点。

研究人员谨慎地指出，这并不是解决一切问题的“万灵药”。他们展示了仅仅给机器人一份更长的规则清单（完整的 16 镜框架）并不能解决问题；正是特定的“专业化”帮助了数学计算，而特定的“训练”帮助了判断能力。他们还提到，他们的结果是基于一组特定的 19 家公司和特定类型的房地产，因此我们不能 100% 确定这在世界上的每种业务类型中都会完全相同。但对于欧洲房地产领域而言，教训是明确的：用专家团队处理数学，用训练有素的通才来做重大决策。

技术摘要：从数字到判断：针对欧洲上市房地产的专家级 LLM Agent 与强化学习

1. 问题陈述

欧洲上市房地产分析对大语言模型（LLM）提出了双重挑战：既需要模块化数值运算（提取特定制度下的指标、计算隐含资本化率），也需要综合性财务判断（通过协调会计、监管和风险维度，以评估契约余量或股息可持续性）。

该领域具有高度的异质性；法律和报告制度（例如法国 SIICs 与卢森堡注册的地主）决定了截然不同的分配义务和绩效指标规则。LLM 的一个关键失效模式是“流利度陷阱”：即模型能够从文件中提取出正确的数字，却应用了错误的制度规则，从而导致在输出表现得极其流利的情况下得出机械性错误的结论，且这种错误难以被察觉。

现有的多智能体系统往往将“分解带来的收益”与“领域特定指令”或“模型差异”混为一谈。本文旨在隔离专家级分解（提示词层面）与参数适配（后训练阶段）在固定前沿模型和较小模型上的效果，具体探讨以下问题：

在固定的前沿 LLM 上，将任务分解为对齐特定视角的专家是否能提高性能？
这种提升是否在数值任务和判断任务中均具有普适性？
有针对性的强化学习（RL）后训练能否提升较小模型在综合判断任务上超越其零样本（zero-shot）能力的表现？

2. 研究方法

2.1 Larix 框架与任务构建

本研究利用 Larix 框架，将 16 个视角的欧洲上市房地产分析框架映射到 8 个对齐特定视角的专家（例如：财务、资产质量、宏观叠加）。评估重点在于专家层，不包括下游的综合或仓位配置。

基准测试包含跨越 7 种监管外壳、19 家公司的 5 类任务：

数值任务 ( $T_{num}$ ): $T_1$ （特定制度指标）、 $T_3$ （隐含资本化率）、 $T_6$ （派息制度分类）。这些任务需要局部提取或确定性计算。
判断任务 ( $T_{judg}$ ): $T_2$ （调节项调整）、 $T_5$ （契约压力评估）。这些任务需要结合多项披露信息及制度约束。

2.2 实验条件

研究使用固定的前沿模型（Claude Opus 4.8）以及两种使用较小模型（Qwen3.5-9B）的条件，对比了三种提示词条件：

单体模式 (Claude-Mono): 使用通用的财务分析提示词，不进行专家分解。
全框架模式 (Claude-Full): 使用包含完整 16 视角框架（约 4,800 字符）的单体提示词。
专家分解模式 (Claude-Spec): 通过确定性路由将任务分配给特定的、对齐视角的专家提示词，其中仅包含相关的框架子集。
零样本小模型 (Qwen-ZS): 使用专家提示词的 Qwen3.5-9B。
RL 后训练模式 (Qwen-RL): 使用群体相对策略优化 (GRPO) 结合任务对齐的结构化奖励对 Qwen3.5-9B 进行后训练。

2.3 评分与地面真值 (Ground Truth)

评估依赖于确定性的、基于评分标准的评分系统，而非 LLM 评判员。

地面真值 (Ground Truth): 由外部独立房地产专家标注的 45 个元组，以及由框架作者从原始资料中提取的 50 个元组。
评分方式: 字段评分基于精确匹配（含别名归一化）或基于容差的数值规则（例如：指标误差在 $\pm 5\%$ 以内，比率在 $\pm 10\%$ 以内）。无效输出计为零分。
指标: 主要聚合指标为 $S_{num}$ （ $T_1, T_3, T_6$ 的平均值）和 $S_{judg}$ （ $T_2, T_5$ 的平均值）。

2.4 RL 后训练设置

使用 GRPO 对 Qwen3.5-9B 进行后训练，训练数据包含 200 行（195 行真实数据，5 行反事实数据）。

奖励 (Reward): 确定性的基准评分 ( $R_i = S_t(\hat{y}_i, y^\star_i)$ )。
优化: 策略更新旨在直接最大化特定任务的分数，避免使用独立的语言模型评判员。
划分: 训练数据与测试用的公司、监管外壳及时期是完全隔离的，以测试泛化能力和抗记忆能力。

3. 关键结果

3.1 专家分解：任务依赖效应

在 19 家公司的欧洲大陆样本组中，专家分解呈现出任务依赖型的结果：

数值任务: 性能显著提升。聚合得分从 78.9% (单体模式) 上升至 94.7% (专家模式)，增幅为 15.8 个百分点。这主要由 $T_1$ (+26.3 pts) 和 $T_3$ (+21.1 pts) 的提升驱动。
判断任务: 性能并未得到可靠提升。聚合得分维持在 47.4% 不变。事实上， $T_2$ （调节项识别）甚至出现了轻微下降（-5.2 pts）。
框架披露说明: 向单体模型提供完整的 16 视角框架（Claude-Full）并未能复现数值任务的增益。它反而降低了 $T_1$ 的表现（-10.5 pts），但对 $T_2$ 有轻微帮助。这表明增益来自于受限的视角所有权（缩小上下文范围），而非仅仅是暴露更多的框架文本。

3.2 RL 后训练：提升综合判断力

通过 GRPO 对 Qwen3.5-9B 进行后训练，解决了提示词分解的局限性：

开发集拆分: 总分从 72.2% (零样本) 增加到 84.2% (RL)，增幅为 12.0 个百分点。
判断任务: 判断类聚合任务（ $T_2 + T_5$ ）提升了 14.2 个百分点（从 58.6% 升至 72.8%）。这正是提示词分解失效的具体领域。
数值任务: $T_1$ 维持在零样本天花板（99.5%），而 $T_3$ 和 $T_6$ 也有所提升。

3.3 分布外 (OOD) 迁移

来自 RL 后训练的增益成功迁移到了未见数据中：

未见过的公司: 总分增加了 +15.2 个百分点。最显著的增益出现在契约压力任务（ $T_5$ ），该任务从 38.1% 提升至 78.5%，增幅达 +40.4 个百分点。
未见过的监管外壳: 总分增加了 +4.3 个百分点。
后期时段: 总分增加了 +2.5 个百分点。
抗记忆性: 在所有三个抗记忆性拆分中均观察到了正向迁移，证实模型学习的是决策策略而非单纯记忆特定的公司数据。

4. 贡献

本文做出了四项具体贡献：

受控评估: 对对齐视角的专家分解进行了基于同一模型的评估，通过固定来源证据、指令和评分标准，并引入全框架对照组，以隔离分解效应。
识别权衡: 提供了实证证据，证明分解有助于模块化数值分析，但不能可靠地提升（甚至可能降低）需要整合财务判断的任务表现。
结构化 RL 后训练: 论证了使用任务对齐的结构化奖励进行 GRPO 后训练，可以使较小模型（9B）在综合判断任务上超越其零样本表现，且这种增益可迁移至未见的厂商和监管外壳。
基准发布: 发布了一个包含 25 家公司、8 种监管外壳的基准测试，并配备了经过修正的、具备逐单元溯源能力的评分准则和强化的评分机制。

5. 意义与声明

本文得出结论：任务依赖型的分工对于金融 LLM 至关重要：

提示词层面的分解对于简化局部、可验证的数值运算是有效的，因为它移除了无关上下文并使中间字段显性化。
**针对性的参数适配（RL 后训练）**对于综合性财务判断是必要的，因为这类任务要求模型必须协调多个维度和约束条件下的证据。

作者强调，这些结论受限于基准规模、外壳覆盖范围以及所测试的模型家族。本文并不声称小模型在通用能力上优于前沿模型，而是指出针对性的专业化（通过提示工程或参数微调）可以解决金融分析中的不同瓶颈。本研究明确不对下游的综合、信心校准或仓位配置做出任何声明，因为这些层级未在实验中被调用。