💰 quantitative finance

Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification

该论文提出了一种多智能体框架，通过训练一个轻量级聚合器将三个零样本大语言模型对美股公司披露的独立判断（情感、置信度及理由）进行整合，从而在预测次日股价走势时显著优于单一模型、多数投票及 FinBERT 基线，证明了监督聚合能有效利用零样本智能体间的互补信号与分歧来提升分类性能。

原作者： Kemal Kirtac

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kemal Kirtac

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章讲了一个很有趣的故事：如何把几个“零经验”的 AI 专家（大语言模型）的意见集合起来，让它们比任何单个专家都更聪明，从而更好地预测第二天股票是涨还是跌。

我们可以把这篇论文想象成是一个"超级股票预测委员会"的组建过程。

1. 背景：为什么需要这个委员会？

在金融界，公司的公告（比如财报、风险提示）就像是一份份“藏宝图”。以前，人们用简单的关键词（比如看到“盈利”就买，看到“诉讼”就卖）来解读这些地图。但现在，AI（大语言模型）出现了，它们能读懂更复杂的含义。

但是，AI 有个毛病：
如果你问同一个 AI 一个问题，但换一种问法（Prompt），它可能会给出完全不同的答案。

问法 A：“这家公司业绩怎么样？” -> AI 说：“很好，明天涨！”
问法 B：“这家公司有什么风险？” -> AI 说：“风险很大，明天跌！”

这就很头疼了。对于一份复杂的公告，它可能既有“业绩好”的一面，又有“风险大”的一面。如果只信一个 AI，或者随便投票，很容易出错。

2. 解决方案：组建“三人专家团”

作者没有去重新训练这些 AI（那太贵太慢了），而是想了一个聪明的办法：让三个不同的 AI 专家，从不同的角度去读同一份公告。

想象一下，你有一份复杂的商业计划书，你请了三位专家来评估：

专家 A（实干家）：只看过去。他盯着“赚了多少钱”、“卖了多少钱”、“成本多少”。
专家 B（预言家）：只看未来。他盯着“老板对明年的预期”、“未来的订单”、“指引”。
专家 C（风控官）：只看风险。他盯着“有没有官司”、“监管严不严”、“资金链会不会断”。

这三个专家都是“零-shot"的（意思是他们没专门学过怎么预测股票，只是凭常识读公告），他们各自给出一个结论（涨/跌/中性）、一个信心指数（0 到 100 分）和一句简短的理由。

3. 核心魔法：那个“聪明的裁判”

如果只靠这三个专家，我们该怎么办？

简单投票？（少数服从多数）：如果两个说涨，一个说跌，就选涨。但这忽略了那个“说跌”的专家是不是特别有把握。
加权投票？（信心高的说话算数）：这比简单投票好点，但还是不够灵活。

作者做了一件更厉害的事：他训练了一个轻量级的“裁判”（逻辑回归模型）。
这个裁判不读公告，它只读三位专家的报告。

如果“实干家”说涨（信心 90 分），“预言家”说跌（信心 30 分），“风控官”说涨（信心 80 分），裁判会怎么想？
裁判通过学习历史数据发现：“哦，原来当‘预言家’信心低的时候，它的反对意见往往不重要；但当‘风控官’信心高时，哪怕只有一个人反对，市场往往也会跌。”

这个裁判学会了如何“权衡”不同专家的意见，而不是死板地投票。

4. 结果：为什么这招管用？

实验结果显示，这个“裁判 + 三人团”的组合，比任何单个专家、比简单的投票、甚至比专门训练过的金融 AI（FinBERT）都要准。

最精彩的部分在于“冲突”的时候：

当三个专家意见一致时（比如都说涨），裁判也没法帮大忙，因为本来就很明显。
但是，当专家意见打架时（比如两个说涨，一个说跌，或者大家信心都很足但结论相反），裁判的作用就爆发出来了。

举个生活中的例子：
假设你要买房子。

中介 A 说：“这房子地段好，以后肯定涨！”（信心高）
中介 B 说：“这房子刚装修过，甲醛可能超标，别买！”（信心高）
中介 C 说：“这房子有点旧，但价格合适。”（信心低）

如果你只是投票（2 比 1 买），你就忽略了“甲醛”这个致命风险。
但如果你有一个聪明的裁判，它会分析：中介 B 提到的“甲醛”是硬伤，哪怕只有他一个人说，风险也极大。于是裁判会告诉你：“别买，风险太大。”

在股市里，很多公告就是这种“混合信号”：业绩很好（利好），但老板说明年很难（利空），或者虽然赚钱但面临诉讼（利空）。这种“打架”的信息，恰恰是市场最敏感的地方，也是这个“三人团 + 裁判”系统最擅长的地方。

5. 总结：这篇论文告诉我们什么？

不要只信一个 AI：不同的 AI 视角（看过去、看未来、看风险）能捕捉到不同的信息。
分歧是有价值的：专家们的“吵架”不是噪音，而是信号。它告诉我们这份公告很复杂，需要更细致的分析。
小模型也能干大事：不需要把巨大的 AI 模型重新训练一遍（那太烧钱了），只需要训练一个小小的“裁判”来整合大家的意见，就能获得巨大的提升。

简单来说，这就好比集思广益。作者证明了，只要有一个聪明的“组长”能把大家不同的、甚至冲突的意见整理好，这个团队的决策能力就能远超任何单个“天才”。

这篇论文提出了一种轻量级多智能体聚合框架，旨在解决零样本（Zero-Shot）大语言模型（LLM）在企业披露文本分类中的不稳定性问题，并提升其对次日股票回报方向的预测能力。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

背景：企业披露文本（如财报、公告）包含丰富的预测性信息，但语言往往混合了正面（如业绩增长）和负面（如法律风险、指引下调）信号，导致单一视角的解读困难。
挑战：虽然零样本 LLM 无需微调即可处理文本，但其预测结果在不同提示词（Prompts）、推理路径和模型家族之间往往存在显著差异（不稳定性）。
核心问题：能否将不同零样本智能体之间的“分歧”（Disagreement）转化为一种特征，而不是将其视为弱点？即，通过聚合多个零样本智能体的判断，是否能获得比单一智能体或简单投票规则更强的下游分类信号？

2. 方法论 (Methodology)

作者设计了一个多智能体零样本框架，结合了一个轻量级的元分类器（Meta-classifier）。

A. 多智能体设置 (Multi-Agent Setup)

使用三个独立的零样本智能体，分别基于不同的金融视角阅读同一份披露文本：

业绩智能体 (Performance Agent)：关注已实现的运营表现（如盈利、收入、利润率、成本）。
指引智能体 (Guidance Agent)：关注前瞻性指引、管理层展望及预期修正。
风险智能体 (Risk Agent)：关注不确定性、诉讼、监管、流动性及下行风险。

输出：每个智能体输出一个三元组 $(l_k, c_k, r_k)$ $(l_{k}, c_{k}, r_{k})$ ，包含：
- $l_k$ ：情感标签（正/中/负，映射为 +1, 0, -1）。
- $c_k$ ：置信度分数（0 到 1 之间）。
- $r_k$ ：简短的推理依据（Rationale）。
模型池：使用了 Qwen2.5-3B, Llama-3.2-3B, 和 Qwen2.5-72B 等模型，框架具有模型无关性。

B. 特征工程与聚合 (Aggregation)

将三个智能体的输出转换为特征向量 $z(x)$ ，包含：

三个智能体的标签、置信度。
多数投票标签、各类别计数、一致智能体数量。
最自信的两个智能体之间的置信度差距。
交互特征：最自信的智能体具体是哪一个（业绩/指引/风险）。

C. 元分类器 (Meta-Classifier)

模型：使用逻辑回归 (Logistic Regression) 作为元分类器。
训练策略：仅训练聚合层，基础 LLM 智能体保持冻结（不微调）。
目标：预测次日股票回报方向（ $y_t = \mathbb{I}(r_{t+1} > 0)$ ）。
基线对比：
- 单一智能体表现。
- 多数投票 (Majority Vote)。
- 置信度加权投票 (Confidence-weighted Voting)。
- FinBERT 基线模型。

3. 实验设置 (Experimental Setup)

数据集：2018-2024 年间 Nasdaq 和 S&P 500 公司发布的 18,420 份 美国企业披露文本，匹配次日股票回报。
数据划分：按时间顺序划分为 60% 训练集、20% 开发集、20% 测试集（严格防止信息泄露）。
预处理：保留数字、日期和金融术语，仅对元数据中的股票代码进行小写处理，截断至最小模型支持的 Token 预算。

4. 主要结果 (Key Results)

在测试集上的表现（平衡准确率 Balanced Accuracy）：

方法	准确率 (Acc.)	宏观 F1	平衡准确率 (Bal. Acc.)
FinBERT	0.556	0.548	0.544
单一最佳智能体 (Guidance)	0.579	0.571	0.561
多数投票	0.586	0.579	0.573
置信度加权投票	0.597	0.589	0.584
训练后的聚合器 (Aggregator)	0.624	0.617	0.612

关键发现：

性能提升：训练后的聚合器将平衡准确率从最佳单一智能体的 0.561 提升至 0.612，显著优于 FinBERT 和所有投票基线。
冲突场景下的优势：
- 当三个智能体意见一致时，聚合器提升有限。
- 当出现 2-1 分歧 或 高冲突（High conflict）情况时，聚合器表现大幅提升（例如在 2-1 分歧中，Bal. Acc. 从 0.558 提升至 0.603）。
- 这表明聚合器学会了如何处理“分歧”，将其视为结构化信息而非噪声。
特定案例表现：在“业绩强劲但指引疲软”或“增长伴随法律风险”等混合信号披露中，聚合器纠正了单一智能体因提示词侧重而产生的偏差。

5. 主要贡献 (Key Contributions)

紧凑的多智能体零样本框架：提出了一种无需微调基础 LLM 即可用于企业披露分类的轻量级方案。
验证了聚合的有效性：证明了经过训练的元分类器在样本外（Out-of-sample）表现优于单一智能体和简单的投票规则。
揭示了分歧的价值：通过案例分析表明，智能体间的分歧在混合信号文本中是信息丰富的，聚合器能有效利用这种互补性信号。

6. 意义与局限性 (Significance & Limitations)

意义：
- 数据效率：在缺乏高质量情感标注数据的情况下，利用零样本 LLM 的多样性结合轻量级监督学习，是一种高效且可解释的解决方案。
- 金融应用：该方法符合实际金融场景（文本量大但标注昂贵），且逻辑回归模型易于解释。
- 理论启示：挑战了将 LLM 分歧视为噪声的传统观点，证明了在特定任务中，分歧本身就是一种可被学习的特征。
局限性：
- 仅使用次日回报方向作为目标，未考虑更复杂的市场因素。
- 智能体的分解依赖于研究者设计的提示词（Prompt），部分增益可能源于提示词划分而非纯粹的模型多样性。
- 置信度分数的计算在不同模型间存在近似性（部分基于 Token 概率，部分基于自报数值）。

总结：该论文证明了通过训练一个轻量级的元分类器来聚合多个不同视角的零样本 LLM 智能体，可以显著提升对企业披露文本的金融分类性能，特别是在处理复杂、混合信号的文本时，这种“多视角聚合”策略比单一模型或简单投票更为有效。