CFOs Meet LLMs

技术摘要：“CFO 遇见大语言模型”

问题陈述
商业情绪，尤其是管理层预期，是关键的经济信号。然而，通过传统调查（如杜克-美联储 CFO 调查）进行的测量面临显著局限：它们成本高昂、周期性强（每季度一次）、横截面覆盖范围低（仅数百家公司），且存在选择偏差。此外，尽管这些调查提供了宝贵的预测性数据，但其编译速度慢且频率有限。作者提出了一个问题：是否可以在没有人类调查所带来的成本、延迟或偏差的情况下，生成可靠、可扩展、高频的类 CFO 预期数据。

方法论
作者提出了一种使用大语言模型（LL $\text{M}$s），特别是 GPT-5.4（OpenAI, 2026），来生成“合成 CFO 预期”的方法。核心方法是将 $\text{LLM}$ 进行“角色扮演”，使其成为特定时间点下某家上市公司的特定首席财务官（CFO）。

1. 提示词构建：

   • 系统提示词（System Prompt）： 确立金融高管的人设，并施加严格的信息截止日期，以匹配实际调查的日期。模型被指示仅使用截至该日期可获得的信息，包括通过网络搜索获取的公开数据（收益报告、分析师覆盖范围等）在截止日期之前的数据，以防止前瞻性偏差（look-ahead bias）。
   • 用户提示词（User Prompt）： 提供详细的企业高管画像（行业、营收、员工人数、地理位置、信用评级等），并且至关重要的是，提供受访者自身的历史记录。这包括该 CFO 在之前调查波次中的过往乐观度得分（严格限定在截止日期之前）以及模型对该个体的自身历史预测。
   • 任务： 模型被要求在 0–100 的量表上对其对美国整体经济的乐观程度进行评分，模拟经典的杜克 CFO 调查问题。

2. 数据与验证：

   • 该研究涵盖了 2002 年至 2025 年间 6,075 份上市公司调查响应。
   • 对于每一个人类响应，作者生成三个独立的 $\text{LLM}$ 预测并取其平均值，以减轻随机噪声。
   • 稳定性： 作者验证了 $\text{LLM}$ 输出的方差是由不同调查观测值之间的差异驱动的，而非来自重复调用中的随机噪声（成对相关性约为 0.96）。
   • 样本外性质： 特定的真人调查响应从未进入模型的训练语料库（由于排除了将其纳入训练的机构协议），确保了预测对于目标变量而言是真正的样本外预测。

核心发现

1. 个体层面的预测能力：

   • $\text{LLM}$ 生成的乐观度得分是实际 CFO 响应的重要预测因子。在人类乐观度与匹配的 $\text{LLM}$ 得分进行的回归分析中，系数高度显著（基准测试中 $t$ 统计量 $> 17$）。
   • 该关系在加入企业固定效应（追踪公司内部随时间的变化）和年份-季度固定效应（追踪季度内的横截面变化）后依然成立。
   • 至关重要的是，即使在控制了受访者最近一次的先前回答后，$\text{LLM}$ 得分依然保持显著，这表明模型不仅仅是在简单地模仿上一次的回答，而是捕捉到了额外的预测信息。

2. 调节信息的作用（剂量-反应关系）：

   • 预测准确性随提供信息的量增加而正向扩展。
   • 受访者历史： 当没有先前的响应数据时，模型的 $R^2$ 约为 0.10。当有少量先前的观测点时，它上升到 ~0.33；当拥有三个以上的先前响应时，它接近 ~0.50。
   • 企业特征： 包含完整企业画像字段（10–12 个特征）的提示词比稀疏提示词具有更好的预测效果（$R^2 \approx 0.32$ 对比 $R^2 \approx 0.21$）。
   • 基于历史信息的调节作用恢复了横截面异质性；若不进行此类调节，经过指令微调的模型往往会向众数观点塌缩，从而压缩合成得分的分布。

3. 聚合与稳健性：

   • 在季度聚合层面，平均 $\text{LLM}$ 乐观度仍然是平均 CFO 乐观度的强力预测因子。
   • 在包含密歇根消费者信心指数和专业预测者调查（SPF）GDP 预测的“赛马”回归中，$\text{LLM}$ 得分保留了显著的解释力，而人类基准指标则失去了显著性。这表明 $\text{LLM}$ 捕捉到了标准宏观指标未能捕捉到的高管情绪变化。

意义与主张
本文声称提供了首次针对 $\text{LLM}$ 模拟调查响应的个体层面、公司内验证。不同于以往关注将合成群体分布与真实群体进行匹配的工作，本研究证明了在给定公开足迹和个人记录的情况下，$\text{LLM}$ 可以逼近特定人类高管的具体反应。

作者认为，通过适当的调节，$\text{LLM}$ 可以作为高管的**“数字孪生”**。这为金融研究和政策制定提供了一个新工具，能够实现：

• 可扩展性： 为任何上市企业（而非仅限于参与调查的企业）生成情绪数据。
• 高频性： 产生每日或每周的情绪更新潜力，绕过传统的季度限制。
• 反事实实验： 通过改变公司特征（例如，改变海外收入敞口）同时保持其他因素不变，进行“合成调查实验”。

作者保持了谦逊的态度，承认 $\text{LLM}$ 无法恢复人类 CFO 所拥有的私有信息（例如，待处理订单、内部成本压力）。因此，他们将 $\text{LLM}$ 定位为人类调查的补充而非替代品。他们还指出，对于缺乏历史数据的首次响应者，预测准确性较低，且模型的“信念”仍受限于其训练数据的规律。