Retrieval-Augmented Large-Language-Model-Based Time-Series Forecasting for Cross-Market Equity Analysis

技术摘要：基于检索增强型大语言模型的时间序列预测用于跨市场股票分析

问题陈述
本文探讨了在具有噪声且部分非平稳的金融市场中预测股票回报率的挑战。虽然像 Lag-Llama 这样的时间序列基础模型提供了可重用的、概率性的预测骨干网络，具备零样本泛化能力，但目前尚不清楚显式检索类比的历史窗口是否能持续降低不同市场机制、资产和预测时界的预测误差。现有文献通常侧重于特定任务的模型或单一市场的案例研究，从而在理解检索增强机制如何作为预训练基础模型在跨市场股票设置中的外部记忆修正方面留下了空白。

方法论
本研究引入了跨市场检索增强型 Lag-Llama (CM-RAF-Lag-Llama)，这是一个受控框架，通过在不重新训练骨干网络的情况下，为固定的 Lag-Llama 概率预测器增加了一个检索层。

• 数据与面板： 评估采用了三个平衡的七只股票面板，涵盖新兴市场和发达市场：IDX7（印度尼西亚）、US7（美国）和 JP7（日本）。数据源自 Yahoo Finance（2019–2025 年）的每日收盘价，经过前向填充、5 日移动平均和百分比回报转换的预处理。
• 混合工作流：
  1. 基础预测： Lag-Llama 基于上下文窗口生成概率预测。
  2. 检索： 使用统计描述符（均值、标准差、极值、分位数、近期窗口摘要）对历史训练窗口进行嵌入，并通过 FAISS 进行索引。
  3. 相似性搜索： 将当前上下文与记忆库进行查询，利用欧氏距离检索最近邻的历史延续序列。
  4. 融合： 使用加权平均法将检索到的延续信号与基础预测进行融合：$\hat{y}_H = (1 - \alpha)\hat{y}_{LL} + \alpha\hat{y}_R$。
• 实验设计：
  • 跨市场网格： 在 48 种配置（3 个面板 × 4 种上下文长度 [32, 64, 128, 256] × 4 种预测时界 [30, 60, 90, 120 天]）下进行全网格评估。
  • 检索变体： 研究对比了“仅 Lag-Llama”（Lag-Llama-only）、“原始 RAF”（RAF-raw，固定融合）以及“验证选择型 RAF”（RAF-sel.，其最优检索键和融合比例是基于验证窗口选定的）。
  • 股票特征扩展： 第二项实验评估了由 OHLCV 衍生的目标变量（对数价格、对数成交量、价格区间波动率、20 日实现波动率），以测试更丰富的股票表示是否能提高检索效能。
  • 机制级消融： 在单个序列（BBCA.JK）上进行详细的零样本和基于调度器（学习率 0.0005）的评估，以隔离时界和上下文长度的敏感性。
• 指标： 使用均方误差（MSE）衡量点预测精度，使用连续排位概率评分（CRPS）衡量概率质量。

关键结果

• 跨市场验证： 在仅回报率实验中，至少有一种检索变体在所有 48 种配置中降低了 MSE。相对于仅使用 Lag-Llama，聚合 MSE 分别降低了 28.85% (IDX7)、27.27% (US7) 和 33.60% (JP7)。验证选择型检索变体在 48 种配置中的 41 种中始终优于原始检索。
• 股票特征扩展： 对于 OHLCV 衍生目标，验证选择型 RAF 在 72 种配置中的 68 种中降低了相对于 Lag-Llama-only 的 MSE。它在 22 种配置中取得了所有对比系统（包括外部基准如随机森林、KNN 和 PatchTST）中的最低 MSE，尤其是在 US7 的波动率和成交量目标中表现突出（在 18 个非对数价格设置中占了 17 个）。
• 机制级洞察：
  • 时界敏感性： 检索在中长期时界（60–120 天）最为有效。在零样本设置下，30 天预测往往出现误差增加，这表明当局部动态占据主导地位时，检索会引入噪声。
  • 上下文长度： 中等长度的上下文（32 和 64）效果最佳。上下文长度为 256 时性能往往会下降，特别是对于 CRPS，这意味着过长的窗口会因异质的市场机制而稀释查询表示。
  • 适应性： 基于调度器的设置稳定了性能，与零样本相比，在 16 种配置中的 14 种里降低了 MSE（零样本在 16 种中降低了 12 种），尽管当检索与实际情况契合度高时，零样本显示出略高的平均降幅。
  • MSE 与 CRPS： 检索在改善点预测准确性（MSE）方面比改善概率校准（CRPS）更为可靠，这表明该机制主要修正预测均值，而非重塑完整的分布形态。

意义与主张
本文声称提供了受控证据，证明检索增强作为一种有效的外部记忆修正，可用于股票市场的基金模型预测。其主要贡献在于：

1. 验证检索作为修正层的作用： 证明了无需重新训练或改变架构，显式的历史检索即可降低固定预训练 Lag-Llama 骨干网络的误差。
2. 跨市场泛化性： 确立了这种误差降低并非单一市场的偶然现象，而是持续存在于新兴市场（IDX）和发达市场（US, JP）的股票面板中。
3. 配置依赖的效用： 明确指出检索并非普遍受益；其价值取决于预测时界（在 60+ 天时更有用）和上下文长度（在 32–64 步时达到最优）。
4. 针对特定目标的有效性： 表明当预测目标具有可重用的波动率或成交量结构（如实现波动率）而非原始价格水平时，该混合系统特别具有竞争力。

作者将这项工作定位为一种透明、轻量级的替代方案，旨在避免重新训练大型模型，适用于计算资源有限或相比于不透明的模型更新更倾向于可解释推理时修正的场景。他们明确指出，预测误差的改善并不保证盈利的交易策略，因为未考虑交易成本和市场冲击，因此将其框架设定为用于情景分析和风险规划的决策支持工具。