💬 NLP

Relational Probing: LM-to-Graph Adaptation for Financial Prediction

该论文提出了一种名为“关系探测”（Relational Probing）的方法，通过将语言模型隐藏状态直接映射为关系图并与下游任务联合训练，在保持严格图结构的同时实现了更高效的金融趋势预测，并定义了可在单张 24GB GPU 上微调的小语言模型标准。

原作者： Yingjie Niu, Changhong Jin, Rian Dolphin, Ruihai Dong

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yingjie Niu, Changhong Jin, Rian Dolphin, Ruihai Dong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为**“关系探测”（Relational Probing）**的新方法，旨在利用人工智能（语言模型）来预测股票走势。

为了让你轻松理解，我们可以把整个金融预测过程想象成**“在嘈杂的菜市场里预测哪家的蔬菜明天会涨价”**。

1. 传统的做法：笨重的“翻译官”

以前的方法是这样的：

第一步：派一个超级聪明的“翻译官”（大型语言模型）去读所有的新闻。
第二步：翻译官读完新闻后，必须用嘴巴（或者打字）把里面的关系“说”出来，比如：“苹果公司和特斯拉公司今天关系很好，因为它们都提到了电池”。
第三步：另一个“分析师”（预测模型）听到这些文字描述，再把它翻译成一张“关系图”，最后根据这张图去猜股价。

问题在哪里？

太慢了：翻译官要一个字一个字地“说”出来（这叫自回归解码），就像让一个人把整本书读给你听，效率很低。
容易出错：翻译官可能会说错话，或者格式不对（比如分析师想要一张图，翻译官却给了一堆乱码文字）。
脱节：翻译官只负责“读得通顺”，不负责“猜得准”。它不知道分析师最终需要什么样的关系图。

2. 新方法的“关系探测”：心领神会的“读心术”

这篇论文提出的新方法，就像给分析师装上了**“读心术”**，直接跳过“说话”和“翻译”的环节。

核心思想：
我们不再让语言模型“说话”或“写文章”。相反，我们直接读取它的“大脑活动”（也就是它处理新闻时的内部隐藏状态）。
怎么做？
我们在语言模型后面接了一个**“关系探头”（Relation Head）。这个探头就像是一个“直接连线器”**。
- 当语言模型读到“苹果”和“特斯拉”时，它的“大脑”里已经产生了某种微妙的联系信号。
- “关系探头”直接捕捉这些信号，瞬间把它们变成一张**“关系网”**（谁和谁有关联，关联有多强）。
- 这张网直接喂给“分析师”（预测模型）去判断股价。

比喻：
想象语言模型是一个大厨，新闻是食材。

旧方法：大厨做完菜，必须先把菜端出来，写一张菜单（文字描述），服务员再把菜单交给食客，食客根据菜单想象菜的味道。这很慢，而且菜单可能写错了。
新方法：食客直接通过**“心灵感应”**感知大厨切菜、炒菜时产生的“味道信号”。大厨不需要端菜出来，也不需要写菜单，食客直接根据这些信号判断下一道菜好不好吃。

3. 为什么要用“小”语言模型？

论文特别强调使用**“小语言模型”（SLMs）**，比如只有几亿参数的模型（Qwen3-0.6B/1.7B/4B）。

定义：作者定义，只要能在一张普通的显卡（24GB 显存）上跑通整个流程的模型，就叫“小语言模型”。
好处：
- 省钱省力：不需要昂贵的超级计算机，普通公司甚至个人开发者都能用。
- 快：因为模型小，反应快，而且不需要“说话”（生成文本），直接输出结构化的数据，速度极快。
- 效果好：实验发现，即使是这种“小模型”，只要配合新的“关系探头”，也能比那些笨重的旧方法预测得更准。

4. 实验结果：真的有用吗？

研究人员用真实的金融新闻数据做了测试：

对比对象：以前常用的“共现法”（只要两个股票在新闻里同时出现，就认为它们有关系）。这就像看到“苹果”和“手机”同时出现，就认为它们有关系，但这很粗糙，因为可能只是巧合。
结果：
- 新的“关系探测”方法，就像**“懂行的人”**，能看出新闻里真正的逻辑联系（比如“因为政策利好，所以这两家公司都会受益”），而不仅仅是看谁和谁同时出现。
- 在预测股票涨跌（涨、跌、不变）的任务中，新方法比旧方法更准确，尤其是在识别那些不容易被发现的涨跌趋势时。
- 模型越大（从 0.6B 到 4B），效果越好，但提升幅度会逐渐变小（边际效应递减），说明小模型已经足够聪明了。

5. 总结：这篇论文带来了什么改变？

简单来说，这篇论文做了一件**“去繁就简”**的事：

去掉了中间商：不再让 AI 把关系“写”成文字，而是直接“读”出关系。
端到端训练：让“读心探头”和“预测分析师”一起训练，它们互相配合，目标都是为了猜对股价，而不是为了“写出漂亮的句子”。
平民化：证明了不需要巨大的算力，用普通的显卡和小型模型，也能做出高质量的金融预测。

一句话概括：
这就好比以前我们要预测天气，得先让气象员写长篇大论的报告，再让专家去读；现在，我们直接让气象员的大脑信号连接到大脑预测器，瞬间就能知道明天会不会下雨，而且更准、更快、更省钱。

这是一份关于论文《RELATIONAL PROBING: LM-TO-GRAPH ADAPTATION FOR FINANCIAL PREDICTION》（关系探测：面向金融预测的语言模型到图适配）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：股票预测不仅取决于个股自身的动量，还受到相关公司之间关系的影响（如行业关联、持股关系、新闻中的共现等）。现有的基于文本构建关系图的方法存在以下痛点：
1. 延迟与成本：基于提示（Prompting）的管道通常依赖自回归解码（Autoregressive Decoding）来生成结构化文本（如 JSON），这带来了显著的推理延迟和计算成本。
2. 解耦优化：传统的“文本提取 $\rightarrow$ 解析 $\rightarrow$ 构建图 $\rightarrow$ 下游预测”流程将图构建与下游任务（如股票趋势预测）解耦，导致图结构并非针对最终任务进行优化。
3. 静态与噪声：预定义的静态关系（如行业分类）在动态市场中容易过时；而基于简单共现（Co-occurrence）的动态图往往包含大量噪声（如虚假的共提及），无法捕捉深层的语义交互。
4. 格式脆弱性：大型语言模型（LLM）在遵循复杂层级约束（如严格的图结构格式）时表现不稳定，容易违反格式要求。

2. 方法论 (Methodology)

作者提出了关系探测（Relational Probing），一种端到端的框架，将上游语言模型（LM）与下游图注意力网络（GAT）直接耦合，用于金融趋势预测。

核心架构流程：

新闻编码 (News Encoding)：
- 输入新闻文章，通过语言模型骨干（Backbone）进行编码，得到上下文令牌表示 $H$ 。
关系诱导 (Relation Induction) - 核心创新：
- 用轻量级的**关系头（Relation Head, RH）**替代标准的语言模型头。
- 机制：RH 直接从 LM 的隐藏状态映射到邻接矩阵。
  - 首先，通过缩放点积注意力（Scaled Dot-Product Attention）将可学习的股票代码嵌入（Ticker Embeddings）与新闻令牌状态对齐，得到新闻条件化的股票代码表示 $Z$ 。
  - 然后，在降维空间中使用双线性映射（Bilinear Map）计算股票对之间的交互分数，生成关系矩阵。
- 优势：避免了自回归解码和文本解析过程，直接输出结构化图数据。
每日图构建 (Daily Graph Construction)：
- 将同一天内所有新闻文章生成的证据进行聚合和归一化。
- 应用阈值操作生成稀疏邻接矩阵，并结合原始交互分数作为边权重，形成带权重的日级关系图 $G_t$ 。
下游预测 (Downstream Prediction)：
- 使用图注意力网络（GAT）处理动态图。
- 节点特征由历史交易数据（通过 LSTM 编码）提供。
- GAT 利用诱导出的图结构和节点特征预测下一时刻的股票趋势（上涨、下跌或持平）。
联合训练 (Joint Training)：
- 关系头（RH）和下游 GAT 是联合训练的。下游预测任务的损失梯度会反向传播通过 GAT 和 RH，甚至更新语言模型的参数（如果是小模型），从而确保诱导出的关系图结构直接服务于最终的金融预测目标。

小语言模型（SLM）的操作性定义：

为了可复现性，作者定义了 SLM：指在指定的批次大小和序列长度预算下，能够在单张 24GB GPU 上进行端到端联合微调的模型。本文实验使用了 Qwen3 系列（0.6B, 1.7B, 4B）作为骨干。

3. 关键贡献 (Key Contributions)

关系探测（Relational Probing）的提出：将线性探测（Linear Probing）推广到关系探测，用可学习的关系头将 LM 隐藏状态直接转换为关系图，无需受控解码（Constrained Decoding），实现了输出与目标结构的对齐。
端到端联合优化：关系头与下游任务模型联合训练，使得生成的图结构能够针对特定任务（股票趋势预测）进行优化，而非仅仅追求文本生成的流畅度或事实准确性。
SLM 的标准化定义与基准测试：提出了基于单 GPU 显存预算的 SLM 操作性定义，并在同一架构家族（Qwen3）内进行了受控比较，消除了架构差异带来的混淆。
实证发现：证明了在资源受限（单卡）条件下，通过联合训练，小参数量的语言模型也能构建出高质量的关系图，且性能优于传统的共现基线。

4. 实验结果 (Results)

实验在包含股票交易数据和新闻的金融数据集上进行，对比了不同图构建方法对下游 GAT 预测性能的影响。

对比基线：
- Majority-only：仅预测多数类（中性），准确率最高但无判别力。
- Co-occurrence：基于新闻中股票共现构建的图。
- Relational Probing：使用 Qwen3 不同参数量（0.6B, 1.7B, 4B）构建的图。
主要发现：
- 性能提升：关系探测在所有指标（准确率、Macro F1、MCC、AUC）上均一致优于共现基线。
  - 例如，Qwen3-0.6B 将 Macro F1 从 0.2831 提升至 0.3171，MCC 从 0.0143 提升至 0.0312。
- 规模效应：随着 SLM 容量增加（0.6B $\rightarrow$ 1.7B $\rightarrow$ 4B），性能进一步提升，但存在边际收益递减现象。Qwen3-4B 取得了最佳成绩（Accuracy: 0.5705, Macro F1: 0.3272）。
- 消融实验：
  - 注意力机制：全范围注意力（Full Attention）优于限制范围（Limited）和平均池化（Pooling），证明了语义融合的重要性。
  - 隐藏状态来源：仅使用输入序列的隐藏状态（Input-only）优于同时使用生成令牌（Input+Gen），且推理速度更快。
指标说明：由于数据存在类别不平衡（中性类占主导），准确率具有误导性。研究强调 Macro F1、MCC 和 AUC 更能反映模型在识别少数类（涨跌）方面的能力。

5. 意义与影响 (Significance)

范式转变：从“提示工程 + 文本解析”的间接图构建模式，转向“隐藏状态直接映射”的端到端图构建模式。这显著降低了推理延迟，消除了解析错误，并简化了流水线。
任务对齐：通过联合训练，诱导出的关系图不再是通用的语义关联，而是针对金融预测任务优化的“任务感知”图结构，提高了下游模型的预测精度。
实用性与可复现性：证明了在单张消费级 GPU（RTX 4090）上，利用小参数量的语言模型（<5B）即可实现有效的金融预测，降低了金融 AI 应用的门槛。
未来方向：为处理类别不平衡问题、设计可插拔的任务特定头（Task-specific Heads）以及进一步探索结构化输出提供了新的研究思路。

总结：该论文提出了一种高效、端到端的框架，利用语言模型的内部表示直接构建金融关系图，并通过联合训练优化图结构以适应股票预测任务。这种方法在保持计算成本可控的同时，显著提升了金融预测的性能，为小语言模型在动态金融环境中的应用提供了有力的实证支持。