技术摘要：Chat-TS：增强对时间序列与自然语言数据的多模态推理能力

问题定义

大语言模型（LLMs）正越来越多地部署在医疗、金融和交通等时间序列数据至关重要的领域。然而，目前的 LLM 缺乏同时整合时间序列数据及其对应文本内容进行推理的能力。现有的方法通常将时间序列转换为文本格式或将其嵌入到模型权重中，这往往会损害模型固有的自然语言理解（NLU）和推理能力。此外，该领域面临着多模态训练数据的匮乏以及缺乏用于评估时间序列推理的大规模基准测试的问题。

方法论

作者提出了 Chat-TS，一个旨在使 LLM 能够在不降低其核心语言能力的情况下，实现对时间序列和文本数据进行推理的框架。该方法由三个主要部分组成：

1. 通过离散化分词进行词表扩展

Chat-TS 没有使用连接器将时间序列表示映射到文本嵌入，而是通过扩展 LLM 的词表来包含时间序列标记（tokens）。

分词器（Tokenizer）： 引入了一种轻量级的离散分词器，用于将连续的数值型时间序列值转换为离散标记。它将归一化后的时间序列范围 $[-s, s]$ 量化为 $K-1$ 个区间（其中 $K=8192$ ），并使用特殊标记来标记通道结束。
优势： 这种方法可以实现对时间序列数据的近乎完美的重建（特别是对于长度在 1,000 个点以下的序列），且无需训练复杂的编码器-解码器架构，从而避免了可能出现的分布外（out-of-distribution）问题。

2. 训练策略

该框架采用两阶段训练策略，以在获取时间序列推理技能的同时保留 NLU 能力：

第一阶段（预训练）： 模型在时间序列标记上进行预训练。研究探索了两种初始化方法：均值初始化（将新嵌入设置为现有文本标记的平均值）和时间序列预训练（仅解冻嵌入层和最后的线性层）。
第二阶段（指令微调）： 使用双数据集策略。模型在以下内容的组合上进行微调：
- TS-Instruct： 一个将时间序列数据与文本指令配对的多模态数据集。
- Open-Orca： 一个大规模的纯自然语言指令语料库。
  这种交替训练确保了模型在学习处理涉及时间序列的指令时，仍能保留其通用的语言推理能力。

3. 数据集构建

为了解决数据稀缺问题，作者贡献了三个新数据集：

TS Instruct 训练数据集： 使用 GPT-4o-mini 生成的一个多样化多模态数据集，将现实世界的时间序列（来自 LOTSA 和 Time-Series Classification Archive）与涵盖推理、分类、决策和数学分析的合成对话指令进行配对。
TS Instruct QA Gold 基准测试： 一个经人工验证的 1,056 道多选题集，旨在评估多模态推理能力。
TS Instruct 定量探测集： 一个用于定量评估的子集，包含数学和决策任务。

核心贡献

新数据集： 发布 TS Instruct 训练数据集和 TS Instruct QA Gold 基准测试，填补了多模态时间序列训练与评估领域的空白。
架构： 一种将时间序列标记直接集成到 LLM 词表中的新颖方法，消除了对中间连接器的需求，并保留了模型的原始文本生成和推理能力。
性能： 所提方法在多模态推理任务中达到了最先进的性能，同时保持了强大的自然语言熟练度。

实验结果

实验使用 Llama 3.1-8B 模型作为基座模型进行。

时间序列推理： 在 TS Instruct QA Gold 基准测试中，Chat-TS 取得了 67.22% 的得分，优于基础 Llama 3.1-8B (54.22%) 以及其他基线模型如 Phi-3-medium-4k (64.64%)。这代表比现有最先进基线模型平均提升了约 13%。
泛化能力： 在 MCQ2TS 数据集（一个包含与训练数据不同的反事实推理任务的合成数据集）上进行测试时，Chat-TS 从基础模型的 36.5% 提升至 47.6%，证明了性能提升并非源于数据集污染。
NLU 保留： 在 MMLU-Pro、Big-Bench-Hard 和 GPQA 基准测试上的消融实验表明，所有 Chat-TS 变体均将性能维持在基础 Llama 3.1-8B 模型的 ±2% 范围内。这证实了集成时间序列推理不会降低模型的自然语言能力。
消融分析： 仅在时间序列数据上进行训练的模型（未加入交替文本）在指令遵循方面表现挣扎。表现最好的模型是使用混合了 Open-Orca 文本数据和 TS-Instruct 多模态数据的模型（PreOrcaTS），这凸显了模态交替的重要性。

重要性与局限性

论文声称 Chat-TS 为多模态推理建立了强大的基准，证明了可以在不牺牲基础语言能力的前提下，有效地增强 LLM 的时间序列分析能力。该工作提供了一个处理文本和时间序列的统一框架，并支持开源模型、数据集和代码。

作者承认存在特定的局限性：

时间序列生成： 目前的模型在准确的时间序列预测和生成方面表现较弱，限制了其在天气或金融预测等领域的应用。
零样本分类： 在零样本时间序列分类上的表现较弱，经常出现猜测或重复现象。
规模化： 为了易于获取，实验仅限于 8B 参数模型；作者认为，扩大数据量和模型规模可能会带来进一步的提升。

论文总结道，虽然 Chat-TS 推动了时间序列推理领域的技术进步，但未来的工作必须解决生成能力和分类鲁棒性的问题，以充分释放多模态 LLM 在时间序列领域的潜力。