Can Multimodal LLMs Perform Time Series Anomaly Detection?

这是一篇关于多模态大语言模型（MLLMs）在时间序列异常检测（TSAD）中应用的学术论文总结。该论文由伊利诺伊理工学院、埃默里大学、芝加哥大学、南加州大学等机构的研究人员共同完成，发表于 WWW '26。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义

• 背景：时间序列异常检测（TSAD）是 Web 规模系统和在线基础设施（如服务可靠性监控、故障诊断）的核心问题。虽然大语言模型（LLMs）在时间序列分析中展现出潜力，但现有的研究大多将数值数据直接视为文本处理，忽略了人类通常通过可视化（图像）结合文本描述来识别异常的习惯。
• 核心问题：多模态大语言模型（MLLMs，特别是视觉 - 语言模型）能否直接进行时间序列异常检测？
• 现有研究的局限性：
  • 过度简化问题：通常将点异常视为范围异常的特例，或将范围异常简化为点异常的聚合。
  • 缺乏对复杂场景的覆盖：忽略了多粒度异常（点、范围、变量级）以及非规则采样（缺失数据、不规则时间间隔）的时间序列。
  • 模态单一：主要依赖文本输入，未充分利用视觉模态的优势。

2. 方法论：VisualTimeAnomaly 基准与 TSAD-Agents 框架

A. VisualTimeAnomaly 基准 (Benchmark)

为了系统评估 MLLMs 的零样本（Zero-shot）能力，作者构建了一个名为 VisualTimeAnomaly 的基准。

• 数据构建：将时间序列数值数据转换为图像格式（TSI, Time Series Images），并结合文本描述输入给 MLLMs。
• 覆盖的异常类型：
  1. 粒度维度：
     • 点异常 (Point-wise)：全局异常、上下文异常。
     • 范围异常 (Range-wise)：季节性、趋势、形状（Shapelet）异常。
     • 变量级异常 (Variate-wise)：多变量时间序列中特定变量的整体异常（如三角形、方形、锯齿形等模式）。
  2. 不规则性 (Irregularity)：模拟真实场景中数据缺失或不均匀采样的情况（通过随机丢弃数据点实现，缺失率最高达 25%）。
• 评估对象：测试了多种 MLLMs（GPT-4o, Gemini-1.5, LLaVA-NeXT, Qwen2-VL）及其不同参数规模版本。
• 对比基线：包括传统 TSAD 方法（iForest, OCSVM）和深度学习方法（OmniAnomaly, THOC, TranAD）。

B. TSAD-Agents 多智能体框架

基于基准测试的洞察，作者提出了 TSAD-Agents，这是一个基于 MLLMs 的多智能体协作框架，旨在实现自动化的 TSAD。

• 核心组件：
  1. 扫描智能体 (Scanning Agent)：使用“扫描链”（Chain-of-Scanning）技术，首先推理时间序列是规则还是不规则，以及异常是点级还是范围级。
  2. 规划智能体 (Planning Agent)：根据扫描结果制定策略。
     • 点异常/不规则点异常：调用传统方法（文本模态）进行检测。
     • 范围异常/不规则范围异常：调用 MLLMs（图像模态）进行检测。
  3. 检测智能体 (Detection Agent)：执行具体的检测任务，从工具集中选择传统算法或 MLLM 模型。
  4. 检查智能体 (Checking Agent)：具备自我反思（Self-reflection）能力。它通过绘制包含预测结果的新图像，评估预测是否过宽、过窄或错误，并修正结果。
• 动态共享内存：所有智能体共享上下文信息（如异常类型），确保决策的一致性。
• 模态自适应：框架能根据异常类型动态切换文本和图像输入模态，以优化性能。

3. 关键发现 (Key Insights)

1. 互补性：MLLMs 与传统方法在异常粒度上具有互补性。
   • MLLMs：擅长检测粗粒度异常（范围异常和变量级异常），因为视觉模态能更好地捕捉宏观模式。
   • 传统方法：擅长检测细粒度异常（点异常），因为它们在数值推理上更精确。
2. 对不规则数据的鲁棒性：MLLMs 通过将时间序列可视化为图像，对数据缺失和不规则采样表现出极强的鲁棒性。即使数据缺失 25%，MLLMs 的性能依然稳定，而传统方法（依赖插值）性能大幅下降。
3. 模态转换的影响：
   • 从文本到图像：使 MLLM 的关注点从定量变化（数值大小）转向定性模式（形状、趋势）。
   • 减少幻觉：将长序列文本转换为图像输入，显著减少了 MLLMs 的幻觉（Hallucination）现象，因为图像输入缩短了 token 长度且避免了数值生成的错误。

4. 实验结果

• 基准测试表现：
  • 在点异常检测上，MLLMs 的 F1 分数较低（约 4%），远低于传统方法（约 38%）。
  • 在范围异常和变量级异常上，MLLMs 表现优异（F1 分数分别达到 50% 和 63%），远超传统方法。
  • 在不规则时间序列上，MLLMs 在数据缺失 25% 时性能几乎无下降，而传统方法性能下降约 47%。
• TSAD-Agents 表现：
  • 该框架综合了传统方法和 MLLMs 的优势。
  • 在点异常上，TSAD-Agents 超越了纯 MLLM 方法，接近甚至超越传统方法（F1 从 19.3 提升至 55.4）。
  • 在范围异常上，TSAD-Agents 表现最佳（F1 达到 38.6），显著优于单一的传统方法或纯 MLLM 方法。
  • 消融实验证明，扫描、规划、检查和链式推理（CoS）每个组件都对最终性能至关重要。

5. 意义与贡献

1. 首个多模态 TSAD 基准：提出了 VisualTimeAnomaly，填补了多粒度（点、范围、变量）及不规则时间序列异常检测在 MLLM 领域的研究空白。
2. 理论洞察：揭示了 MLLMs 在时间序列分析中的独特能力（擅长模式识别和抗噪）及其局限性（数值计算弱），并证明了视觉模态在减少幻觉和提升鲁棒性方面的关键作用。
3. 系统创新：提出了 TSAD-Agents，这是首个专为多模态时间序列异常检测设计的多智能体系统。它通过自适应工具调用和模态切换，实现了无需人工预设异常类型的自动化检测。
4. 实际应用价值：为 Web 运维（AIOps）和复杂系统监控提供了一种更鲁棒、更自动化的解决方案，特别是在处理数据缺失和复杂异常模式时。

总结：该论文证明了 MLLMs 虽然不擅长直接处理细粒度的数值点异常，但通过视觉化输入和多智能体协作，可以成为时间序列异常检测中不可或缺的强大工具，特别是在处理复杂、不规则和粗粒度异常场景时。