💻 计算机科学

Dynamic Sampling for Telemetry in Microservices: A Reinforcement Learning and Entropy-Based Approach

本文介绍了 RADAR，一种基于强化学习和熵的智能体，它通过动态优化微服务遥测采样，在大幅降低资源消耗的同时，保留了关键的可观测性和数据质量。

原作者： Renan Martins Alves, Jéferson Campos Nobre, Juliano Araujo Wickboldt

发布于 2026-10-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Renan Martins Alves, Jéferson Campos Nobre, Juliano Araujo Wickboldt

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代软件通常不再表现为一个单一的、庞大的程序，而是作为一个由相互通信的小型独立服务组成的集群。这种被称为“微服务”的方法允许公司快速更新应用程序的部分功能，并根据需要对其进行扩缩容。然而，这种灵活性也带来了一个隐藏的代价：当出现问题时，变得极难洞察系统内部正在发生什么。为了解决这个问题，工程师们使用了一种叫做“分布式追踪”（distributed tracing）的技术。想象一下，一位客户在网站上提交订单；这单个请求可能会在十几个不同的服务之间跳转，包括检查库存、计算税费和处理付款。分布式追踪会跟随该请求从开始到结束，绘制出其旅程的详细地图。这张地图对于发现漏洞和理解性能问题至关重要，但它也会产生海量的数据。如果一个系统每秒处理数百万个请求，收集每一个追踪记录将会使网络过载，消耗巨大的计算能力，并以不可持续的速度填满存储驱动器。

因此，挑战在于如何在不被常规、成功的操作所产生的噪音淹没的情况下，收集足够的数据。传统方法通常依赖于简单的规则，例如仅记录每百个请求中的一个，或者等到发生错误时才开始记录。这些方法往往过于僵化；它们可能会错过罕见但关键的故障，或者可能浪费资源去记录那些无法提供新见解的平凡流量。巴西里奥格兰德州联邦大学的研究人员开发了一种处理这一困境的新方法。他们创建了一个名为 RADAR 的系统，它充当了这些数据的智能、自适应过滤器。RADAR 不再使用固定规则，而是通过不断测试不同的采样规则组合并观察结果，来学习哪些追踪记录是值得保留的。

RADAR 的核心思想是将数据收集视为一个学习过程。该系统使用一种称为“强化学习”的方法，其中一个计算机代理（agent）做出决策、观察结果并调整策略，以获得更好的结果。在这种情况下，代理的目标是在最小化存储数据量的同时，最大化所保留数据的“信息价值”。为了衡量信息价值，研究人员使用了信息论中一个被称为“熵”（entropy）的概念。简单来说，熵衡量了一组数据的多样性或不可预测性。如果一组追踪记录完全相同，则熵值低且价值也低，因为它们无法提供任何新信息。而包含许多不同、罕见且异常路径的集合则具有高熵和高价值，因为它们揭示了系统的复杂行为和潜在故障。RADAR 利用这种多样性作为奖励信号。当代理选择了一套既能捕捉广泛且独特的行为，又不会收集过多数据的规则时，它就会获得高额奖励，并学会重复这一选择。

为了测试这个想法，研究人员构建了一个运行在计算机集群上的模拟在线商店，模拟了现实世界应用中复杂的环境。他们引入了各种类型的流量，包括正常浏览以及旨在触发错误或异常行为的特定场景。随后，他们让 RADAR 代理运行了数小时，使其能够实验不同的规则。有些规则侧重于捕捉缓慢的请求，有些侧重于错误，还有些侧重于特定的业务事件，如高额购买。代理会在这些规则之间切换，观察收集了多少追踪记录以及它们的差异性如何。随着时间的推移，代理学会了找到完美的平衡点。它发现自己并不需要记录每一个请求来了解系统；相反，通过专注于最具多样性和信息量的路径，它可以在大幅削减数据量的同时，保持对系统健康状况的清晰认知。

实验结果非常惊人。与记录每一个追踪记录的系统相比，RADAR 将通过网络传输的数据量减少了 97.4%。它还将处理这些数据所需的计算能力降低了 99.0%。这些节省是非常显著的，因为这意味着系统可以运行得更便宜、更快。然而，研究人员非常谨慎，确保这种效率不会以丢失重要信息为代价。他们将 RADAR 收集的数据与完整数据集进行了对比，以查看其是否捕捉到了罕见且关键的事件。他们发现，RADAR 保留了大约 85.6% 的罕见追踪模式——即那些通常预示着严重问题开始的独特、一次性事件。此外，保留数据的平均多样性增加了约 25%，这意味着剩余的数据比随机采样的数据在诊断方面要有用得多。

这种方法代表了从静态的、由人类定义的规则向动态的、自主管理方式的转变。传统系统要求工程师手动决定应用哪些规则，而随着系统变化和增长，这项任务会变得非常困难。相比之下，RADALL 能够根据系统的当前状态进行持续调整。它不需要预先被告知错误看起来是什么样的；它只需学习识别出：一组多样化的行为比重复性的行为更有价值。该系统完全在现代软件工程师使用的标准工具内运行，使其能够兼容现有的基础设施，而无需对应用程序代码进行侵入性更改。

这项研究表明，在不牺牲观察系统故障能力的前提下，大幅减轻复杂系统监控负担是可能的。通过使用数学上的多样性度量来引导收集过程，研究人员展示了一个智能代理可以学习如何过滤掉噪音并保留信号。虽然实验是在受控环境中进行的，但结果为管理日益增长的云端应用复杂性提供了一条可行的路径。这项工作强调，未来系统监控的关键不在于收集更多的数据，而在于收集更聪明的数据，并由能够实时理解信息价值的代理来引导。

技术摘要：微服务遥测中的动态采样 (RADAR)

1. 问题陈述

向微服务架构的转型提高了应用程序的可扩展性，但也显著增加了系统可观测性的复杂性。在分布式环境中，单个用户请求会穿过多个独立的微服务，这使得分布式追踪对于调试和故障诊断变得至关重要。然而，在大规模场景下收集全量追踪数据往往是不可行的，因为这会带来网络带宽、CPU 处理能力和存储方面的极高成本。

传统的采样策略面临着明显的局限性：

基于头部（Head-based）的采样： 在事务开始时决定是否丢弃数据，这往往会导致错过在流程后期才显现的罕见错误或异常情况。
基于尾部（Tail-based）的采样： 虽然允许根据完整的追踪信息做出决策，但它依赖于僵化的、手动配置的规则，无法适应云环境中典型的动态负载和行为变化。
现有的先进解决方案： 诸如 Hindsight（反应式异常触发）或基于聚类的方法，通常存在触发定义僵化、缺乏对 OpenTelemetry 等现代标准的兼容性，或需要侵入式插桩等问题。

核心挑战在于：如何在不依赖静态启发式算法或预先标注数据的情况下，显著降低收集的追踪量，同时保留用于有效观测的高信息价值。

2. 方法论：RADAR 框架

作者提出了 RADAR（用于动态且相关追踪采样的强化学习智能体），这是一个集成在 OpenTelemetry 生态系统中的自主智能体。RADAR 通过结合强化学习（RL）与香农熵（Shannon entropy），动态调整采样策略。

2.1 系统架构

RADAR 作为一个闭环反馈回路运行，实例化了 MAPE-K（监控、分析、规划、执行、知识）自治模型：

监控 (Monitor)： 一个 OpenTelemetry Collector 接收来自分布式应用程序的追踪，并将其导出到追踪后端（Jaeger）和数据库（Elasticsearch）。
分析 (Analyze)： 指标提取器查询数据库以计算统计特征，特别是所收集追踪的 香农熵 以及总吞吐量。
规划 (Plan)： 强化学习智能体利用这些统计数据计算奖励，并从预定义的目录中选择一组新的采样策略子集。
执行 (Execute)： 规则管理器将智能体的决策转化为更新后的 OpenTelemetry Collector 配置，通过 Kubernetes 将新规则应用于实时环境。

2.2 问题形式化

自适应采样的挑战并非被形式化为传统的马尔可夫决策过程（MDP），而是被形式化为一个**组合多臂老虎机（combinatorial Multi-Armed Bandit）**问题。

无状态环境： 智能体并不观察变化的系统状态（例如当前的 CPU 负载），而是根据奖励的历史记录来选择动作。
动作空间 ( $A$ )： 一个离散的组合空间，智能体从中选择一个二进制向量，代表 $N$ 个独立采样策略（例如基于延迟、错误代码或业务属性的规则）的激活 ($1 $) 或停用 ($ 0$)。
算法： 系统通过改进 REINFORCE 策略梯度算法，来学习选择规则组合的最优概率分布。

2.3 奖励函数

其核心创新在于一个平衡了信息丰富度与运营成本的奖励函数 ( $R$ )：
$R = \alpha \cdot H(X) - \beta \cdot P(n)$

$H(X)$ (熵)： 基于唯一追踪表示的频率分布计算出的香农熵。较高的熵表示执行路径具有更高的多样性（包括罕见/异常路径），而非重复、平庸的路径。
$P(n)$ (容量惩罚)： 一个 S 型（sigmoid）函数，当收集的追踪数量 ( $n$ ) 接近阈值 ( $C$ ) 时，会对数量进行惩罚。这确保了系统保持在资源预算之内。
$\alpha$ 和 $\beta$ ： 控制信息多样性与资源节省之间权衡的超参数。

2.4 熵计算

为了在没有人工监督的情况下计算熵，追踪（层级 Span 树）被转换为确定性的文本表示。该过程包括：

排序： 按层级和时间顺序对 Span 进行排序。
噪声过滤： 移除与行为结构无关的高基数属性（例如动态 IP、端口）。
量化： 将连续值（例如延迟）离散化为区间桶，以防止自然网络抖动人为地抬高熵值。

3. 主要贡献

本文确定了三个主要贡献：

RADAR 框架： 一个集成在 OpenTelemetry 中的实用强化学习智能体实现，它可以在运行时调整采样策略，无需人工干预或预先的数据标注。
基于熵的奖励指标： 一种量化分布式追踪相关性的方法。它优先考虑具有更高信息多样性（高熵）的追踪，并丢弃冗余请求，从而有效地平衡了运营成本与信息价值。
实验性微服务环境： 创建了“Minimal Boutique”，这是一个基于 Google Online Boutique 架构的可控容器化测试平台。它具备故障注入和随机负载生成功能，用于评估智能体的收敛性和系统性能。

4. 实验结果

实验在模拟在线商店的 Kubernetes 集群上进行，将 RADAR 与全量收集基准（100% 采样）以及固定速率基准（20% 采样）进行了对比。

4.1 资源效率

带宽： 与全量收集相比，RADAR 将网络带宽消耗降低了 97.4%（从约 344 Kbit/s 降至约 9 Kbit/s）。
CPU 使用率： 与全量收集相比，RADAR 将 CPU 使用率降低了 99.0%（从约 1.99% 降至约 0.02%）。
内存： RADAR 的内存消耗比全量收集器低 58.0%。
与固定采样的比较： RADAR 优于固定 20% 的采样率，在实现同等甚至更好资源节省的同时，保持了更高的数据质量。

4.2 可观测性与数据质量

熵的提升： 存储信息的平均熵增加了约 25%（从 5.76 增加到 7.63），表明数据转向捕捉更多样化且更具信息量的追踪。
罕见追踪保留： 至关重要的是，尽管仅收集了约 13% 的总追踪量，RADAR 仍保留了全量基准中识别出的约 85.6% 的罕见追踪模式（即仅出现一次的追踪）。
收敛性： 无论可用规则的数量如何（分别测试了 3、6、9 和 12 条规则），智能体都表现出了稳定的收敛至最优策略的能力，并随时间推移实现了奖励函数最大化。

5. 重要性与主张

论文声称 RADAR 验证了使用熵来自主且高效地编排遥测数据的可行性。其意义在于：

主动性 vs 反应性： 不同于依赖预定义异常触发器的反应式系统（如 Hindsight），RADAR 通过最大化熵来主动发现相关追踪，能够捕捉到可能无法触发静态规则的场景。
可移植性： 通过完全在用户空间内通过 OpenTelemetry 运行，RADAR 避免了内核级插桩（如 eBPF）或侵入式编译器修改的复杂性和权限要求。
动态平衡： 与难以在动态云环境中维护的手动尾部采样配置相比，该方法提供了更优的动态平衡，兼顾了运营成本与信息价值。

6. 局限性与未来工作

作者承认存在若干局限性：

外部有效性： 实验仅在自定义环境“Minimal Boutique”上进行。在更复杂的拓扑结构或未预见的负载下的表现仍需进一步验证。
基准对比： 研究未对比使用相同规则目录但采用固定概率的静态配置，这本可以更好地隔离学习策略的价值。
超参数敏感性： 奖励函数的参数是通过人工实验选定的，而非通过系统的敏感性分析。
运营开销： 由策略变更触发的 Kubernetes 滚动更新所产生的成本尚未进行量化。

未来的工作方向包括：将规则丢弃演进为概率激活率、通过引入集群状态将模型扩展为完整的 MDP、将业务指标整合进奖励函数，以及在独立的工业基准上验证该方法。