Intelligent Root Cause Analysis and Incident Diagnostics for Microsoft Fabric and Power BI through Telemetry Correlation and Kusto Query Language

想象一下，你是“分析企业号”（The Analytics and Enterprise）这艘庞大且高科技飞船的船长。这艘飞船由两台超级复杂的引擎驱动：Microsoft Fabric 和 Power BI。这些引擎不仅能飞行，还能处理海量数据，以帮助船员做出重大决策。但有时，飞船会发生故障。仪表盘变空白、报告加载极其缓慢，或者数据流水线停滞不前。

当这种情况发生时，传统的修复方式就像是派一名机械师带着手电筒和笔记本，在机舱里四处徘徊。他们必须逐一检查燃料管、线路、冷却系统和导航计算机，靠猜测来寻找问题所在。这太慢了，也太累了，而且如果机械师不是专家，他们可能会修错地方。

这正是 Shujath Baig Mirza 的论文所讨论的内容。作者认为，对于像 Microsoft Fabric 和 Power BI 这样庞大的平台，拿着手电筒到处乱逛（人工调查）太慢且容易出错。相反，该论文提出了一种智能侦探系统，它就像是飞船机舱里的超级强力 GPS。

智能侦探的工具箱

这个新系统使用两个主要工具来破解谜团：

1. 遥测关联（“全能之眼”）：
   想象一下，这艘飞船到处都有数百万个微型摄像头和麦克风（日志、指标和追踪）。在过去，工程师必须分别查看每个摄像头的画面。而新系统将这些所有画面缝合在一起，变成一部巨大的、同步的电影。它能看到燃料管的一次闪烁与导航计算机的一次异响是在完全相同的时间发生的。它能把人类因为同时盯着太多屏幕而忽略掉的线索连接起来。

2. Kusto 查询语言（“魔法书”）：
   这是侦探用来向飞船提问的语言。侦探不需要每次出故障时都从头编写复杂的查询，而是使用一套预先写好的、可重用的“咒语”（模板）。这些咒语的设计初衷就是了解飞船各部件之间的依赖关系。如果引擎失效，咒语会自动按正确的顺序检查燃料、线路和冷却系统，瞬间缩小嫌疑范围。

大实验：模拟坠毁

为了测试这个智能侦探是否真的有效，作者并没有仅仅凭空猜测；他运行了一个受控模拟。他创建了一个 Microsoft Fabric 和 Power BI 环境的虚拟版本，并故意制造了四种特定的故障：

• 数据刷新失败： 就像试图给油箱加油，但泵被卡住了。
• 查询性能退化： 就像导航计算机进入了慢动作模式。
• 语义模型不一致： 就像地图上的坐标错误。
• 容量限制事件： 就像因为太多人同时使用引擎导致引擎过热。

对于每种“坠毁”情况，作者比较了两支队伍：

• 人工组： 使用传统手电筒加笔记本方法的工程师。
• 智能组： 使用带有魔法书的新型智能侦探系统的工程师。

结果：速度与智慧

模拟显示了一些非常明显的差异。智能侦探系统不仅表现得更好，而且是显著地更好。

• 找到真正的元凶：
  当飞船出故障时，人工组在数据刷新失败时仅有约 71.2% 的概率猜对根因，在慢查询时为 68.9%，在地图错误时为 73.5%，在过热时为 65.7%。
  然而，智能组分别在这些情况下精准命中正确根因的概率为 92.5%、90.3%、94.1% 和 91.8%。他们极少会误判错误的引擎部件。

• 修复时间：
  在太空旅行中，时间就是金钱（也是信任）。人工组在弄清楚燃料泵堵塞原因上平均花费了 47.8 分钟，在处理慢速导航上花费了 52.1 分钟，在处理地图错误上花费了 39.6 分钟，而在处理引擎过热上竟然花费了高达 58.9 分钟。
  智能组则仅用 18.4 分钟 就解决了燃料泵之谜，用 21.7 分钟 解决了慢速导航，用 15.2 分钟 解决了地图错误，并用 23.5 分钟 解决了过热问题。他们将诊断时间缩短了一半以上！

• 减少猜测：
  人工组为了找到燃料泵问题，平均需要进行 18.6 次 不同的调查性检查（查询）。而智能组只需要 6.2 次。他们不会在错误的地方浪费时间。

这意味着什么（以及它不意味着什么）

论文指出，通过使用这种智能、互联的方法，我们可以不再依赖个体专家去猜测如何应对危机。相反，我们可以使用一个能够自动连接线索并直接指向问题的系统。这让整个操作更加可靠，也减轻了船员的压力。

然而，有几点重要的注意事项：

• 这是一个模拟实验： 这些结果是在一个精心控制的模拟环境中得出的。论文并未声称这已经在拥有数百万真实用户的真实、在线飞船上进行了测试。作者建议，虽然结果看起来很棒，但在现实世界中进行测试是下一步工作。
• 它是侦探，而不是修理工： 该系统非常擅长发现问题并告诉你问题是什么。但它目前还不能自动修复引擎（修复功能）。它是一个卓越的向导，但你仍然需要一名机械师来动手拧扳手。
• 它并非万能魔法： 该系统依赖于寻找模式和时机。如果问题非常微妙，或者发生的方式非常诡异且具有延迟性，从而不符合既定模式，那么该系统可能并不完美。

简而言之，论文表明，对于像 Microsoft Fabric 和 Power BI 这样复杂的数据平台，将“手电筒加猜测”的方法更换为“智能、互联的侦探”方法，意味着我们可以更快、更准确、且压力更小地找到问题。这是保持我们的数据飞船平稳航行的充满希望的一步。