3W Dataset 2.0.0: a realistic and public dataset with rare undesirable real events in oil wells

本文介绍了3W数据集2.0.0版，这是一个公开可用的、由专家标注的多元时间序列资源，其中包含油井中罕见的不良真实事件，旨在推动人工智能驱动的早期检测方法的发展，并降低该行业在经济、环境和安全方面的风险。

要点

将石油工业想象成一支庞大而复杂的管弦乐队。每一口油井都是一位演奏特定乐器的乐手。通常，他们演奏出流畅、可预测的旋律（正常运行）。但有时，乐手会弹错音符，乐器卡住，或者乐谱被撕破。这些就是“不良事件”——例如阀门意外关闭或管道内形成堵塞。如果指挥（石油公司）没有立即发现这些错误，整个乐队就可能崩溃，导致资金浪费、环境污染甚至人员受伤。

本文介绍了一个全新升级的“乐谱库”，称为3W 数据集 2.0.0。它是一个公开的录音（数据）集合，旨在帮助计算机在乐队崩溃之前识别出这些错误。

以下是本文主张的要点分解，采用简单的类比说明：

1. 这个数据集是什么？

将该数据集想象成一个巨大的穿越时空录音库。

• 录音：它记录的并非音频，而是来自油井的 27 种不同“传感器”（如压力、温度和流量）的数据，每一秒都在跳动。
• 标签：每段录音都贴有一张由人类专家提供的“贴纸”。贴纸注明：“这部分是正常的”、“这部分是阀门突然关闭”或“这部分是正在形成堵塞”。
• 目标：目标是教导人工智能（AI）阅读这些贴纸并学习其中的模式，以便它能够在无需人类预先查看的情况下，识别出新录音中的问题。

2. 三种类型的“乐手”（数据来源）

本文解释说，他们并非仅仅从现实生活中获取录音，而是使用了三种不同的方法来构建这个库，每种方法都有其独特的风味：

• 现实生活（现场音乐会）：这些是来自巴西石油巨头巴西国家石油公司（Petrobras）拥有的真实油井的实际录音。
  • 局限：现实生活是混乱的。有时麦克风（传感器）会停止工作，或者磁带卡住（数据冻结）。作者有意将这些“混乱”保留在数据中。为什么？因为他们希望训练出的 AI 足够坚韧，能够应对真实、混乱的音乐厅，而不仅仅是完美的录音棚。
• 模拟（排练）：某些问题（如特定类型的管道堵塞）在现实生活中极为罕见，几乎不会发生。为了获得足够的样本，团队使用超级计算机模拟器（OLGA）来“排练”这些灾难。
  • 局限：这些是完美、干净的录音。没有杂音，没有缺失的音符。它们非常适合教导 AI 什么是“完美”的灾难。
• 手绘（草图）：有些问题过于怪异，甚至超级计算机也无法准确模拟。因此，人类专家拿起纸笔，绘制了在这些罕见事件发生时传感器读数应该呈现的样子。
  • 局限：这就像乐手对歌曲的草图。它们捕捉了问题的本质和形态，即使它们并非真实的录音。

3. 2.0.0 版本的新颖之处

该库的第一个版本于 2019 年发布。本文宣布推出2.0.0 版本，这就像电子游戏的大型扩展包。以下是变化之处：

• 更多油井：他们记录的真实油井数量翻了一番（从 21 口增加到 42 口）。
• 更多传感器：他们在录音中增加了 20 个新的“麦克风”（变量），提供了更清晰的状况画面。
• 新问题：他们在列表中增加了一种新的灾难类型：“服务管线中的水合物”（一种特定类型的类冰堵塞）。
• 更好的标签：他们增加了一种新的“贴纸”，称为状态标签。以前，贴纸只标注“正常”或“故障”。现在，它们还能说明当时油井正在做什么（例如，“我们正在用柴油冲洗”、“我们正在关闭它”或“我们正在重新启动”）。这有助于 AI 理解背景，而不仅仅是噪音。
• 更好的格式：他们从旧式、笨拙的文件格式（CSV）切换到了现代、高速的Parquet格式，这就像从软盘切换到了固态硬盘。

4. 这为何重要？

本文声称，拥有这个特定且高质量的库，使研究人员和公司能够：

• 训练更优秀的 AI：因为数据包含了“混乱”的现实世界问题，基于此训练的 AI 在遇到真实油井时不会感到困惑。
• 早期检测问题：AI 可以学习数据中在灾难发生之前出现的微妙“震颤”，从而使操作员能够尽早修复问题。
• 共享知识：由于这是一个公开数据集，任何人（学生、初创公司、其他石油公司）都可以下载它，并尝试构建更好的检测工具。

5. 本文未声称的内容

• 它不声称该 AI 目前已在世界各地的每一口油井中运行。它是一个用于研究和开发的工具。
• 它不声称已解决了石油泄漏或事故问题。它声称提供了构建可能预防这些问题的解决方案所必需的数据。
• 它不讨论医疗用途或其他行业，尽管该技术（时间序列分析）理论上可用于其他领域。本文严格聚焦于油井。

简而言之：本文是向全世界发出的一份邀请，使用这个庞大、升级且高度逼真的油井“原声带”库，教导计算机如何成为更出色的侦探，在问题演变成灾难之前识别出油井中的隐患。

技术摘要

以下是论文《3W DATASET 2.0.0：一个包含油井罕见不良真实事件的逼真公共数据集》的详细技术总结。

1. 问题陈述

在石油和天然气行业，油井中的不良事件（例如设备故障、流动不稳定性、水合物形成）会导致巨大的经济损失、环境事故和人员伤亡。虽然人工智能（AI）和机器学习（ML）通过异常事件管理（AEM）为这些事件的早期检测提供了有前景的解决方案，但其成功高度依赖于高质量、已标注且逼真的数据集的可用性。

在此项工作之前，缺乏包含罕见不良事件的真实工业数据的公共数据集。现有数据集往往缺乏真实操作的复杂性（例如缺失值、传感器冻结、噪声），或者无法公开访问，这阻碍了鲁棒且可泛化的检测模型的开发。

2. 方法论

本文描述了由巴西国家石油公司（Petrobras）管理的3W Dataset 2.0.0的演变和结构。该数据集是一个多变量时间序列（MTS）数据集，采用三种不同的数据生成方法构建，以确保在真实性、数据量和罕见事件覆盖范围之间取得平衡：

A. 数据来源与生成方法

1. 真实实例（真实世界数据）：

   • 来源： 从 Petrobras 的工厂信息管理系统（PIMS）中提取，具体为 AVEVA PI System 环境。
   • 特征： 这些实例保留了真实工业数据的“杂乱性”，包括冻结变量、缺失值和异常值，且未进行处理，以挑战算法处理真实世界条件的能力。
   • 采样： 1 Hz 频率（1 秒间隔）。
   • 标注： 由 Petrobras 专家使用专有 Web 工具执行，经专家委员会验证，并由策展人最终确定。

2. 模拟实例（基于物理的仿真）：

   • 来源： 使用OLGA生成，这是一种在行业中广泛使用的动态多相流模拟器。
   • 特征： 数据具有完美的周期性，无缺失值或噪声。用于生成在真实操作中难以频繁捕获的罕见事件数据。
   • 标注： 完全基于仿真参数自动化完成。

3. 手绘实例（专家知识）：

   • 来源： 由 Petrobras 专家使用专有图像处理工具创建。专家手动绘制代表特定事件特征的时序图。
   • 特征： 从纸质图表数字化而来。用于那些既罕见又难以准确模拟的事件。
   • 标注： 直接源自原始图表上的专家标记。

B. 数据结构与命名规范

• 格式： 数据集组织为Apache Parquet文件（列式存储，使用 Brotli 压缩），以实现高效的存储和检索，取代了 1.0.0 版本的 CSV 格式。
• 变量： 每个实例包含27 个变量，代表井生产系统（水下采油树、脐带缆等）中的物理量（压力、温度、流量、阀门状态）。
• 标签： 数据集引入了双重标签系统：
  • 类别标签： 指示事件的性质（例如：正常操作、含水率急剧增加、水合物形成）。代码范围从 0（正常）到 9（特定事件）以及 101–109（瞬态条件）。
  • 状态标签： 指示油井的运行状态（例如：开启、关井、柴油/气体冲洗、压井、泄压）。

C. 范围

该数据集涵盖无集管运行的卫星式海上产油井。它包含从 2011 年到 2023 年的42 口不同油井的数据。

3. 主要贡献

本文的主要贡献是发布并详细记录了3W Dataset 2.0.0，这代表了相对于 1.0.0 版本的重大升级。关键进展包括：

• 扩展事件覆盖范围： 引入了一种新的事件类型，“服务管线水合物”，并增加了现有罕见事件的实例数量。
• 增加数据量：
  • 总实例数从约 1,984 增加到2,228。
  • 真实实例增加了 94 个；模拟实例增加了 150 个。
  • 覆盖的真实油井数量翻倍（从 21 口增加到 42 口）。
• 增强变量集： 弃用了一个变量并添加了20 个新变量，总数达到 27 个，提供了对生产系统更全面的视图。
• 新的标注维度： 添加状态标签允许研究人员将特定操作程序（例如“压井”）与变量行为相关联，从而实现更细致的模型训练。
• 基础设施：
  • 迁移到Parquet 格式以获得更好的性能。
  • 开发了基于 Python 的3W Toolkit，以促进数据加载、可视化和指标计算。
  • 建立了3W Community和一个开放实验室模块，以促进协作研究。

4. 结果与统计

本文提供了数据集组成和质量的统计概览：

• 分布： 数据集包含 1,119 个真实实例、1,089 个模拟实例和 20 个手绘实例。
• 真实性指标： 真实数据子集表现出显著的“现实世界”挑战：
  • **65.90%**的变量观测值缺失。
  • **9.77%**的变量处于冻结状态。
  • **5.26%**的观测值未标注。
• 社区影响： 本文强调了该数据集的采用情况，引用了超过 100 篇已发表的作品（包括学位论文、期刊文章和会议论文）使用了 3W Dataset，证明了其作为石油行业故障检测与诊断（FDD）基础基准的日益增长的作用。

5. 意义

3W Dataset 2.0.0 具有重要意义，原因如下：

1. 弥合数据鸿沟： 它解决了公共、已标注工业时间序列数据的稀缺问题，特别是针对油井中罕见且关键的故障模式。
2. 为鲁棒性提供真实性： 通过有意保留数据缺陷（缺失值、冻结传感器），它迫使开发能够在实际工业环境中部署的鲁棒 ML 模型，而不仅仅是在干净、合成的数据上工作。
3. 迁移学习潜力： 数据的大规模和多样性使其成为迁移学习框架的理想“预训练”资源，允许在此数据集上训练的模型针对特定且数据稀缺的目标任务进行微调。
4. 开放科学与协作： 在CC BY 4.0 许可下管理并托管于 GitHub/Figshare，它促进了开放创新，允许研究人员、初创公司和运营商合作改进早期检测系统，最终提高能源行业的安全性并减少经济损失。

总之，本文展示了一个成熟、由社区驱动且技术严谨的数据集，它是推动石油和天然气行业 AI 驱动的安全性和效率发展的关键赋能者。