A Catalog of Data Errors

该论文针对现有数据错误分类体系的不足，提出了一份涵盖缺失、错误和冗余三大类别的 35 种数据错误及统计指标（如偏差和异常值）的综合目录，为每种错误类型提供了形式化定义、实例及术语澄清，以助力研究人员和从业者系统性地实施针对性的检测与清洗策略。

要点

这篇论文就像是一份**“数据世界的体检报告与错误百科全书”**。

想象一下，你经营着一家巨大的、繁忙的**“数字图书馆”**（这就是数据库）。每天，成千上万本书（数据）被送进来，被整理上架，然后被读者（比如人工智能、商业分析师）拿去阅读和做决策。

但是，这些书里经常会有各种各样的问题：有的缺页，有的印错了字，有的被重复粘贴了好多份，还有的书虽然字没印错，但内容已经过时了。如果读者拿着这些有问题的书去写论文或做决定，结果肯定会是一团糟。

这篇论文的作者们（来自德国、荷兰和美国的学者）觉得，以前大家虽然知道书里有错，但大家对“错”的定义很混乱。有的叫“缺页”，有的叫“空白”，有的叫“没写全”，大家吵个不停，而且很多新出现的错误（比如 AI 训练数据里的偏见）以前根本没被归类。

于是，他们做了一件大事：整理出了一份包含 35 种具体错误的“完全指南”。

为了让你更容易理解，我们把这份指南里的内容分成三大类，用生活中的例子来解释：

第一类：数据“失踪”了 (Missing Data)

这就好比你点了一份套餐，但服务员端上来时，少了一部分菜。

• 显性失踪 (Explicit Missing Value)： 就像菜单上直接写着“今日售罄”或者留了个空白。这是最明显的，大家都知道这里缺东西。
• 伪装失踪 (Disguised Missing Value)： 这个比较狡猾。服务员没留白，而是随便填了个“未知”或者"-99"。看起来好像有东西，但实际上那是假的。比如，你的税务 ID 栏填了"12345678901"，但这其实是个占位符，因为那个人根本没提供真实号码。这就像在填表时，为了应付检查随便写个假名字，系统以为你填了，其实没填。
• 部分空行 (Partially Empty)： 这一整行数据里，超过一半的内容都是空的。就像你买了一个盲盒，打开发现里面只有几粒沙子，其他全是空气。
• 整行失踪 (Missing Tuple)： 本来应该有一整本书在架子上，结果完全不见了。比如公司新招了 10 个人，数据库里只录入了 8 个，那 2 个人就像“隐形人”一样，系统里根本找不到他们。
• 偏见数据 (Biased Data)： 这就像你调查“全人类的口味”，但只问了“喜欢吃辣的人”。虽然数据本身没写错，但因为样本太少、太片面，导致结论是错的。这就好比只采访了一群球迷就得出结论说“全世界都爱足球”，忽略了其他运动爱好者。

第二类：数据“长歪”了 (Incorrect Data)

这部分数据虽然“存在”，但它们的样子或内容是错的。就像书里的字印错了，或者把“苹果”写成了“梨”。

• 文字类错误：
  • 拼写错误 (Misspelling/Typos)： 把 "Taylor" 写成 "Tayor"，或者把 "Müller" 扫成了 "Moller"。
  • 乱码 (Incorrect Encoding)： 就像把中文的“你好”显示成了乱码符号，因为翻译语言的方式不对。
  • 词序颠倒 (Word Transposition)： 把“张三”写成了“三张”。字是对的，但顺序错了，意思就变了。
  • 填错位置 (Misfielded Value)： 把“出生日期”填到了“电话号码”那一栏。
• 逻辑与规则类错误：
  • 不合逻辑 (Invalid Value)： 比如员工的工资是负数（-5000 元），或者年龄是 200 岁。这在现实世界里是不可能的。
  • 格式混乱 (Heterogeneous Formatting)： 有的日期写的是"2023-01-01"，有的写的是"01/01/2023"。虽然都是日期，但机器读起来会晕。
  • 单位错误 (Incorrect Unit)： 把“美元”当成了“欧元”来算，数字看着挺大，但实际价值差远了。
  • 违反规则 (Rule Violation)：
    • 业务规则： 公司规定“一个员工只能属于一个部门”，结果系统里一个人同时属于两个部门。
    • 法律规则： 比如违反了隐私法，把用户的敏感信息公开了。
  • 过时数据 (Outdated Data)： 员工已经搬家了，但数据库里还存着他去年的旧地址。数据本身没错，但现在是错的。
• 奇怪的“噪音” (Noise)： 就像收音机里的杂音，数据里混入了一些随机的、无意义的干扰，导致数值稍微偏了一点。

第三类：数据“太多余”了 (Redundant Data)

这部分数据不是错的，而是重复了或者没必要。就像你家里买了三把一模一样的锤子，或者把同一本书复印了十份堆在桌上。

• 重复元组 (Duplicate Tuples)： 同一个人的信息被录入了两次。比如“张三”和“张 三”（中间有个空格），或者电话号码格式不同但其实是同一个人。系统会以为这是两个人，导致统计人数时多算了。
• 无关数据 (Irrelevant Data)： 数据库里混进了一些不该有的东西。比如这个数据库只存“苹果”的信息，结果混进来一条“香蕉”的记录。虽然香蕉也是水果，但在这个特定的篮子里，它就是多余的垃圾。

为什么这份“指南”很重要？

1. 统一语言： 以前大家吵架是因为叫法不一样。现在有了这份指南，大家说“伪装失踪”就是指那种填了假数据的情况，不再混淆。
2. 对症下药： 不同的错误需要不同的“医生”。
   • 如果是“缺页”，你需要去补全（Imputation）。
   • 如果是“印错字”，你需要用拼写检查（Correction）。
   • 如果是“重复”，你需要去重（Deduplication）。
   • 如果是“偏见”，你需要调整采样方法。
   • 如果不分清楚错误类型，就像给感冒的人吃治骨折的药，不仅没用，还可能有害。
3. 为 AI 铺路： 现在的 AI 非常依赖数据。如果喂给 AI 的数据里有“偏见”或“伪装失踪”，AI 就会学坏，做出不公平的决策。这份指南帮助工程师在 AI 训练前，把数据里的这些“毒刺”拔出来。

总结来说：
这篇论文就是给数据科学家、工程师和 AI 开发者提供的一份**“数据清洁工手册”**。它告诉我们：数据里到底有哪些种类的“脏东西”，它们长什么样，以及我们该如何准确地叫出它们的名字，以便把它们清理干净，让数据变得真正有用。

技术摘要

这是一份关于论文《A Catalog of Data Errors》（数据错误目录）的详细技术总结。

1. 问题背景 (Problem)

在现实世界的数据库和人工智能（AI）应用中，数据错误（Data Errors）普遍存在，严重影响了下游任务（如机器学习流水线、商业分析报告）的性能和可靠性。尽管数据质量（DQ）的重要性已被广泛认可，但现有的错误分类体系存在以下局限性：

• 缺乏全面性：现有的分类（Taxonomies）通常只涵盖部分错误类型，未能覆盖从设计阶段到操作阶段产生的所有错误。
• 定义模糊：许多分类缺乏形式化的定义，术语使用不一致（例如，“矛盾”一词在不同文献中指代不同的错误）。
• 忽视新兴错误：随着 AI 的发展，统计性错误（如偏差、异常值）和新型数据错误（如伪装缺失值、词汇外单词）未被充分纳入现有体系。
• 混淆概念：现有工作往往未明确区分“数据错误”（Data Errors，即实际的数据不匹配）和“错误指示器”（Error Indicators，即暗示数据可能出错的逻辑或统计模式）。

2. 方法论 (Methodology)

作者通过系统性的文献综述和扩展研究，构建了一个综合性的数据错误目录：

• 数据来源：基于五个现有的主要数据错误分类体系（Rahm & Do, Müller & Freytag, Kim et al., Oliveira et al., Ge et al.），并进行了深度审查。
• 扩展策略：
  1. 细化与变体识别：识别并细分了现有分类中讨论的错误类型的子类和变体。
  2. 新增错误类型：引入了近期出现或之前被忽视的错误类型（如伪装缺失值、词汇外单词、循环依赖等）。
• 分类框架：
  • 核心分类维度：根据错误在数据中的表现形式（Manifestation），将错误分为三个互不重叠的类别：缺失（Missing）、错误（Incorrect）和冗余（Redundant）。
  • 辅助维度：
    • 粒度（Granularity）：值级、元组级、属性级、关系级、数据库级及多数据库级。
    • 上下文（Context）：语法错误（Syntactic）与语义错误（Semantic）。
• 形式化定义：为每种错误类型提供了严格的数学定义（基于映射函数 $M(e)$，将数据库元素映射到现实世界实体），并辅以具体的运行示例（基于一个“就业数据库”示例）。
• 术语统一：解决了不同文献中术语不一致的问题（例如，将“违反公司法规”统一为“法律规则违反”），并明确区分了数据错误与错误指示器。

3. 关键贡献 (Key Contributions)

本文的主要贡献包括：

1. 35 种错误类型的综合目录：

   • 提出了包含 35 种独特数据错误类型和错误指示器的完整列表。
   • 涵盖了从简单的拼写错误到复杂的统计偏差和约束违反。
   • 明确区分了数据错误（如缺失值、重复元组）和错误指示器（如异常值、偏差）。

2. 形式化定义与实例：

   • 为每种错误类型提供了形式化定义（使用符号逻辑描述）和具体的数据库实例（基于 Employment 数据库示例），消除了歧义。
   • 定义了关键函数，如 $M(e)$（映射函数）、$Count_{MV}$（缺失值计数）、$OOV$（词汇外检测）等，以支持自动化检测。

3. 分类体系与术语解决：

   • 建立了基于“缺失、错误、冗余”三大类的清晰分类体系。
   • 解决了现有文献中的术语冲突（例如，澄清了“矛盾”一词不应作为独立错误类型，而是 FD 违反或重复元组的症状）。

4. 实践指导：

   • 为研究人员和从业者提供了实施特定错误检测和清洗策略的蓝图。
   • 指出了当前工具支持的空白领域（如伪装缺失值、词汇外单词的检测）。

4. 主要结果与分类详情 (Results & Classification Details)

目录将 35 种错误/指示器分为三大类：

A. 缺失数据 (Missing Data)

指现实世界实体存在但数据库中缺失的情况。

• 显式缺失值：NULL 值。
• 伪装缺失值 (DMV)：使用占位符（如"Unknown", -99）代替 NULL，看似有效实则缺失。
• 部分空元组/属性：缺失值超过阈值。
• 缺失元组：预期存在的实体记录完全缺失。
• 空属性：整个属性列均为缺失值。
• 偏差数据 (Biased Data)：作为错误指示器，指某些类别的数据缺失或代表性不足导致分布偏斜。

B. 错误数据 (Incorrect Data)

指数据存在但不准确，不能正确反映现实世界。

• 文本类错误：
  • 词汇外单词 (OOV)：不在定义词汇表中的词。
  • 拼写错误/打字错误/扫描错误/编码错误：字符级别的偏差。
  • 同义词：不同词汇指代同一实体（导致语义歧义）。
  • 单词换位：多词属性中词序颠倒。
  • 错位值 (Misfielded Value)：值被填入错误的属性列。
• 非一致性类错误：
  • 噪声：测量或采集过程中的随机干扰。
  • 语义歧义数据：值对应多个现实实体。
  • 异常值 (Outlier)：统计上显著偏离分布的值（作为指示器）。
  • 语法违反：不符合预定义格式（如日期格式）。
  • 异构格式化：相同语义数据在不同属性中使用不同格式。
  • 单位错误：测量单位不一致。
• 规则违反类：
  • 无效值/元组：违反类型或逻辑约束（如负数工资）。
  • 约束违反：包括域约束、唯一性约束、属性依赖、函数依赖 (FD)、条件函数依赖 (CFD)、循环依赖等。
  • 规则违反：业务规则、DBA 规则、法律规则（如 GDPR）的违反。
  • 引用错误：外键指向了错误的现实实体（虽语法正确但语义错误）。
• 过时数据：不再反映当前现实状态的数据。

C. 冗余数据 (Redundant Data)

指不必要或可推导的重复信息。

• 重复元组：指向同一现实实体的多个元组（即使属性值不完全相同）。
• 无关数据：包含在数据库中但不属于该关系应表示的实体信息。

5. 意义与影响 (Significance)

• 理论价值：

  • 填补了数据质量领域缺乏统一、全面且形式化错误分类的空白。
  • 为理解数据错误的本质、检测机制和清洗策略提供了理论基础。
  • 明确了“数据错误”与“错误指示器”的界限，有助于更精准地定义问题。

• 实践价值：

  • 工具开发：为数据清洗工具（Data Cleaning Tools）和 AI 数据预处理流水线的设计者提供了明确的检测目标清单。
  • 策略制定：帮助从业者针对特定错误类型（如伪装缺失值或循环依赖）制定专门的检测和修复策略。
  • 研究指引：指出了当前研究不足的区域（如自动化错误分类、元数据错误形式化、非表格数据的错误研究），为未来研究指明了方向。

• AI 时代的适应性：

  • 特别纳入了与机器学习相关的统计错误（如偏差、异常值），使得该目录在 AI 数据治理背景下具有更高的相关性和实用性。

综上所述，这篇论文通过构建一个详尽、形式化且分类清晰的数据错误目录，解决了现有文献碎片化和术语混乱的问题，为提升数据质量、优化 AI 模型训练数据以及开发更智能的数据清洗工具奠定了坚实的基础。