Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia

想象一下你是一名正在试图破解谜题的侦探，但你的任务不是寻找指纹，而是在数百万篇新闻文章中搜寻特定的词汇。这就是自然语言处理（NLP）的世界——它是计算机科学的一个分支，旨在教机器阅读、理解并领悟人类语言的含义。你可以把 NLP 想象成一个超级强大的翻译器，它不仅仅是进行语言之间的词汇转换，而是真正理解了背后的“意义”。在侦探的工具箱中，一个非常实用的工具叫做命名实体识别（NER）。如果你把一个句子想象成一堆乱七八糟的乐高积木，那么 NER 就是那只能够瞬间将它们分类到“人物”、“地点”、“组织”和“日期”等整齐堆叠中的机械臂。

为什么有人会对教机器人分类单词感兴趣呢？因为世界正淹没在信息之中。每天都有成千上万篇关于从股票市场到建筑工地的各类新闻报道。对于人类来说，通过阅读所有这些内容来寻找特定的风险（例如钢铁短缺或政治纠纷），就像是在蒙着眼睛试图在一大堆干草中寻找一根针。这正是 Transformer 发挥作用的地方。不要把 Transformer 仅仅看作是一个机器人，而要把它看作一名注意力极其集中的学生，它能一眼扫过整本书，并瞬间理解无论两个词隔得多么远，它们之间是如何相互关联的。本文将深入探讨我们如何利用这些“注意力高度集中”的学生，来帮助澳大利亚的建筑业保持安全并避免灾难。

---

论文使命：教机器人阅读建筑新闻

澳大利亚的建筑业就像一个巨大且复杂的拼图。它涉及数百家供应商、严格的规则以及来自世界各地的材料。有时，拼图块会丢失或损坏，从而导致“供应链风险”——这些风险可能会导致建筑项目延期或成本大幅增加。通常，专家必须手动阅读新闻文章来发现这些风险。但面对海量涌入的新闻，这种方式既缓慢又容易出错。

这篇论文提出了一个简单的问题：我们能否教会计算机比人类更快、更好地阅读这些新闻文章，特别是为了寻找澳大利亚的建筑风险？

为了回答这个问题，研究人员从《澳大利亚报》（The Australian）、《天空新闻》（Sky News）和《彭博社》（Bloomberg）等来源收集了大约 2,000 篇新闻文章。然后，他们教计算机扮演一名图书管理员的角色，为文本中的每个重要单词贴上标签。他们使用了一种称为 “BIO” 标记的方法，就像是在单词上贴便利贴：

• B-（开始）和 I-（内部）用于表示名称的开头和中间（例如 “B-公司” 和 “I-名称”）。
• O（外部）用于表示不重要的单词。

他们专注于六种特定类型的“便利贴”（实体）：

1. 人物 (PER)
2. 风险事件 (RRE) —— 例如罢工或延误。
3. 政治/国家团体 (PNR)
4. 组织/供应商 (OSC)
5. 地缘政治单位 (GPU) —— 例如国家或州。
6. 建筑材料 (CMS) —— 例如混凝土或钢铁。

在对 39,500 个此类实体进行标注后，他们将数据输入到七个不同的 “Transformer” 模型（即那些超级专注的学生）中。这些模型包括著名的 BERT、RoBERTa、DistilBERT、ALBERT、ELECTRA、T5 和 GPT-3。

结果：谁赢得了阅读比赛？

研究人员对这些模型进行了测试，以观察哪一个能正确识别风险。他们使用三个指标来衡量成功程度：精确率（Precision，识别出的风险中有多少是真实的？）、召回率（Recall，真实的风险中模型找到了多少？）以及 F1 分数（两者之间的平衡）。

以下是他们的发现：

• 冠军： RoBERT 脱颖而出，成为了表现最佳的模型。它达到了 0.8580 的平均 F1 分数，这意味着它在寻找所有风险与避免错误之间取得了最好的平衡。紧随其后的是 BERT，其分数为 0.8356。
• “过于挑剔”的模型： T5 非常有趣。它拥有最高的精确率（0.9924），这意味着当它说发现了一个风险时，几乎总是正确的。然而，它遗漏了大量的实际风险（召回率较低，仅为 0.3645）。它就像一名侦探，只解决那些最简单的案件，而忽略了其他的案件。
• 生成式模型： 以编写故事闻名的 GPT-3 在这项特定的“寻找”任务中表现并不理想。它的 F1 分数为 0.7518。论文指出，这是因为 GPT-3 的设计初衷是生成文本，而不是标注文本的特定部分，这有点像用锤子去拧螺丝——虽然能用，但并不是最好的工具。
• 轻量级英雄： DistilBERT 和 ALBERT 的准确性略低于 RoBERTa，但它们的速度更快，且所需的计算资源更少。如果你没有超级计算机来运行它们，这些模型是极佳的选择。

秘诀：调节旋钮

研究人员并不仅仅是挑选一个模型然后听天由命。他们花费了大量时间对模型进行“微调”（Fine-tuning），这就像是通过调节收音机的旋钮来获得最清晰的信号。他们测试了针对以下各项的设置：

• 学习率 (Learning Rate)： 模型学习的速度。
• 批大小 (Batch Size)： 模型一次阅读多少篇新闻文章。
• 优化器 (Optimizers)： 用于改进模型的数学工具（具体为 Adam 和 AdamW）。

他们发现，较低的学习率（学习得更慢、更仔细）通常会带来更好的结果。他们还发现，使用 AdamW 优化器通常能让模型表现得更好，尤其是对于 BERT 和 ALBERT 等模型。有趣的是，他们发现使用较小的批大小（一次阅读较少的文章）比阅读巨大的数据块效果更好，这有些出人意料。

这对未来意味着什么

论文得出结论，使用这些 AI 工具是建筑风险管理领域的一个游戏规则改变者。与其让专家花费数小时阅读新闻，不如使用像 RoBERTa 这样的模型，在几秒钟内扫描数千篇文章，并标记出诸如“维多利亚州钢铁短缺”或“影响中国供应商的政治动荡”之类的风险。

作者建议，在未来，这项技术可以直接集成到项目管理软件中。想象一下，如果有一个仪表盘，每当有新闻提到与你的特定项目相关的风险时，就会发出“实时警报”。这将使项目经理能够在问题导致延期或成本超支之前解决问题。

然而，论文也指出，这仅仅是个开始。他们还没有测试所有的可能模型（如 XLNet 或 DeBERTa），并承认要让这些系统变得更加聪明，仍需开展更多工作。但核心信息很明确：通过教计算机阅读新闻，我们可以构建出更安全、更具韧性的澳大利亚建筑项目。