DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain
本文介绍了 DLT-Corpus，这是一个包含 29.8 亿个词元的大规模领域特定文本语料库，涵盖科学文献、专利和社交媒体，旨在证明分布式账本技术研究先于市场增长，并用于发布如 LedgerBERT 等增强的自然语言处理工具。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下分布式账本技术（DLT）的世界——这个包含区块链和加密货币的技术家族——就像一座庞大而繁忙的城市。多年来，试图理解这座城市的学者们只能依靠几块零散的街牌（主要是价格图表和交易应用）来导航。他们缺失了蓝图、市议会会议纪要以及当地咖啡馆里的闲聊。
本文介绍了DLT-Corpus，这是一个全新的巨型图书馆，终于收集了这座数字城市的“完整故事”。以下是作者构建的内容及其发现，以简明的方式解释：
1. 巨型图书馆（语料库）
将 DLT-Corpus 想象成一个巨大的仓库，其中包含来自2200 万份文档的29.8 亿个词（token）。作者并非随意抓取文本；他们将其精心组织成三个截然不同的部分，就像图书馆的三个不同区域：
- 学术区（科学文献）： 37,440 篇研究论文。这些是科学家和工程师首次勾勒新想法的“蓝图”。
- 专利区： 49,023 份专利申请。这些是公司正式宣称拥有新发明所有权的“法律契约”。
- 城镇广场（社交媒体）： 来自 Twitter/X 的 2200 万条帖子。这些是普通人谈论他们购买、出售和期望什么的“闲聊”。
为何这很特别？
在此之前，大多数研究该领域的计算机程序仅关注“城镇广场”（社交媒体）或特定的交易数据。它们遗漏了深层的技术内容。与通用互联网文本相比，这座新图书馆在特定技术关键词方面的丰富程度高出 8.7 倍。这就像比较一本日常俚语词典与一本专业的工程百科全书；后者对于教导计算机理解该行业的特定语言要有效得多。
2. “聪明的学生”（LedgerBERT）
为了证明这座图书馆的实用性，作者训练了一个计算机模型（一种名为LedgerBERT的人工智能）来阅读它。
- 测试： 他们要求人工智能在文本中识别特定的技术术语（如“权益证明”或“默克尔树”），这项任务称为命名实体识别。
- 结果： 在这座新图书馆上训练的人工智能，在识别这些术语方面的表现比标准人工智能模型提高了 23%。因为它拥有如此多的高质量材料可供学习，所以它更快地掌握了 DLT 世界的“方言”。
3. 图书馆揭示的内容（分析）
作者利用这座图书馆观察思想如何在城市中传播。他们发现了两个有趣的模式：
模式 A：“思想之旅”
他们追踪了三个主要概念：稳定币（与真实货币挂钩的数字货币）、DEX（去中心化交易所）和AMM（自动化交易工具）。
- 发现： 这些想法几乎总是首先出现在学术区（研究论文）中。
- 旅程： 多年后，它们出现在专利区（公司试图保护它们）。最后，在更久之后，它们在城镇广场（社交媒体）上爆发，所有人开始谈论它们。
- 隐喻： 这就像实验室里的科学发现，最终变成工厂里的产品，最后成为 TikTok 上的趋势。研究引领市场，而非相反。
模式 B：“情绪天气”
他们观察了人们对市场的感受（情绪）与研究人员工作量的对比。
- 发现： 即使市场崩盘（价格下跌的“加密寒冬”），社交媒体上的人们仍然过度乐观（看涨）。无论价格如何，他们继续鼓吹这项技术。
- 对比： 然而，科学家和专利持有者更加务实。他们的工作不会随着每日新闻而剧烈波动。相反，他们的活动随时间稳步增长，追踪的是行业的长期增长，而非短期情绪波动。
- 循环： 作者描述了一个“良性循环”：研究创造新工具 这些工具帮助市场增长 增长的市场提供资金以资助更多研究。
4. 游戏规则（伦理与局限）
作者在构建这座图书馆时非常谨慎：
- 无版权侵犯： 他们仅使用了开放获取的论文、公开的政府专利，以及在 Twitter 于 2023 年更改规则之前收集的社交媒体数据。
- 隐私： 他们从社交媒体帖子中移除了所有用户名以保护个人隐私，仅保留文本和日期。
- 语言： 该图书馆目前仅包含英语，因为这是科学和专利的主导语言。
总结
简而言之，作者为分布式账本技术世界构建了首个大规模、全面的图书馆。他们证明，如果你想了解这项技术将走向何方，就不应仅仅关注股价或 Twitter 趋势。你需要关注研究论文，因为未来正是在那里被书写，远早于世界其他部分赶上步伐。他们还免费发布了图书馆、训练有素的人工智能模型以及工具，以便其他人能够继续这项研究。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。