OTel: Building Domain-Specialized Telecom LLM Foundations for Intelligent Networks
本文介绍了 Open Telco (OTel)，这是一个综合性的开源资源，其包含的衍生数据集和 30 个经过后训练的基准模型，显著提升了在电信领域嵌入、重排序及语言模型任务中的领域专业化 AI 性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
现代生活运行在一个由电缆、塔台和卫星组成的庞大且无形的神经系统之上，它在全球范围内传输着我们的通话、信息和数据。维持这一系统的运转需要深入理解数以千计的技术手册、国际协议以及不断变化的、规范网络行为的规则。这些文档内容密集、相互依赖，并且使用一种即使是资深工程师也难以驾驭的专业语言编写而成。多年来，人工智能在理解这个特定领域方面一直步履维艰。虽然通用人工智能模型可以写诗或总结新闻，但当被要求解释复杂的网络规范或排除技术错误时，它们往往会失败，因为它们缺乏理解电信领域独特逻辑所需的精确、特定领域的训练数据。
一项名为 Open Telco（简称 OTel）的新倡议旨在通过提供第一个开放、共享的基础设施，来弥补这一差距，从而构建能够真正理解电信技术的智能系统。该项目汇集了来自大学、工业界和全球组织的百余位专家，旨在创建一个大规模的、经过清洗的高质量数据库和预训练计算机模型。OTel 不再强迫每位研究人员都从零开始——即为了寻找文档、清理杂乱文本和独自训练模型而四处奔波——而是提供了一套完整的工具包。它包括专门设计的训练数据集，旨在教导计算机如何寻找正确的信息、如何按重要性对信息进行排序，以及如何严格基于所找到的内容回答问题，同时还要让它们知道何时应当承认自己不知道答案。
OTel 团队从公共渠道收集了大约 110 万条原始信息，包括国际标准文件、技术白皮书和学术研究。然而，原始数据通常过于嘈杂，无法直接用于训练智能系统。研究人员应用了严格的多阶段过滤流程来清洗这些信息，剔除了错误、重复项和低质量的示例。这项高强度的工作将收集到的信息精简到了约 32.7 万个高置信度的示例，这些示例已准备好投入使用。这些示例随后被组织成四种不同类型的训练材料：一组用于教导模型如何检索相关文档；另一组用于教导它们如何对这些文档进行排序；第三组用于教导它们如何基于检索到的文本生成答案；第四组则用于教导它们在信息不足或偏离主题时保持沉默。
利用这些精选数据，研究人员训练并发布了 30 个规模各异的计算机模型，从小型、快速的系统到大型、强大的系统不等。这些模型在处理电信任务的能力方面接受了测试，结果显示其性能较以往尝试有了显著提升。使用 OTel 数据训练的模型在寻找正确文档方面表现得更为出色，其排序准确率在某些情况下从约 35% 跳升至 93% 以上。它们在排列搜索结果和正确回答问题方面的表现也大幅提高，其中最大的模型在处理技术问题时的成功率达到了 88%。至关重要的是，训练让模型学会了在缺乏足够信息时避免猜测，这一安全特性防止了它们编造技术细节。
全球社区的反应迅速且热烈。在发布后的短短几个月内，这些模型的下载量就超过了 1600 万次，该项目也受到了全球工业界和媒体的广泛关注。这种参与程度表明，电信行业对于能够帮助管理其复杂基础设施的开放、可靠工具有着深层的、未被满足的需求。通过提供一个共享的起点，OTel 让研究人员和工程师能够专注于解决特定问题，而不是重建基础架构。该项目并非被呈现为一个最终的解决方案，而是一个可复现的基础，社区可以对其进行扩展、改进和适配，从而使电信网络更加安全、高效且易于管理。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。