Industrial-Instruction: An End-to-End Framework for Building Instruction-Tuning and Benchmark Datasets from Industrial Technical Reports
本文介绍了 Industrial-Instruction，这是一个端到端的框架，旨在将异构的工业技术报告转化为高质量的指令微调数据集和基准测试，并证明了虽然像 Claude-Opus-4.6 这样的前沿模型能产生更优越的训练结果，但开源权重模型为提升小型大语言模型在工业推理任务上的性能提供了一种具有成本效益的替代方案。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代工业那广阔而喧嚣的世界里，关键知识往往被锁在厚重且难以攻克的说明书中。这些并非智能手机上那种简单的指南；它们是充满规格参数、复杂表格和专业图表的密集技术报告，工程师依靠这些资料来维持工厂运转并防止机器故障。几十年来，这类信息一直属于人类专属领域，难以搜索，甚至更难教给计算机。挑战在于这些文档的结构：它们将流动的文本与僵硬的数字网格混合在一起，形成了一种标准计算机程序难以读取的格式。尽管人工智能在理解通用对话和广泛话题方面取得了长足进步，但在面对这种特定的、高风险的工业语言时，历史上却屡屡碰壁。计算机的通用智能与工程师对精确技术需求之间的差距，始终是一个显著的障碍，这主要是因为缺乏合适的训练材料来弥补这一鸿沟。
现在，一组研究人员已经搭建了跨越这一鸿沟的桥梁，开发出一种新系统，旨在教计算机如何阅读并推理这些工业报告。他们从松下（Panasonic）的 906 份真实世界技术文档中开始，这些文档总计超过 7,500 页，包含了密集的文本和表格。第一步是教会计算机像人类一样观察这些文档。系统不仅仅是阅读文字，它还分析布局，识别表格从哪里开始、到哪里结束，以及文本如何与旁边的图表相关联。这使他们能够准确地提取信息，保留了使数据发挥作用的结构。从这些提取出的材料中，他们并没有简单地让计算机记忆事实，而是构建了一个复杂的训练过程，模拟了工程师可能面临的五种不同现实场景。有时，计算机会被给予一份看起来相关但实际上并不包含答案的文档，从而学会识别何时陷入困境。其他时候，它必须从单页中拼凑线索，或者将散落在多个不同报告中的信息编织在一起以寻找解决方案。
为了创建训练系统所需的问答对，研究人员利用强大的人工智能模型生成了近 24,000 个练习示例。他们测试了两种不同的方法：一种使用向公众免费开放的模型，另一种使用需要付费的优质闭源系统。结果令人警醒。优质系统生成的训练数据更整洁、更准确，但其生成成本大约是开源替代方案的一百倍。当研究人员使用这些新数据来训练更小、更高效的计算机模型时，结果是戏剧性的。模型的回答技术问题的能力显著提升，准确率从约 28% 的基准跃升至 42% 以上。更令人印象深刻的是，使用高质量数据训练的模型保留了它们对世界的通用知识，这表明它们可以在学习专业工业技能的同时，不会遗忘所知的一切。
该研究还强调了当前技术中一个持续存在的弱点。虽然新的训练方法有助于模型在问题措辞清晰时解决问题，但当问题被重新表述或稍作修改时——即使意思保持不变——系统就会完全失败。这表明，虽然模型已经学会了在正确的文档中寻找答案，但它们尚未学会理解“换一种说法仍是同一个问题”所需的深层灵活性。尽管存在这一局限性，这项工作仍提供了一条切实可行且可复制的路径。它证明了只要过程严谨，无需使用最昂贵的闭源系统，也能从真实的工业文档中构建高质量的训练数据集。通过将静态、难以阅读的手册转化为动态、可教的知识，这一框架为将人工智能的力量引入工程师的日常工作中提供了途径，有望使维护工作变得更快、更安全、更可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。