Naming the deliverable raises convention coverage in large language model outputs
本研究表明,明确使用从业者特定的交付物名称(例如,使用“RACI 矩阵”而非描述性短语)能显著提高大型语言模型输出在各种模型和数据集上对专业规范的遵循程度。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
在专业工作的世界里,存在着一种无声的语言,专家们利用这种语言将一套复杂的规则压缩进一个单词之中。项目经理可能会要求一份“RACI矩阵”,财务分析师可能会请求一份“条款清单”(term sheet),而医生可能会开具一份“出院小结”。对于门外汉来说,这些名称仅仅是标签,但对于从业者而言,每个名称都像是一个压缩文件,包含着特定的结构、必须遵循的章节列表以及严格的格式。这就是“词汇问题”:即人们使用自己的语言寻找信息,与使用该领域的官方术语之间存在的差距。几十年来,信息科学家一直知道,当人们使用自己的话语而非该领域的专业术语来搜索信息时,往往会偏离目标。现在,随着人工智能成为起草这些专业文档的主要工具,一个新问题出现了:当一个人要求人工智能创建一份文档时,使用该文档的专业名称是否比仅仅描述该文档的作用更能帮助机器产生更好的结果?
一位来自日本开发公司的研究人员通过一系列涉及大型语言模型(即能够编写文本、代码和报告的强大人工智能系统)的受控实验,着手测试这一想法。该研究聚焦于一个简单但至关重要的区别。在一种情景中,用户会使用专业名称要求人工智能创建文档,例如“创建一个甘特图”;而在另一种情景中,同一用户会在不使用该名称的情况下描述文档的用途,例如“创建一个显示各项任务何时进行的进度表”。这两种请求都在要求同一件事,但前者承载着隐藏的专业惯例之重,而后者则让人工智能去猜测格式。研究人员要求人工智能生成数十种不同类型的文档,从投资计划到医疗笔记,并同时使用专业名称和普通描述进行测试。为了观察哪个版本更好,输出结果被对照了一份定义“正确版本文档应具备哪些特征”的规则清单进行了衡量。
结果在所有测试的模型中都表现得清晰且一致。当用户提供专业名称时,人工智能包含的必要惯例显著多于用户仅描述任务时的情况。这种提升是实质性的,在AI遵循规则的比例上增加了十一到二十九个百分点。这意味着,如果一个遵循普通描述的模型只能做对大约一半的规则,那么加入专业名称后,它能做对显著更多的规则,尽管并未达到完美。这种效应在那些具有固定、僵化结构的文档中最为强烈,例如特定的分析方法或正式的商业模板。对于这些项目,名称就像一把钥匙,开启了人工智能从人类文本中学习到、但在未被提示时不会主动应用的指令集。对于更常见的文档,如一般的通稿,差异较小,这可能是因为对用途的描述已经足以引导人工智能。
研究还探讨了人工智能是否能帮助那些不知道正确名称的用户。在第二阶段,研究人员要求人工智能先告诉用户该文档的专业名称是什么,然后再使用该名称生成文档。在规模较小的精选数据集中,人工智能大约能在三分之二的情况下提供正确的名称,但在规模较大的样本集中,准确率下降到了约46%。当用户随后使用该名称再次请求文档时,输出质量得到了显著提升,恢复了最初已知名称时所能获得的约一半到四分之三的收益,尽管在样本集中的恢复程度较低。然而,人工智能并非完美无缺;它有时会为一种类型的文档建议另一个真实的专业名称,从而导致糟糕的结果。这一发现表明,虽然人工智能可以作为通往专家词汇的桥梁,但用户仍需核实该名称是否正确。
这些发现挑战了“用户需要学习整个领域的词汇才能获得良好结果”的观点。相反,研究表明了一种更简单、更实用的技能:意识到这些文档拥有特定的名称,在不知道名称时询问人工智能这些名称,然后使用它们。研究表明,专业名称不仅是一个标签,它还是一个信号,告诉人工智能切换到一种特定的写作模式,激活一组通过普通描述无法触发的惯例。这对于那些格式与内容同样重要的任务尤为重要。研究结论指出,对于任何使用这些工具的人来说,能够询问并核实交付成果的正确名称是一项基本技能,这项技能使人工智能能够成为专业工作中的真正伙伴,而不仅仅是一个文本生成器。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。