Zero-shot Large Language Models for Automatic Readability Assessment
本文介绍了一种零样本提示方法和一种名为 LAURAE 的混合模型，该模型利用大语言模型，在多样化的数据集、语言和文本类型上实现了最先进的、鲁棒的无监督自动可读性评估。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一名图书管理员，正试图整理一大堆书籍。有些书是为幼儿写的，有些是为高中生写的，还有些是为大学教授写的。你的目标是找出哪些书容易阅读，哪些书难以阅读，以便将合适的书推荐给合适的人。
过去，图书管理员使用一把简单的尺子来衡量这一点。他们统计诸如“句子有多长？”和“有多少大词？”之类的内容。这就像使用可读性公式。它快速且廉价，但略显笨拙。它可能会因为一个句子很短，就认为包含一个巨大医学术语的句子是“容易”的；或者它可能会忽略这样一个事实：一个长段落实际上非常清晰简单。
后来，图书管理员尝试聘请一支人类专家团队来阅读每一本书。这很准确，但耗时极长且费用高昂。
随后，计算机变得更聪明了。研究人员开始使用大型语言模型（LLM）——一种几乎阅读过互联网上几乎所有内容的超级智能人工智能——来充当专家。其想法是：“让我们问人工智能，‘阅读这个有多难？’"
早期 AI 尝试的问题
这篇论文的作者发现，最初尝试将人工智能用于此项工作，有点像让一个天才学生参加考试却不给他们考试说明或评分标准。
- 评分标准问题：如果你要求人工智能给出 1 到 10 的分数，它可能会猜测"10"代表什么。但如果你告诉它"1 代表一年级水平，10 代表博士水平”，并提供定义，它的表现会好得多。
- 猜测问题：当人工智能作答时，它不会只抛出一个数字；它会计算许多不同数字的概率。旧方法只取最可能的数字。作者发现，如果你查看人工智能考虑过的所有可能性并计算其平均值（就像对其所有猜测进行加权平均），你会得到一个更准确的分数。
新解决方案："LAURAE"
作者创建了一个名为LAURAE的新系统。将 LAURAE 想象成一位超级图书管理员，它同时使用两种工具：
- 智能 AI：它阅读文本，理解上下文、语气和含义。
- 简单尺子：它以老式方法统计句子长度和音节。
LAURAE 并非在两者之间二选一。它会问人工智能：“你对你的答案有多确定？”
- 如果人工智能非常自信（例如，“我有 90% 的把握这是大学水平的文本”），LAURAE 主要听从人工智能的判断。
- 如果人工智能不确定（例如，“我只有 50% 的把握，也许很难，也许很容易”），LAURAE 会更依赖简单的尺子来辅助决策。
通过将人工智能的“聪明大脑”与尺子的“可靠数学”相结合，并让人工智能的置信度决定赋予每种方法的权重，LAURAE 变得更难被愚弄。
他们的测试内容
为了证明这行之有效，作者不仅在一类文本上进行了测试。他们在14 组不同的文本上进行了测试，包括：
- 给患者的医疗建议。
- 希腊语历史教科书。
- 法语、印地语、阿拉伯语和俄语的新闻文章。
- 短句和长段落。
他们将新方法与旧的“尺子”公式和“笨拙”的 AI 方法进行了比较。
结果
- 新 AI 方法：即使没有尺子的帮助，这种询问人工智能的新方式（提供评分标准并平均其猜测）在几乎所有测试中都击败了旧的 AI 方法。
- LAURAE（组合方案）：当他们把人工智能与尺子结合起来时，结果诞生了冠军。LAURAE 在 14 个数据集中的 13 个上击败了所有其他方法。 它在处理非英语文本以及非常技术性或非常短的文本方面表现尤为出色。
不足之处
使用这个新系统有两个小缺点：
- 你需要懂一点代码：你不能只是点击网站上的一个按钮；你需要自己运行代码。
- 它需要一台强大的计算机：人工智能需要强大的显卡（如高端视频卡）才能运行，这比简单的尺子公式消耗更多的电力。
结论
该论文总结道，如果你需要自动评估大量文档的阅读难度，LAURAE 是目前可用的最佳工具。 它比旧公式更准确，比仅仅向人工智能提出简单问题更可靠。它就像一个安全网：当人工智能自信时，它起主导作用；当人工智能不确定时，简单的数学就会介入提供帮助。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。