From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch
本文介绍了“掌控大语言模型”（Grip on LLMs）框架，这是一个与荷兰市政专家共同开发的综合评估套件，旨在从六个关键维度评估用于政府领域的大语言模型，研究结果表明没有单一模型能在所有领域都表现卓越，并强调了质量、成本与环境影响之间的关键权衡。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你刚刚买了一个超级智能的机器人助手，它能写邮件、回答问题，还能总结长篇报告。它就像一位永不眠的天才图书管理员。但问题在于：这个机器人的训练素材大多是英文书籍，而你需要它来协助管理一个位于荷兰、人们都说荷兰语的城市政府。你不能只要求它“尽力而为”，因为如果它犯了错，可能会在无意中拒绝某人的福利申请、传播假新闻，或者对某些群体不公平对待。
这就是大语言模型（LLMs）的世界。把它们想象成读遍了互联网几乎所有内容的数字大脑。它们非常擅长交谈和写作，但也可能很棘手。它们可能会自信地撒谎（编造事实）、对某些人产生偏见，或者消耗大量电力，感觉就像一个小型的发电厂。对于政府而言，使用这些机器人不仅仅是挑选“最聪明”的一个，而是要挑选一个诚实、公正，且不会耗尽预算或破坏地球环境的机器人。直到现在，还没有一种好的方法能专门针对荷兰政府的工作来测试这些机器人。
“掌控 LLM”报告：测试机器人
来自阿姆斯特丹市政府的一组研究人员与大学专家合作，决定解决这个问题。他们开发了一个名为“掌控 LLM”（Grip on LLMs）的新型测试框架。他们没有仅仅询问：“这个机器人有多聪明？”，而是向一群城市工作人员、政策制定者和多样性专家提问：“当你雇佣一个机器人来协助管理城市时，什么是最重要的？”
专家们给了他们一份包含六项重要指标的清单：
- 事实性（Factuality）： 它是否讲述真相？
- 诚实度（Honesty）： 如果它不知道答案，它是会承认，还是直接编造一个答案？
- 社会偏见（Social Bias）： 它对待不同年龄、性别或背景的人是否公平？
- 能耗（Energy Consumption）： 它消耗多少电量？
- 成本（Cost）： 运行它需要多少钱？
- 训练数据透明度（Training Data Transparency）： 我们是否知道它学习了哪些书籍和网站？
随后，他们使用这六项标准对 30 多个不同的机器人大脑（包括来自大型科技公司的知名模型和较小的开源模型）进行了测试。他们创建了一份任何人（即使是非专家）都能理解的特殊“成绩单”。
大惊喜：并不存在完美的机器人
他们发现的最重要的一点是，并不存在单一的“最佳”机器人。 这就像试图买一辆既跑得最快、又最省油、最便宜且最安全的汽车一样。你无法全都要；你必须做出权衡。
- “聪明但狡猾”的问题： 研究人员发现，具备“聪明才智”（高事实性）并不意味着机器人是“诚实”的。事实上，一些最新的、功能最强大的模型虽然非常擅长回答问题，但在承认自己不知道某些事情方面却表现得很差。它们会自信地编造答案，而不是说“我不确定”。对于政府来说，这是危险的，因为一个自信的谎言比一个沉默的“我不知道”更糟糕。
- 力量的代价： 最聪明、功能最强大的机器人也最费钱，消耗的能量也最多。如果一个城市想要一个超级聪明的机器人，他们必须准备好支付更高的价格并消耗更多的电力。
- 偏见是一个变量： 昂贵或聪明并不保证机器人是公平的。一些廉价的机器人非常有偏见，而一些昂贵的机器人则很公平。你不能仅仅假设投入更多的钱就能买到一个“更友善”的机器人。你必须专门检查偏见。
解决方案：用户友好型仪表盘
由于结果非常复杂，团队并没有只发布一份枯燥的数字列表。他们构建了一个色彩鲜艳、易于阅读的仪表盘（就像电子游戏的角色选择界面）。
- 绿色药丸显示机器人讲述真相的能力有多强。
- 红色条形图显示它消耗了多少能源或金钱。
- 图标显示机器人是否对某些群体存在偏见。
这个工具让城市管理者可以看着仪表盘说：“好吧，我们需要一个非常诚实且便宜的机器人，即使它不是绝对最聪明的，”或者“我们需要最聪明的那个，我们也愿意承担高昂的能源成本。”
他们没发现的内容（以及下一步）
论文谨慎地指出，这并不是一份最终的“胜者通吃”名单。它只是现状的一个缩影。他们还注意到，虽然他们测试了针对年龄、性别和出身的偏见，但还有许多其他类型的偏见（如政治观点）尚未被完全覆盖。他们还发现，有些机器人非常擅长总结文档，但在为普通公民简化复杂的法律文本方面却表现得很差。
主要的启示是，政府不能仅仅挑选在标准测试中得分最高的机器人。他们必须观察全局。如果他们想要一个对荷兰公民安全、公平且诚实的机器人，他们就需要愿意做出选择，并接受没有任何一个机器人是完美的。 “掌控 LLM”工具就是一张地图，帮助他们在做出这些选择时不会迷失方向。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。