Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese
本文介绍了 Prosa，这是首个面向真实用户的多轮巴西葡萄牙语对话基准，并证明与传统的整体式“大语言模型即裁判”方法相比，采用二元评分标准结合多裁判过滤能显著提升评估的稳定性与区分能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图对一座城市里最好的厨师进行排名。过去，你可能会请一位美食评论家品尝一道菜，并给出一个从 1 到 10 的单一分数。这就像目前大多数 AI 模型的评估方式：一个“裁判”AI 阅读回答并给出一个整体评分。
正如这篇论文所解释的，问题在于不同的评论家有不同的口味。有人可能喜欢辛辣食物，而另一个人则讨厌它。如果你请三位不同的评论家对同样的 16 位厨师进行排名，他们可能都会同意谁是最差的，但在谁是最好的问题上可能会完全分歧。这使得排名不可靠。
论文的方案：“清单”方法
Prosa（一个针对巴西葡萄牙语 AI 对话的新基准）背后的研究人员决定改变游戏规则。他们不再问裁判“这道菜整体有多好？”，而是给裁判一份具体的二元（是/否）问题清单。
- 旧方法（整体性）： “给这段对话打分，1 到 10 分。”（主观，容易产生偏差）。
- 新方法（基于评分标准）： "AI 是否回答了问题？是/否。它是否保持了礼貌？是/否。它是否避免了胡编乱造？是/否。”
这就像驾驶考试。教练不再说“你开得相当不错，我给你打 8 分”，而是检查具体的项目：“你是否使用了转向灯？是/否。你是否在红灯前停下了？是/否。”
“过滤”的魔力
研究人员意识到，有时清单本身的项目是有缺陷的。也许有一个问题太简单，以至于每位厨师都能通过；或者太难，以至于每个人都无法通过。这些“有缺陷的问题”会扰乱排名。
因此，他们增加了一个过滤步骤。在最终确定分数之前，他们将清单交由一个“质量控制”团队审查。他们剔除了那些太简单、太难或令人困惑的问题。这使他们留下了一套精准、高质量的问题，能够真正区分好厨师和伟大厨师。
重大发现
以下是他们发现中最令人惊讶的部分：
- 裁判不如方法重要： 当他们使用旧的"1 到 10 分”方法时，三位来自不同公司的 AI 裁判对顶级厨师的排名给出了完全不同的结果。但是，当他们切换到“清单 + 过滤”方法时，所有三位裁判对全部 16 位厨师的排名完全一致。
- 成本更低： 由于清单将任务分解为简单的“是/否”问题，你不需要一个超级昂贵、超级聪明的 AI 来进行评判。你可以使用更便宜、更快的 AI（如 Gemini 3 Flash），仍然能获得同样完美的排名。使用这种方法评估一个新模型的成本约为2.10 美元，而其他方法的成本则要高得多。
Prosa 是什么？
Prosa 是首个针对巴西葡萄牙语的此类基准。
- 现实生活： 他们不使用虚构的测试问题（像学校考试那样），而是使用了 1,000 个真实的人在巴西与 AI 进行的真实对话。这捕捉了人们实际的说话方式、他们使用的俚语以及他们试图解决的实际问题。
- 结果： 他们对 16 种不同的 AI 模型进行了排名。第一名是 OpenAI 的 GPT-5.2，紧随其后的是 Google 和阿里巴巴的模型。有趣的是，一个开源模型（Qwen3-235B）表现如此出色，甚至击败了几款昂贵且专有的模型。
总结
这篇论文认为，为了公平地对 AI 模型进行排名，我们应该停止让裁判给出模糊的“质量感觉”，转而使用严格、经过过滤的简单事实清单。这种方法消除了特定裁判的偏差，使排名更加稳定，并节省了成本，同时使用来自巴西的真实世界对话作为测试基础。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。