P3B3: A Multi-Turn Conversational Benchmark for Measuring European and Brazilian Portuguese Variety Bias in LLMs
该论文介绍了 P3B3，这是一个由专家策划的基准测试和评估框架，它揭示了当前大语言模型在巴西葡萄牙语相对于欧洲葡萄牙语存在显著偏见，并强调了实现更平衡的多语言表示的紧迫性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一群非常聪明、博学多才的机器人（大语言模型，简称 LLM），它们会说葡萄牙语。问题在于，葡萄牙语并不只有一种声音；它就像一个有着两个截然不同的远亲的家族：欧式葡萄牙语（在葡萄牙使用）和巴西葡萄牙语（在巴西使用）。
虽然它们共享同一个家族姓氏，但说话方式却大不相同。它们对同一事物的称呼不同（比如“bus”与“autocarro”），交流方式也各具特色，甚至句子的排列组合也各有千秋。
问题所在：“巴西偏见”
这篇论文的研究人员注意到了一些奇怪的现象。由于互联网上充斥着来自巴西的文本，这些机器人阅读的巴西葡萄牙语远比欧式葡萄牙语多。这就像一个学生只读过一种方言编写的教科书；当他们尝试说话时，即使是在与大洋彼岸的人交谈，也会不自觉地听起来像是来自那个地区。
研究团队想要知道：这些机器人有自己偏爱的“远亲”吗？如果我们告诉它们，“请像欧洲人一样说话”，它们真的能做到吗？
解决方案：P3B3（“口音测试”）
为了查明真相，研究人员创建了一个特殊的测试，称为 P3B3。你可以把它想象成一场语言方面的“盲测”。
- 设置： 他们并没有直接问机器人“什么是巴士？”（因为这可能会触发特定的答案）。相反，他们创建了关于交通工具和美容产品等日常话题的自然、多轮对话。
- 技巧： 这些问题的设计是“变体无关”的（variety-agnostic）。这意味着问题不会给出任何暗示使用哪种口音的线索。这就像是在问“我该如何去商店？”，而不是说“在里斯本”或“在圣保罗”。
- 目标： 他们想看看机器人们自然会说什么。它们会因为读得最多而默认使用巴西口音吗？还是说如果被要求，它们可以切换模式？
他们是如何衡量的
研究人员使用了两种方法来给机器人的回答评分：
- “语法警察”（分类器）： 这些计算机程序经过训练，专门用于识别属于葡萄牙或巴西的特定词汇和语法规则。
- “专家评审员”（LLM-as-Judge）： 他们使用了一个超级聪明的 AI（Gemini）来阅读答案，并扮演人类语言学家的角色，给出从 0（纯正巴西风格）到 10（纯正欧洲风格）的分数，并解释原因（例如：“他们使用了 'ônibus' 而不是 'autocarro'”）。
他们的发现
结果有点像一场真人秀节目，参赛者很难隐藏自己的真实出身：
- 默认模式： 在没有指令的情况下（无人干预），几乎所有的机器人都会自然地使用巴西葡萄牙语。这是它们的“舒适区”。即使是那些专门针对欧洲风格进行过训练的机器人（如 AMALIA），也是唯一能始终坚持使用欧式口音的机器人。
- “切换”测试： 当研究人员明确告诉机器人“请说巴西风格”时，大多数机器人表现得很好。但当他们说“请说欧洲风格”时，情况就变得困难多了。许多机器人难以保持一致性。它们会开始使用欧式风格，但在几句话之后，就会不小心滑回到巴西式的词汇或语法中。
- 规模决定一切： 较新、更大、更强大的机器人比旧的、较小的机器人更能遵循指令并切换口音。然而，即使是最优秀的机器人，在长对话过程中有时也会漂移回它们的巴西根源。
大局观
论文得出结论，虽然这些 AI 模型正在变得越来越好，但由于训练数据的关系，它们仍然存在强烈的“巴西偏见”。它们就像是擅长扮演巴西角色的演员，但即便导演要求，也很难在整场戏中始终保持欧洲角色的设定。
研究人员构建了这个测试（P3B3），以便在未来，开发者可以检查他们的机器人是否变得更加平衡和公平，从而确保里斯本的用户能获得与里约热内卢用户同样高质量、具有文化准确性的体验。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。