An Investigation of Linguistic Biases in LLM-Based Recommendations
本研究调查了基于大语言模型的餐厅与产品推荐在美式南方英语、印度英语及印英语码转换方言中存在的语言偏见，揭示出特定模型家族对印度英语和语码转换提示表现出更高的敏感性，从而导致推荐模式出现显著差异，且这种差异并未仅依据模型规模呈现出一致的趋势。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一群非常聪明、精通数字的“厨师”（即 AI 模型），它们擅长建议你该吃什么或买什么。你向它们提出完全相同的问题：“我饿了，有什么好吃的？”或者“我需要一件新衬衫，你有什么建议？”
但这里有个转折：你用三种不同的“口音”或说话风格来提问：
- 美式南方英语：就像一位友好的南方邻居。
- 印度英语：印度人特有的英语说话方式。
- 语码转换：英语和印地语的混合，例如"Arre yaar，我饿得快不行了！”
研究人员想看看，这些数字厨师是否会仅仅因为你提问的“方式”不同（即使你问的“内容”完全相同）而给出不同的答案。他们将 AI 视为一位“冷启动”厨师——也就是说，他们没有向 AI 提供任何关于你过往喜好或厌恶的历史信息，只提供了问题和一份选项列表。
实验：“菜单”测试
研究人员向 AI 提供了一份长达 100 家餐厅（一半是美国餐厅，一半是印度餐厅）和 100 种产品（如服装、家居用品或美容产品）的平衡列表。他们要求 AI 根据提问的具体“口音”，选出它最喜爱的前 20 项。他们使用不同的列表重复进行了数百次测试，以确保结果是真实的，而不仅仅是偶然现象。
研究发现：“口音”很重要
研究发现，AI 的“口味”会随着方言的变化而改变，就像人类可能会根据你的口音来猜测你的偏好一样。
1. 餐厅结果：
- 模式：当使用印度英语或语码转换（印地语 - 英语）提问时，AI 更有可能推荐印度餐厅。而当使用美式南方英语提问时，它推荐的印度餐厅则较少。
- “大脑”效应：测试中最大的 AI 模型（Llama-3.1-70B）对这些口音最为敏感。它就像一位厨师，一听到特定的口音，立刻就会想：“啊，这个人肯定想要印度菜”，然后端上一盘印度菜，尽管问题中并没有明确说“我想要印度菜”。
- “最聪明”的厨师：有趣的是，GPT-OSS 模型（以推理能力极强而闻名）受口音的影响最小。它们似乎忽略了词语的“风味”，而更关注实际含义，就像一位厨师会说：“你说你饿了；这是从整份菜单中为你准备的均衡餐点”，而不管你是如何提问的。
2. 产品结果：
- 模式：AI 也会根据口音改变其购物建议。
- 语码转换的提示往往会导致更多家居、运动和服装类商品的推荐。
- 印度英语的提示往往会导致更多美容产品的推荐。
- 规模并不总能解决问题：通常，我们认为更大的 AI 模型更“聪明”且偏见更少。但在这里，更大的模型并不总是表现更好。有时，大模型比小模型对口音更敏感，有时则不那么敏感。并没有一个简单的规则表明“越大越好”能解决这种偏见。
主要结论
该论文得出结论：这些 AI 系统不仅仅是在阅读你话语的含义；它们也在对你话语的风格做出反应。
这就像一位服务员，一听到特定的口音，就假设你想要某种特定类型的菜系，并在你点单之前就把它端了上来。虽然这有时可能有帮助，但研究人员警告说，这可能成为一个问题。这意味着 AI 会根据你的语言对你是谁以及你喜欢什么做出假设，这可能会限制你的选择并强化刻板印象。
简而言之：如果你用不同的方言向 AI 提问，即使你要求的是完全相同的东西，它也可能给你一份不同的推荐列表。AI 不仅在听你的“话语”，也在听你的“声音”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。