The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline
本文表明，“方言税”——即语言模型中标准美式英语与其他方言之间存在的系统性性能差距——并非由单一阶段引起，而是贯穿于从分词、预训练到后训练及推理的整个建模流水线的全过程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言模型是驱动聊天机器人、翻译器和写作助手背后的引擎，这些工具已然融入了我们的日常生活。这些系统通过阅读海量文本进行学习，吸收语法、词汇和风格的模式，从而预测下一个词是什么。几十年来，研究人员一直知道这些系统对某些人的表现优于其他人。如果用户说的是标准英语，计算机通常能完美理解；但如果他们说的是一种方言，例如非裔美国英语（AAVE），系统往往会陷入困境，出现更多错误或产生质量较低的响应。这种性能差距不仅仅是一个小小的故障；它就像一种“隐藏税”，要求方言使用者在获取与他人相同结果时，付出更多的精力、时间和准确性成本。长期以来令科学家感到困惑的问题在于，这种“税”究竟从何而来？是因为计算机最初拆解单词的方式出了问题，还是这种偏见在模型学习过程中被刻进了它的“大脑”里？
一位来自牛津大学的研究人员致力于追踪现代语言模型流水线中的每一个步骤，以溯源这种“方言税”。他们想看看问题是始于计算机最初阅读文本时，是持续在计算机学习阶段，还是仅出现在计算机试图回答问题的时候。为了实现这一目标，他们使用了一个巧妙的设置：他们选取了意思完全相同但书写方式不同的句子对。每一对句子中，一个是用标准美式英语编写的，另一个则是用如非裔美国英语、阿帕拉奇方言或奇卡诺英语等方言编写的。由于含义完全一致，任何关于计算机处理这两个句子的差异都必然是由说话或书写方式引起的，而非因为其中一个更难理解。
研究人员首先检查了计算机是否识别出这两个句子意思相同。他们发现模型确实理解其含义；两个版本的数学距离非常小，表明系统知道它们是等价的。然而，一旦计算机尝试处理文本，这种“税”就出现了。在第一步，即计算机将句子拆分为称为“标记”（tokens）的小块时，方言版本受到了不公平对待。系统将方言句子拆分成了比标准版本更多的碎片。例如，“building”这个词在标准版本中可能是一个整体，但在方言版本“buildin'”中可能会被拆分成三个独立的碎片。这意味着计算机需要花费更多的工作量来处理相同的信息量。研究人员发现，无论系统多么新颖或先进，这种现象在他们测试的几乎所有主流语言模型中都普遍存在。
为了弄清楚这种初始的单词拆分是否是问题的唯一原因，研究人员进行了一项大胆的实验。他们强迫计算机忽略其惯常的拆分方式，转而逐个查看每一个字母，将文本视为一段长长的字符序列。他们希望这能消除由单词拆分步骤导致的偏见。但实验并未奏效。即使在计算机逐个观察字母的情况下，它处理方言句子的表现仍然较差。准确率的差距依然存在，计算机仍然觉得方덴方言文本更难预测。这证明了问题不仅仅出在阅读文本的第一步。偏见已经深入其中，成为了模型内部知识的一部分。
调查随后转向了训练阶段，即计算机从数百万个示例中学习的过程。研究人员观察了模型在学习过程中所做的数学更新。他们发现，当模型试图从方言句子中学习时，尽管含义完全相同，但它所做的调整却比学习标准句子时要大得多且更加混乱。就好像模型觉得方言文本既令人困惑又充满噪声，需要付出巨大的努力才能掌握相同的概念。甚至在模型给出正确答案时，这种现象依然存在：学习过程本身对于方言来说更为艰难。随后，当研究人员观察用于奖励模型优秀回答的系统时，发现了另一层偏见。这些奖励系统有时会在方言单词单独出现时给予高分，但当这些相同的单词出现在完整的句子中时，系统却会对它们进行惩罚。这种不一致性意味着模型收到了矛盾的信号：有时因使用方言而受到奖励，有时又因语境不同而受到惩罚。
最终呈现出的景象是，方言税并非由系统某一部分的单一错误造成的。相反，它是一个在每个阶段不断累积的综合效应。计算机首先通过将方言单词拆分成更多碎片，降低了输入的效率。在学习过程中，它对方言的理解更加吃力，将相同的信息视为更难理解的内容。最后，当它尝试生成答案时，内部信号和奖励系统继续偏向标准方言。研究人员得出结论：仅仅修复计算机拆分单词的方式不足以解决问题。偏见已经编织进这些模型学习和思考的本质结构之中。要创造真正公平的语言技术，开发者需要重新思考整个训练过程，确保模型能够学会以同样的轻松度和尊重来对待所有方言，而不是在每一个环节都累积这些微小的劣势。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。