💬 NLP
Losing our Tail, Again: (Un)Natural Selection & Multilingual LLMs
这篇立场论文探讨了多语言大语言模型（特别是翻译技术）因自消耗训练循环导致的“模型崩溃”现象，如何引发语言分布长尾的消失、语言形式与文化细微差别的丧失，并呼吁抵制语言扁平化，重塑自然语言处理领域以保护和促进多语言多样性与创造力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这是一篇关于人工智能（特别是多语言大模型）如何悄悄“修剪”人类语言多样性的立场论文。作者 Eva Vanmassenhove 用了一个非常生动的比喻：人类失去了尾巴，现在我们的语言可能也要失去它的“尾巴”了。
为了让你轻松理解，我们可以把这篇论文的核心思想拆解成几个有趣的故事和比喻：
1. 核心比喻：我们失去了“尾巴”
- 生物学上的尾巴： 几百万年前，人类祖先为了适应环境，进化掉了尾巴。虽然尾巴曾经有用（甚至可能很有趣），但在自然选择中，它变得多余了，所以消失了。
- 语言上的“尾巴”： 在语言的世界里，所谓的“尾巴”指的是那些不常见、低频、独特但充满文化韵味的词汇、语法结构或表达方式。
- 就像“长尾分布”一样：大多数时候我们说“的”、“是”、“了”（高频词，像身体主干）；但偶尔我们会用到“蹊跷”、“旖旎”或者某种方言特有的感叹词（低频词，像尾巴）。
- 作者的观点： 以前，这些“尾巴”是自然进化的结果，虽然有些会消失，但新的也会产生，语言保持丰富。但现在，人工智能正在强行剪掉这些尾巴，让语言变得光秃秃、千篇一律。
2. 自然进化 vs. 人工“修剪”
- 自然的语言进化（像森林）：
想象一片森林。树木（语言）在生长时，有的长得高，有的长得矮，有的叶子多，有的叶子少。虽然有些树会因为竞争不过而倒下，但新的树苗会不断长出来。人类在交流中，为了表达独特的感受、为了幽默、为了区分“我是谁”，会不断创造新词或保留旧词。这种过程虽然慢，但充满了多样性。 - AI 的语言进化（像修剪整齐的草坪）：
现在的多语言大模型（LLM）就像是一个极度追求效率的园丁。- 它学习人类写过的所有文章，发现大家最常说的话是哪些。
- 当它开始自己写东西，或者用别人写的东西（包括 AI 写的）来训练自己时，它会产生一种**“模型崩溃”（Model Collapse）**。
- 比喻： 就像你只吃超市里卖得最好的那几种苹果，久而久之，你的味蕾就忘了其他苹果的味道。AI 也是如此，它越来越倾向于生成概率最高、最安全、最普通的句子。那些独特的、小众的、带有文化色彩的“长尾”表达，因为出现频率低，被 AI 视为“噪音”而直接丢弃。
3. 为什么这很危险？（不仅仅是少几个词）
作者担心，这不仅仅是少用几个生僻字那么简单，而是语言灵魂的流失：
- 文化指纹的消失： 很多低频词承载着特定的文化故事、情感色彩或社会身份。如果 AI 把它们都“修剪”掉了，不同语言之间的差异会变小，世界变得“扁平”。
- 自我吞噬的循环： 现在的互联网上，越来越多的内容是 AI 生成的。如果 AI 生成的内容又反过来喂给下一代 AI 训练，就像**“近亲繁殖”**。
- 比喻： 想象一个合唱团，如果每个人都模仿前一个人唱得最“稳”的那几个音，最后大家唱出来的声音会越来越像，甚至走调，原本丰富的和声（多样性）就消失了。
- 偏见被放大： AI 倾向于选择“大多数”人的说法。这意味着少数群体的声音、边缘化的文化表达会被进一步边缘化，甚至彻底消失。
4. 现在的评估方法有“盲区”
作者还指出了一个有趣的问题：我们怎么知道 AI 让语言变差了？
- 目前的误区： 我们通常拿 AI 写的一篇文章和人类写的一篇文章比，看谁词汇更丰富。结果发现 AI 好像挺厉害的。
- 真相： 这只是因为 AI 能模仿很多种风格（像变色龙）。但如果我们看长期的、大规模的语言变化，会发现人类语言是千人千面的（每个人说话都有独特的习惯），而 AI 生成的语言在长期看是高度同质化的。就像看一群克隆人，虽然每个人长得稍微有点不一样，但本质上都是同一个模板。
5. 作者的呼吁：我们要做什么？
这篇论文最后是在发出警报并呼吁行动：
- 不要只追求“流利”和“准确”： 现在的 AI 太擅长说“正确的废话”了。
- 保护“长尾”： 我们需要重新设计 AI 的训练和评估方式，不仅要让它说人话，还要让它保留人类的怪癖、方言、独特的表达和文化的多样性。
- 拒绝“语言扁平化”： 语言不仅仅是传递信息的工具，它是人类身份、文化和创造力的载体。如果我们把语言的“尾巴”都剪掉了，我们就失去了表达复杂情感和独特身份的能力。
总结
简单来说，这篇论文在说：
以前，语言像一条奔流不息、充满各种支流和怪石的河流；现在，AI 像一台巨大的抽水机，把那些不常见的支流都抽干了，只留下一条笔直、宽阔但单调的主河道。
作者希望我们能意识到这个问题，在享受 AI 带来的便利时，也要小心守护语言的丰富性、创造力和文化多样性，别让语言变成只有“标准答案”的枯燥世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。