💬 NLP

In-context Language Learning for Endangered Languages in Speech Recognition

本文表明，大型语言模型可以通过上下文学习有效地学习未见的濒危语言进行语音识别，其中基于概率的方法在结合相关文本样本时优于传统的基于指令的方法，并在不牺牲原有能力的情况下达到了与专用模型相当的性能。

原作者： Zhaolin Li, Jan Niehues

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhaolin Li, Jan Niehues

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一个超级聪明、精通多种语言的机器人（即大语言模型，简称 LLM），它就像一本百科全书，掌握着成千上万种语言。但有一个问题：这个机器人从未听过几种特定的、正在濒临消失的稀有语言。如果你要求它翻译或识别这些稀有语言的语音，它通常会失败，因为它没有“读”过足够多的关于这些语言的书籍。

这篇论文提出了一个简单的问题：我们能否仅通过展示几个例子，就在运行过程中教给这个机器人一种新语言，而无需重新训练它的整个大脑？

答案是肯定的，以下是他们是如何实现的，并辅以日常类比进行了解释。

问题所在：“空白状态”的机器人

把这个机器人想象成一位厨师，他能完美地烹饪意大利菜、中国菜和法国菜。但如果你递给他一份来自某个从未去过的微型村庄的稀有、濒危菜谱，他就会不知所措。他可能会瞎猜，但很可能会猜错。

在语音识别领域，这意味着机器人可以听到稀有语言的声音，但不知道这些声音代表哪些单词。

解决方案：“上下文语言学习”（ICLL）

与其让机器人回到烹饪学校学习多年（这被称为“微调”，需要耗费大量的时间和数据），研究人员尝试了上下文学习（In-Context Learning）。

类比： 想象你正在参加一场你并不精通的语言测试。老师给了你一张“小抄”，上面列出了 50 个该语言的句子及其对应的含义。你并没有学习多年该语言，但通过观察这 50 个例子，你突然就能比没有任何小抄时更好地猜出新句子的意思。

研究人员正是这样做的。他们在要求机器人识别某种稀有语言的语音之前，先给了它一份“小抄”（几百个样本句子）。

秘诀：选择正确的“小抄”

研究人员发现，如何选择这份小抄，比仅仅拥有一份小抄本身更重要。

随机 vs 相关： 如果你给机器人随机的句子，就像给厨师一些从杂货店随手抓取的随机食材一样，这没什么帮助。
“媒人”策略： 研究人员构建了一个系统，充当“媒人”的角色。当机器人需要识别特定句子时，系统会扫描“小抄”，并挑选出与该特定句子看起来或听起来最相似的例子。
- 类比： 如果机器人需要翻译一个关于“钓鱼”的句子，系统会从小抄中挑选关于“钓鱼”的例子，而不是关于“烹饪”的例子。
音频 vs 文本： 他们尝试利用声音（语音）来寻找匹配项，但效果并不好。这就像是通过哼唱旋律来寻找图书馆里的书；这太模糊了。使用文本（书面文字）则要有效得多。

结果：机器人学得很快

他们针对四种非常不同的濒危语言（希纳卢格语、基丘亚语、姆博希语和雅普格语）进行了测试。结果如下：

优于瞎猜： 拥有了“小抄”后，机器人在理解该语言方面比原本的表现要好得多。
击败专家： 在某些情况下，这种“即时”学习的效果竟然与为了该单一语言而专门从头构建一个全新的专业化机器人一样好，甚至更好。
“概率”技巧： 他们发现，与其问机器人“哪个单词是正确的？”（这就像是让学生举手），不如让机器人自己计算单词的数学概率。这种“基于数学”的方法比“基于指令”的方法效果要好得多。

局限性（注意事项）

论文谨慎地指出了一些边界：

仅限开源模型： 这种技巧在你可以看到其“齿轮”（代码和数学逻辑）的机器人身上效果最好。对于那些你看不到其思考方式的“黑盒”机器人来说，这很难实现。
特定语言： 他们只测试了四种语言。虽然在这些语言上表现良好，但我们不知道它是否适用于世界上所有的稀有语言。
单一模型： 他们是在一个特定的模型（Llama 3）上进行的测试。其他模型可能会表现得不同。

核心结论

这篇论文表明，你不需要海量的数据库来教给一个超级聪明的 AI 一种新的、稀有的语言。你只需要在正确的时间展示正确的几个例子即可。这就像是给天才一份快速参考指南，而不是让他读完一整本百科全书，事实证明，这是一种非常有力的、帮助保护和理解濒危语言的方法。

技术摘要：用于语音识别中濒危语言的上下文语言学习

问题陈述
最先进的自动语音识别（ASR）系统在处理高资源语言时表现出色，但在面对濒危语言时，由于数据稀缺以及预训练模型中语言表示有限，表现较为挣扎。虽然大语言模型（LLMs）通过上下文学习（ICL）在无需参数更新的情况下展示了学习新任务的潜力，但其在低资源语言上的应用仍面临挑战。现有的方法如跨语言上下文学习（X-ICL）存在翻译偏差，而标准的 ICL 则往往因为缺乏针对特定濒危语言的充足预训练数据而失败。此外，将语言信息整合进这些语言的 ASR 过程中的研究仍有待深入探索，特别是关于 LLMs 如何通过上下文示例学习全新的语言（而非仅仅是学习新任务）以改进语音转录。

方法论
作者提出了**上下文语言学习（ICLL）**框架，在该框架下，LLMs 仅通过在提示词中提供的几百个样本句子即可获取目标濒危语言的语言知识，而无需进行微调。本研究将 ASR 视为一个重排序（re-ranking）任务：

假设生成：初始 ASR 系统（Wav2Vec2 mms-300m）为目标音频生成候选转录的 $n$ -best 列表。
样本检索策略：为了构建上下文提示词，作者研究了多种选择训练样本的策略：
- 语料库级 vs. 特定示例级：比较了针对整个测试集的静态样本集与为每个测试实例选择唯一样本的方法。
- 查询类型：使用最佳 ASR 假设（hyp）、前 $k$ 个假设（topk）或地面真值转录（oracle）作为相似性搜索的查询。
- 嵌入模态：利用文本嵌入（SONAR 模型）和音频嵌入，基于余弦相似度寻找相似的训练示例。
假设选择：使用 LLM 对 $n$ $n$ -best 列表进行重排序。两种方法进行了对比：
- 基于指令（Instruction-based）：明确指示 LLM 选择最佳选项。
- 基于概率（Probability-based）：计算给定上下文样本下各假设的对数概率（ $S = \sum \log P_{AM} + \sum \log P_{LM}$ ），并选择得分最高的一个。该方法将声学模型概率与 LLM 的语言模型概率相结合。

核心贡献

用于 ASR 的 ICLL：本文证明了 LLMs 仅通过几百个样本句子即可学习一种全新的、未见的濒威语言，从而执行 ASR 重排序，且无需监督训练数据或参数更新。
基于概率方法的优越性：研究发现，对于低资源语言，基于概率的假设选择显著优于传统的基于指令的方法，这可能是因为后者难以从有限的示例中内化语言知识。
样本选择的重要性：研究强调，特定示例的选择策略（即针对每个测试实例定制样本）比语料库级选择能产生更好的性能。此外，使用初始 ASR 假设作为检索查询，其效果几乎与使用地面真值（ground-truth）oracle 转录相当，尽管初始 ASR 系统的错误率很高。
性能对比专用模型：所提出的 ICLL 方法实现了与专门针对目标语言语料库训练的专用语言模型（n-gram 和 Transformer 模型）相当、甚至在某些情况下超越其性能的语言建模和 ASR 性能，同时保留了 LLM 原有的能力。

结果
实验在四种语言多样性极高的濒危语言上进行：Khinalug、Kichwa、Mboshi 和 Japhug。

语言建模：与语料库级选择和随机基准相比，特定示例检索策略一致地降低了困惑度（perplexity）。结合声学信息的基于概率的选择取得了最佳结果。
ASR 性能：在所有语言中，基于 ICL 的重排序性能均优于仅基于声学的选择。对于 Kichwa 和 Mboshi，ICLL 的表现超过了专门的 n-gram 和 Transformer 语言模型。对于 Khinalug 和 Japhug，其性能与这些专用模型相当。
样本量：性能通常随着上下文样本数量的增加而提高（最高达 200-300 个），尽管计算限制在某些实验中限制了上限。
模态：文本嵌入在样本检索方面表现更优；音频嵌入或音文结合嵌入并未提升性能，有时甚至会导致性能下降。

意义与主张
本文主张，ICLL 为将强大的 LLMs 应用于因数据匮乏而无法进行传统微调的濒危语言提供了一条可行且资源高效的路径。通过利用上下文示例，LLMs 可以有效地学习未见语言的语音和语法结构，从而改进语音识别。作者强调，这种方法允许动态适配（为不同的测试用例选择不同的样本），并避免了训练新模型的计算成本。然而，论文也谦虚地指出了局限性：基于概率的方法需要访问模型参数（这限制了其仅适用于开源 LLM），且研究结果是基于单一 LLM（Llama-3-8B）和四种特定语言得出的，因此其对其他模型和语言的泛化性仍是一个开放性问题。