💬 NLP

Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs

本文提出了名为 IASC 的交互式代理系统，利用大语言模型（LLM）辅助构建人工语言，旨在通过该框架探索 LLM 对语言结构及语言学概念本身的元语言语法知识，实验发现模型在处理常见语言类型特征时表现优于罕见特征，且不同模型间存在显著的能力差异。

原作者： Chihiro Taguchi, Richard Sproat

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chihiro Taguchi, Richard Sproat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 IASC 的有趣系统，你可以把它想象成是一个"AI 语言建筑师"。

简单来说，研究人员给大语言模型（LLM）布置了一个特殊的任务：不是让它翻译现有的语言，而是让它现场“发明”一种全新的语言（人造语言，ConLang）。

通过观察 AI 如何完成这个任务，研究人员想搞清楚：AI 到底是不是真的“懂”语言？还是说它只是在死记硬背以前学过的东西？

下面我用几个生动的比喻来拆解这篇论文的核心内容：

1. 核心任务：让 AI 当“造物主”

想象一下，你给一个厨师（AI）一张菜单，上面写着：“我要一道菜，必须用左边的手切菜，用右边的脚炒菜，而且必须用紫色的盐。”

普通厨师可能会说：“这不可能，或者我瞎编一个。”
真正的语言大师会理解这些规则背后的逻辑，并创造出一套完整的烹饪流程。

在这个实验中，研究人员给 AI 设定了各种奇怪的“语法规则”：

语序：比如“宾语 - 动词 - 主语”（像“苹果吃我”而不是“我吃苹果”）。
格标记：比如名词前面要加前缀表示它是“受害者”还是“施动者”。
发音：比如必须包含威尔士语那种特殊的“嘶嘶”声。

AI 需要像真正的语言学家一样，从零开始构建这套语言的语音、词汇、语法，并写一本“语法手册”。

2. 实验目的：测试 AI 的“元语言”能力

研究人员并不关心 AI 造出的语言好不好听，他们关心的是：AI 是否理解“语言”这个概念本身？

死记硬背 vs. 真正理解：如果 AI 只是背过英语、中文、日语的语法，那它可能只会模仿这些。但如果它真的“懂”语言，它应该能处理一些从未见过、甚至自然界中很少见的语法结构。
比喻：就像教小孩认字。如果小孩只背过“猫”和“狗”，你问他“猫”和“狗”有什么共同点，他可能说不出来。但如果你给他看一只“猫”和一只“老虎”，他能认出它们都是“猫科动物”，说明他理解了“猫科”这个抽象概念。

3. 实验结果：AI 的“舒适区”与“困难区”

研究人员给 AI 出了 9 套不同的“语言考题”，有的像常见的英语（SVO 语序），有的像罕见的斐济语（VOS 语序），还有一套超级难的“混合怪”语言（Hard Language）。

结果发现：

AI 在“舒适区”表现很好：
当规则符合人类常见语言习惯时（比如主语 - 动词 - 宾语，或者像土耳其语那样加后缀），强大的 AI 模型（如 Gemini 2.5 Pro, Claude 3.5 Sonnet）能做得非常完美，甚至能写出像模像样的语法书。

比喻：这就像让一个会做中餐的厨师做“宫保鸡丁”，他闭着眼睛都能做好。
AI 在“困难区”会翻车：
当规则变得很怪异（比如把动词放在最后，但名词又要在最前面，还要用前缀表示格），或者语言非常“分析化”（靠词序而不是词形变化）时，AI 就开始糊涂了。
- 有些模型完全忽略了复杂的词形变化。
- 有些模型在处理“双数”（两个东西）这种罕见概念时，会把“两个”翻译成“很多个”。
  
  比喻：这就像让那个厨师用“左撇子切菜、右脚炒菜”的方式做一道极其复杂的菜，他可能会手忙脚乱，甚至把盐当成糖撒进去。
大模型 vs. 小模型：
越大的模型（参数越多），表现越好。小模型（如 GPT-4o-mini）在面对复杂规则时，几乎完全无法理解，就像让一个刚学做饭的学徒去挑战米其林三星的难题。

4. 关键发现：AI 其实是在“猜”概率

论文揭示了一个有趣的现象：AI 的表现好坏，很大程度上取决于这种语言特征在它的训练数据（互联网文本）中是否常见。

如果一种语法结构在英语、中文、西班牙语里很常见，AI 就擅长。
如果一种结构在自然界很少见（比如“主宾动”语序），AI 就表现得很吃力。

这意味着什么？
AI 可能并没有真正“理解”语言的逻辑，它更像是一个超级模仿者。它通过统计规律，知道“大多数人类语言是这样说话的”。当遇到反常的、罕见的规则时，它的“统计直觉”就失效了，因为它没见过足够多的例子来建立这种抽象逻辑。

5. 总结与启示

这篇论文就像给 AI 做了一次"语言逻辑体检"。

好消息：现在的 AI 确实能帮人类创造有趣的人造语言（比如给游戏或小说设计新语言），而且大模型已经具备了相当强的语言构建能力。
坏消息：AI 对语言的“理解”可能还是基于“见过多少”，而不是“懂多少原理”。当面对完全反直觉的语言规则时，它还是会露馅。

一句话总结：
AI 现在是个优秀的语言模仿者，能造出很多像模像样的新语言，但它还不是一个真正的语言哲学家，因为它在面对那些“反常识”的语言规则时，还是会显得有点“死脑筋”。

这是一份关于论文《Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs》（通过构建人工语言来探测大语言模型的元语言语法知识）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：现有的大语言模型（LLMs）在语言学任务中表现如何？特别是，它们是否真正理解抽象的语言学概念（元语言知识），还是仅仅在记忆和模仿特定语言的表面形式？
现有局限：
- 大多数研究关注 LLM 对特定自然语言（如英语、中文）的掌握程度，或将其作为翻译工具。
- 虽然已有研究探讨 LLM 构建人工语言（ConLangs）的能力，但往往缺乏对特定语法特征（如词序、格标记）的细粒度控制，难以区分模型是“理解”了规则还是仅仅在“模仿”训练数据中常见的模式。
- 缺乏一种系统性的方法来评估 LLM 在面对类型学上罕见（typologically rare）或复杂的语法配置时的鲁棒性。
研究目标：
1. 开发一个交互式代理系统（IASC），辅助用户创建具有表达力的人工语言。
2. 利用构建人工语言的过程作为基准测试（Benchmark），深入探测 LLM 对语法概念（如形态句法）的理解深度，特别是考察模型在处理不常见语言特征时的表现。

2. 方法论 (Methodology)

作者提出了 IASC (Interactive Agentic System for ConLangs)，一个模块化的代理系统，用于生成人工语言。

2.1 系统架构

IASC 将语言构建过程分解为多个独立模块，每个模块使用特定的提示词（Prompts）和代理反馈机制：

音系 (Phonology)：生成符合特定语言（如威尔士语）音系规则的音素和音位组合。
形态句法 (Morphosyntax)：核心研究模块。负责根据用户指定的语法参数（如词序、格系统、时态等）对源语言句子进行转换。
词汇 (Lexicon)：基于音系规则生成词根和词缀。
正字法 (Orthography)：将音位映射到特定的书写系统（如拉丁字母、西里尔字母）。
语法手册 (Handbook)：自动生成描述该人工语言的语法书。

2.2 核心实验设计：形态句法模块

为了评估 LLM 的元语言知识，作者重点设计了形态句法转换任务：

输入：源句子（英语）、目标语言的语法参数集（ $G$ ）、提示词（ $t$ ）。
输出：目标句子的语素级标注（Gloss），而非最终翻译。例如，将 "The cat caught the fish" 转换为符合特定词序（如 OSV）和格标记（如作格 - 通格）的标注形式。
累积转换策略 (Cumulative Approach)：
- 由于一次性生成所有特征会导致提示词过长且模型难以遵循，系统采用迭代提示策略。
- 模型分步处理：先处理词序，再处理格标记，再处理时态等。每一步都基于上一步的输出进行修正，并引入自动生成的反馈（Agentic feedback）来优化结果。
评估数据集：
- 包含 45 个源句子和 9 种不同的 ConLang 特征集。
- 特征集来源：基于 8 种真实语言（阿拉伯语、斐济语、法语、希克斯卡里亚纳语、米佐语、土耳其语、越南语、威尔士语）的类型学特征，以及 1 种**“困难”语言（Hard Language）**。
- “困难”语言：结合了多种类型学上罕见的特征（如 OSV 词序、作格 - 通格对齐、前缀化格标记等），旨在测试模型的极限。
评估指标：
- TER (Translation Edit Rate)：衡量整体编辑距离。
- SER (Stem Edit Rate)：仅衡量词干（Stem）的位置是否正确，排除形态变化干扰，专门评估句法能力。
- MFER (Morphological Feature Error Rate)：衡量形态特征（如时态、格）是否正确标记在正确位置。
- MSER (Morphosyntactic Error Rate)：SER 和 MFER 的加权平均。
- LemF1：评估词形还原（Lemmatization）的准确性。

3. 主要贡献 (Key Contributions)

IASC 系统：首个模块化、代理驱动的 ConLang 生成系统，能够生成从音系到语法手册的完整语言描述。
新的评估基准：提出了一种通过“逆向工程”（即要求模型根据抽象规则构建语言）来评估 LLM 元语言知识的方法，而非传统的问答或翻译任务。
细粒度分析：将形态句法任务分解，能够独立评估模型在词序、格标记、时态等不同语言学特征上的能力。
类型学偏差发现：揭示了 LLM 在处理常见语言特征与罕见特征时的显著性能差异。

4. 实验结果 (Results)

研究在 6 种不同的 LLM（包括 GPT-4o-mini, GPT-5, Gemini 2.5 Pro, Claude 3.5 Sonnet 等）上进行了测试。

4.1 模型能力差异

大模型表现更好：较大的模型（如 Gemini 2.5 Pro, GPT-5, Claude 3.5 Sonnet）在大多数任务上显著优于较小的模型（如 GPT-4o-mini）。
Few-shot 学习的有效性：引入“审查（Review）”阶段，提供少量示例（Few-shot ICL）后，所有模型的性能均有显著提升，尤其是 Gemini 2.5 Pro 在 Few-shot 设置下表现最佳。

4.2 类型学特征的影响

常见 vs. 罕见：
- 模型在处理常见词序（如 SVO, VSO, SOV）时表现较好。例如，在法语（SVO）和威尔士语（VSO）配置下，部分模型甚至达到了完美的 SER 分数（0.00）。
- 在处理罕见词序（如 OSV, OVS, VOS）时，错误率显著上升。特别是“困难”语言（OSV + 作格 + 前缀化），所有模型都表现挣扎，MSER 分数最高（Gemini 2.5 Pro 约为 30.87，而简单语言可低至个位数）。
分析语 vs. 综合语：
- 模型在综合语（Synthetic languages，依赖丰富的形态变化，如土耳其语）上的词形还原（Lemmatization）表现较好。
- 在分析语（Analytic languages，依赖词序和功能词，如越南语、斐济语）上，模型往往难以正确识别和还原词干，导致 LemF1 分数下降。这表明模型可能过度依赖训练数据中常见的形态变化模式。

4.3 具体案例

在“困难”语言任务中，Gemini 2.5 Pro 能够正确遵循 OSV 词序和作格 - 通格对齐，而 GPT-4o-mini 即使有 Few-shot 示例，也完全忽略了形态变化，仅输出了乱序的单词。

5. 意义与结论 (Significance & Conclusion)

元语言知识的证实：研究表明，大型 LLM 确实具备一定程度的元语言推理能力，能够理解并执行抽象的语法指令（如“将句子改为 OSV 词序”），而不仅仅是检索记忆中的句子。
数据分布的局限性：模型的性能与语言学特征在训练数据中的频率和文档化程度高度相关。对于类型学上罕见或文档较少的特征（如特定的格标记策略或罕见词序），模型表现显著下降。这暗示模型并非真正“理解”语言规则，而是基于统计概率进行推断。
未来方向：
- 该框架可用于辅助低资源语言的翻译（通过先转换源语言结构以匹配目标语言结构）。
- 揭示了当前模型在处理“分析型”语言特征时的弱点，提示未来的模型训练需要更多样化的语法结构数据。
- 证明了构建人工语言不仅是娱乐工具，更是探测 AI 语言认知边界的有力科学工具。

总结：这篇论文通过构建一个复杂的代理系统来生成人工语言，成功地将 LLM 置于一个需要深度元语言推理的测试环境中。结果证实，虽然最先进的 LLM 能够处理复杂的语法变换，但它们对罕见语言结构的处理能力仍受限于训练数据的分布，且在大模型与小模型之间存在显著的能力鸿沟。