技术摘要：大语言模型比专家本人更擅长解释专家

1. 问题陈述

本研究解决的核心挑战是隐性知识的外部化与迁移。隐性知识被定义为嵌入在经验中的“诀窍”（know-how），它极难被表达，这使得从专家向新手进行知识迁移成为组织中的一个显著瓶颈。这一现象体现了波兰尼悖论（Polanyi's Paradox，即“我们知道的比我们能言说的更多”），专家往往无法完全用言语描述其行为和决策背后的底层逻辑。因此，当专家离职时，宝贵的专业知识往往会流失，或者无法有效地传播。

捕捉此类知识的传统方法——如半结构化访谈、认知任务分析和导师制——成本高昂、难以规模化，且通常需要大量的人力投入来进行结构化处理。此外，专家能够表达出的知识，往往是对他们实际使用的知识的不完整呈现。本研究调查了**大语言模型（LLMs）**是否可以通过直接从专家行为（对话）中提取隐性知识，而非依赖专家的自我报告，从而克服这种表达瓶颈，并探讨这种外部化的知识是否能改善下游的决策制定和新手培训。

2. 研究方法

研究采用了在数学辅导场景下的两项研究实验设计，利用了一个包含一至五年级学生与导师之间真实对话的数据集（Wang et al., 2024）。

数据与设置

• 数据集： 700 场数学辅导对话，包括学生的错误以及新手导师和专家导师的反应。
• 基准（Benchmark）： 一个源自认知任务分析（CTA）的“人类最佳努力”（Human Best Effort）基准，其中专家阐述了一个三步决策模型。这作为专家表达知识的金标准。
• 参与者： 在研究 2 中通过 Prolific 招募的新手导师（经过筛选，确保无先前的数学辅导经验）。

研究 1：LLM 响应生成

目标是测试 LLM 外部化的知识能否引导 LLM 生成更高质量的针对学生错误的响应。

• 知识外部化条件： 测试了三种用于从数据集中提取隐性知识的提示策略：
  1. LLM 基准线（LLM Baseline）： 不提供学生-导师对话；LLM 根据通用指令提取知识。
  2. LLM+对话（LLM+Conversation）： 为 LLM 提供学生-导师对话（观察到的行为），但不提供结构化约束。
  3. LLM+两者（LLM+Both）： 向 LLM 提供对话，并要求其输出一个模仿人类专家基准的 3 步结构。
• 比较条件：
  • 人类最佳努力（Human Best Effort）： LLM 被提示使用人类专家明确阐述的知识。
  • 无隐性知识（No Tacit Knowledge）： 一个没有任何外部化知识的零样本（zero-shot）基准。
• 评估： 响应质量按 1-10 分的量表进行评分，维度包括有用性（usefulness）、关怀度（caring）和拟人化程度（human-sounding）。

研究 2：向新手进行知识迁移

目标是确定 LLM 外部化的知识能否缩小人类新手与人类专家之间的表现差距。

• 流程： 新手导师被随机分配到不同的条件组，接受基于研究 1 中生成的特定隐性知识表示的培训（LLM Baseline、LLM+Conversation、LLM+Both、Human Best Effort 或 No Tacit Knowledge）。
• 任务： 参与者针对学生的错误生成响应。
• 指标： 专家-新手差距（Expert-Novice Gap），定义为同一对话中受训新手与人类专家之间响应质量的差异。

稳健性检查

研究包含了若干稳健性分析：

• 样本量敏感性： 改变训练对话的数量（从 1 到 320 个），以验证 LLM 学习的是模式而非仅仅是模仿风格。
• 替代知识： 测试领域无关、脱离上下文（写作）以及机械性领域适配的知识，以隔离领域特定实质内容的价值。
• 检索增强生成（RAG）： 使用 RAG 代替上下文窗口抽样，在全量数据集（420 场对话）上进行复现。
• 模型复现： 使用不同的 LLM（xAI 的 Grok 和 Anthropic 的 Claude）分别进行生成和评分，以重新评估结果。

3. 关键结果

响应生成（研究 1）

• LLM 外部化知识的优越性： 由**专家对话（LLM+Conversation）中提取的隐性知识引导的 LLM，其生成的响应显著优于由专家阐述知识（Human Best Effort）**引导的响应。
• 表达瓶颈： “人类最佳努力”条件的表现与“LLM 基准线”（无对话）相当，这表明专家难以充分阐述其隐性知识的全貌。
• 结构 vs. 灵活性： 强加一个僵化的 3 步结构（LLM+Both）实际上降低了响应质量，相比之下，灵活的 LLM+Conversation 方法表现更好。这表明，强制 LLM 模仿人类的表达结构可能会阻碍其捕捉细微行为模式的能力。
• 质量维度： LLM+Conversation 方法提升了所有三个维度：有用性、关怀度和拟人化程度。

知识迁移（研究 2）

• 弥合差距： 接受 LLM+Conversation 知识培训的新手实现了最小的“专家-新手差距”，其表现显著优于接受 Human Best Effort 或 LLM Baseline 知识培训的新手。
• 新手表现： LLM+Conversation 条件下的新手接近专家水平，特别是在“关怀度”维度上，其差距在统计学上已不再显著。
• 人类阐述的无效性： 出人意料的是，Human Best Effort 条件在向新手迁移知识方面并未比 LLM Baseline 表现得更好，这进一步证实了人类的阐述是专家能力的并不完整的代理。

机制与稳健性

• 学习 vs. 模仿： 观察到了“学习曲线”，即随着训练对话数量的增加，响应质量随之提高，并在达到一定阈值后趋于平缓。这证实了 LLM 正在提取决策模式，而非仅仅是复制风格。
• 领域特定性： 领域内的 LLM 外部化知识优于脱离上下文及机械适配的知识，这主要是由有用性（教学指导）的提升驱动的。
• 泛化性： 研究结果在不同的 LLM 提供商（GPT-4o, Grok, Claude）和检索方法（提示词内检索 vs. RAG）下保持了一致性。

4. 核心贡献

1. 可扩展的外部化： 本文提出并验证了一种利用 LLM 进行隐性知识外部化的可扩展方法，该方法绕过了人类的表达瓶颈。
2. 波兰尼悖论的实证验证： 研究提供了实证证据，证明 LLM 对专家决策过程的“了解”可能比专家通过自我报告所能“言说”的更多。
3. 新手培训效能： 研究表明，源自专家行为（通过 LLM）的知识，在培训新手方面比源自专家阐述的知识更有效。
4. 条件识别： 研究确定了有效外部化的关键条件：充足的行为数据暴露、灵活的输出结构（避免僵化的类人约束）以及使用高性能的 LLM。

5. 重要性与主张

作者声称，这项工作为组织如何利用专家交互数据来缓解知识流失并改进培训提供了一条切实可行的路径。通过将重点从“询问专家知道什么”转向“分析专家做了什么”，LLM 可以成为强大的知识管理工具。

论文谦虚地总结道，虽然 LLM 并没有完全消除专家与新手之间的差距，但它们显著缩小了这一差距，且通常优于传统的知识迁移方法。研究结果表明，嵌入在专家交互中的“诀窍”（know-how）是比专家可以明确记录的“知晓内容”（know-what）更丰富的培训资源。这凸显了 LLM 的潜力——它们不仅是生成式工具，更是能够捕捉并迁移专家隐含逻辑的组织学习分析引擎。