Interaction Effects Between Learner Characteristics and Dialogue Format in TTS Dialogue-Based Lessons

技术摘要：学习者特征与对话格式之间的交互作用研究——基于 TTS 对话式课程

问题陈述
大型语言模型（LLM）和文本转语音（TTS）技术的快速发展，使得低成本生成基于对话的教育内容成为可能。然而，现有的研究主要侧重于评估单一对话风格的有效性，或将 AI 生成的内容与人类录制的讲座进行对比，而未能考虑到个体学习者的差异。教育理论，特别是适性-处理交互作用（Aptitude-Treatment Interaction, ATI），认为学习效果是由学习者特征（适性）与教学方法（处理）的结合所决定的。尽管存在这一理论框架，但目前仍缺乏关于特定学习者特征如何与不同 AI 生成课程中的对话格式发生交互作用的实证证据。本研究旨在通过考察学习者特征——具体为经验型学习风格和批判性思维倾向——如何调节不同 TTS 对话格式（教师-学生、学生-学生、教师-教师）在动机、学习效果及整体评价方面的有效性，从而填补这一空白。

研究方法
本研究采用重复测量设计，对象为 222 名日本高一学生。参与者观看了三种由 LLM（Claude 3.5 Sonnet）和 TTS 技术（Gemini TTS API）生成的不同教学格式，内容涵盖数据科学主题：

1. 教师–学生 (TS)： 专家解释概念，初学者进行提问（178 轮）。
2. 学生–学生 (SS)： 两名同伴从共同的视角讨论概念（30 轮）。
3. 教师–教师 (TT)： 两名专家讨论专业知识（37 轮）。

数据收集与分析：

• 学习者特征： 通过经验学习风格量表（Kimura 等人）进行测量，得出两个因子：具体经验（CE）以及整合了反思观察、抽象概括和主动实验的因子（RCE）。批判性思维倾向通过探究式批判性思维态度量表（CT-I）进行测量。
• 结果测量： 基于 ARCS 模型的动机（注意、相关性、自信、满意度）、自评学习效果以及整体评价。
• 统计分析： 使用线性混合效应模型（LMM）分析学习者特征与对话格式之间的交互作用。参与者截距被视为随机效应，而对话格式、学习者特征及其交互项被视为固定效应。针对显著的交互作用计算了效应量（Cohen's f）。自由回答评论通过人工参与验证的定性编码进行分析。

核心结果

1. 动机 (ARCS)：

   • 主效应： SS 和 TT 格式引发的动机显著高于 TS 格式。
   • 交互作用： 发现对话格式与学习者特征之间存在显著的交互作用。
     • CE 因子： CE 因子对动机的正向影响在 TT 格式中比在 TS 格式中显著更强。
     • RCE 因子： RCE 因子对动机的正向影响在 TT 格式中比在 TS 格式中显著更弱。
   • 效应量： 显著的交互作用效应为小到中等（CE×TT: f = .17; RCE×TT: f = .15）。

2. 学习效果：

   • 未发现显著的交互作用，尽管 RCE 因子与 SS/TT 格式的交互作用，以及 CE 因子与 SS 格式的交互作用在方向上与动机结果呈现出趋于显著的趋势。
   • 批判性思维倾向对学习效果具有显著的正向主效应。

3. 整体评价：

   • 学习者特征与对话格式之间未观察到显著的交互作用。
   • 主效应： 尽管 TT 格式激发了较高的动机，但其获得的整体评价显著低于 TS 格式。这表明两者之间存在背离现象，即增加的动机并未转化为更高的感知易理解度或满意度。

4. 定性发现：

   • TT 格式： 学习者频繁提到“言语生硬”、“内容难度大”以及“专业词汇丰富”。
   • SS 格式： 最常见的批评是“说话方式不自然”，暗示 TTS 的语音与高中生的预期语调不匹配。
   • 角色模糊： SS 和 TT 格式均收到了关于“说话者角色不明”的评论，这可能会增加外在认知负荷。

主要贡献

• 实证证据： 首次对 LLM/TTS 生成课程中学习者特征（经验学习风格和批判性思维倾向）与多种对话格式之间的交互作用进行了实证检验。
• 理论应用： 将 ATI 框架应用于 AI 生成的教育内容，证明了学习者适性与课程格式之间的“匹配度”会影响动机。
• 设计指导： 为个性化 AI 教学提供了实践见解，建议应根据学习者特征定制格式选择（例如，对于高 CE 学习者优先考虑 TT 格式；对于高 RCE 学习者则考虑 TS/SS 格式）。

意义与主张
作者声称这些发现为使用 AI 设计个性化学习系统提供了初步证据。研究表明，“一刀切”的对话格式选择并非最优方案；相反，根据学习者特征选择格式可以增强动机。具体而言，对于具有具体经验（CE）导向的学习者，TT 格式似乎是有益的，但对于具有 RCE 导向的学习者，其在动机方面则不太适用。

然而，论文在提出主张时明确保持了谨慎的态度。作者强调：

• 显著交互作用的效应量属于小到中等水平。
• 这些发现应被视为初步证据，而非个性化学习设计的决定性证明。
• TT 格式的高动机与低整体评价之间的背离现象凸显了动机并不保证感知的易理解性或满意度。
• 诸如使用自评学习效果、缺乏内容与顺序的平衡设计，以及单次实验、单校设置等局限性，限制了结果的普适性。未来的研究需要通过客观测试并在更多样化的人群中进行验证。