Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Using a Large Language Model

该研究通过重复生成实验评估了大语言模型（Gemini 2.5 Flash）在生成运动处方时的一致性，发现其语义层面高度一致，但在强度等关键量化指标上存在显著波动，表明在临床部署前仍需加强结构化约束与专家验证。

要点

这篇文章主要研究了一个非常有趣且重要的问题：当我们让同一个 AI（大语言模型）反复为同一个人开“运动处方”时，它给出的建议会保持一致吗？

想象一下，你走进一家餐厅，点了同一道菜。如果厨师是 AI，你点了 20 次“微辣宫保鸡丁”，端上来的 20 份菜，味道和样子应该差不多吧？如果有的特别咸，有的没放花生，那这家餐厅（AI）就不太靠谱。

这篇论文就是去测试这位"AI 健身教练”的稳定性。

1. 他们做了什么？（实验设计）

研究者找来了 6 个不同的人物画像（就像 6 个不同的顾客）：

• 3 位“生病的顾客”：比如患有糖尿病、膝盖关节炎或刚做完癌症手术的人。
• 3 位“健康的顾客”：比如想减肥或想练肌肉的年轻人。

然后，他们让 AI 模型（Gemini 2.5 Flash）针对这 6 个人，在完全相同的条件下，每人反复生成 20 次运动计划。总共生成了 120 份处方。

2. 他们怎么检查？（三个维度）

研究者像三个不同的“质检员”，从三个角度来检查这 120 份处方：

• 质检员 A（语义一致性）：看“话术”像不像

  • 比喻：就像检查 20 份作文的“文风”和“大意”是否一样。
  • 结果：AI 写得非常像！大部分时候，它说的话、用的词都高度相似（相似度高达 88%-94%）。这说明 AI 在“讲故事”方面很稳定。

• 质检员 B（结构一致性）：看“数字”准不准

  • 比喻：就像检查菜里的盐放了多少克、油温多少度。这是运动处方的核心（FITT 原则：频率、强度、时间、类型）。
  • 结果：这里出了点问题。
    • 频率（练几次）：比较稳定。
    • 强度（练多狠）：非常不稳定。特别是对于“练肌肉”（抗阻训练），AI 有 10%-25% 的时候竟然没写清楚具体要举多重（比如没写"1 次最大重量的 50%"），或者前后矛盾。
    • 有趣发现：对于病情复杂的病人（比如糖尿病 + 肥胖），AI 反而更“听话”，给出的建议更一致；而对于健康的年轻人（想练肌肉），AI 反而更“放飞自我”，给出的方案五花八门。

• 质检员 C（安全性）：看“警告”有没有

  • 比喻：就像检查菜里有没有放“过敏原提示”或“小心烫口”的标签。
  • 结果：AI 非常守规矩，100% 的处方里都包含了安全警告（比如“如果你感到头晕就停止”）。
  • 但是：警告的篇幅不一样。给病情复杂的病人，AI 会啰嗦地写一大段安全提示；给健康人，它就写得简短些。

3. 核心结论是什么？（大白话总结）

1. AI 是个“话痨”，但也是个“数学家”：它写出来的文字风格很稳定，读起来像同一个人写的。但是，一旦涉及到具体的数字（比如“心率要达到多少”、“举多重”），它就开始“飘”了，每次生成的数字可能都不一样。
2. 病情越复杂，AI 越谨慎：当病人情况很复杂（有各种病）时，AI 会被规则“框住”，不敢乱发挥，所以给出的方案比较一致。当面对健康人想练肌肉时，AI 觉得“可发挥空间很大”，结果反而给出了很多种不同的方案。
3. 不能直接给病人用：虽然 AI 很聪明，也能写出看起来很专业的运动计划，但因为它的具体数字（强度）不稳定，如果直接让病人照着练，今天练轻了，明天练重了，可能会有受伤风险。

4. 这对我们意味着什么？

这就好比现在的 AI 健身教练，“大方向”是对的（比如告诉你糖尿病人要少动、多走路），但**“细节”还需要人类专家来把关**。

未来的建议：

• 不能直接把 AI 生成的数字（比如“每天跑 5 公里”）直接当成医嘱。
• 需要给 AI 加上更严格的“紧箍咒”（更具体的提示词），或者在 AI 生成后，必须由人类医生或教练审核一遍具体的数字，确认安全后再给病人。

一句话总结：
AI 写运动计划，“文风”很稳，但“数字”在飘。在让它真正上岗指导病人之前，还需要人类专家帮它把“尺子”量准。

技术摘要

以下是基于论文《Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Using a Large Language Model》（AI 生成运动处方的稳定性：基于大语言模型的重复生成研究）的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：大型语言模型（LLM）在生成个性化运动处方方面展现出巨大潜力，能够根据个体健康状况、疾病特征和禁忌症提供结构化建议。
• 核心问题：尽管现有研究证实了 LLM 生成运动处方的可行性和安全性，但在相同条件下输出的“一致性”（Consistency）和“可重复性”（Reproducibility）尚未得到充分评估。
• 临床风险：由于 LLM 基于概率生成 Token，相同的患者画像可能在多次生成中产生结构不同甚至数值差异巨大的处方。这种变异性在涉及多病共存、功能受限的高风险临床场景中，可能导致决策不一致，直接影响治疗安全性和效果。
• 研究缺口：现有评估多关注准确性和安全性，缺乏对重复生成稳定性的量化分析，特别是针对 FITT（频率、强度、时间、类型）原则中的关键数值成分的稳定性研究。

2. 研究方法 (Methodology)

本研究采用重复生成设计（Repeated Generation Design），通过严格控制实验条件来评估模型输出的变异性。

• 实验对象与模型：

  • 模型：Google Gemini 2.5 Flash。
  • 场景：设计了 6 个临床场景（3 个高风险临床病例：2 型糖尿病 + 肥胖、膝骨关节炎 + 跌倒风险、结肠癌术后康复；1 个多病共存病例：高血压 + 糖尿病 + 肥胖；2 个健康成人场景：减脂、增肌）。
  • 生成次数：每个场景在完全相同的提示词（Prompt）下生成 20 次，共计 120 条处方。
  • 参数设置：Temperature 设为 1.0（标准随机性），未使用思维链（Chain-of-Thought）等额外推理技术，以观察模型在标准条件下的自然变异性。

• 评估维度：

  1. 语义一致性 (Semantic Consistency)：
     • 使用预训练的 SBERT 模型（all-MiniLM-L6-v2）计算每 20 次输出之间的成对余弦相似度（Cosine Similarity）。
  2. 结构一致性 (Structural Consistency)：
     • 基于 FITT 原则（频率、强度、时间、类型）进行分类评估。
     • 采用 "AI-as-a-Judge" 范式，使用独立的 LLM（Claude Sonnet 4.6）作为评估者，对处方中的有氧和抗阻运动强度（低、中、高、无法分类）进行量化分类，以避免自评估偏差。
  3. 安全表达一致性 (Safety Expression Consistency)：
     • 评估四类安全内容的存在率（禁忌症、注意事项、症状监测、风险警告）。
     • 统计安全相关句子的数量，量化安全表达的详细程度。

• 统计分析：

  • 使用 Kruskal-Wallis 检验和 Dunn 事后检验（Bonferroni 校正）分析不同场景间的差异显著性。

3. 关键贡献 (Key Contributions)

1. 提出了多维度的 LLM 处方一致性评估框架：首次将语义相似度、基于 FITT 原则的结构化分类以及安全表达量化相结合，系统评估运动处方领域的 LLM 重复生成稳定性。
2. 揭示了“高语义相似性”与“临床数值变异性”的悖论：证明了虽然 LLM 生成的文本在语义上高度相似，但在关键的数值参数（如运动强度百分比）上存在显著的不稳定性。
3. 验证了临床约束对一致性的调节作用：发现临床约束越明确（如具体的病理限制），模型输出的一致性越高；而在健康人或宽泛目标场景下，变异性显著增加。
4. 确立了"AI 评估者”在运动处方验证中的可行性：展示了使用独立 LLM 进行结构化分类（FITT）作为评估工具的有效性，为自动化评估提供了方法论基础。

4. 主要研究结果 (Key Results)

• 语义一致性：
  • 整体语义相似度较高（平均余弦相似度 0.879 – 0.939）。
  • 临床约束越明确，一致性越高：膝骨关节炎（S2）和癌症康复（S3）场景的一致性最高（均值 >0.93）；而健康增肌场景（S6）一致性最低（均值 0.879），变异性最大。
• 结构一致性 (FITT)：
  • 频率：表现出较高的一致性，临床病例多为每周 3-4 次有氧 +2 次抗阻。
  • 强度（关键发现）：
    • 有氧强度：临床病例多为低强度（90-100%），健康人为中高强度，分类较稳定。
    • 抗阻强度：变异性最大。尽管提示词明确要求 %1RM，但在临床病例中仍有 10%-25% 的输出被标记为“无法分类”（Unclassifiable），即未提供具体数值或无法映射到标准。
    • 时间：部分输出仅提供估算值而非明确数值。
• 安全表达一致性：
  • 存在率：所有 120 个输出均 100% 包含了四类安全内容。
  • 数量差异：安全相关句子的数量在不同场景间差异显著（H=86.18, p<0.001）。多病共存病例（S4）生成的安全句子最多（均值 61.40），而健康成人场景最少。
  • 结论：提示词中的安全指令能有效确保内容覆盖，但内容的详细程度受临床复杂度的影响。

5. 研究意义与局限性 (Significance & Limitations)

• 临床意义：
  • 可靠性警示：LLM 生成的运动处方在数值层面（特别是强度）存在内在不稳定性，直接部署到临床可能带来风险。
  • 部署建议：在临床应用中，不能仅依赖生成模型，必须引入结构化决策流程和专家验证机制，特别是针对数值参数的校准。
  • 提示词工程：提示词的结构和约束条件对输出稳定性至关重要，未来的系统应加强结构化约束。
• 局限性：
  • 仅评估了单一模型（Gemini 2.5 Flash），未进行多模型横向对比。
  • 安全评估仅基于文本存在和数量，未验证其临床有效性（即内容是否正确）。
  • "AI-as-a-Judge"的评估者本身可能存在偏差，未与专家金标准进行形式化验证。
  • 场景数量有限，可能无法完全覆盖临床实践的多样性。

总结：该研究指出，虽然 LLM 在生成运动处方的语义和宏观结构上表现稳定，但在关键的**量化参数（如运动强度）**上存在显著变异性。这表明 LLM 目前尚不足以独立作为临床决策工具，必须结合人类专家的审核和更严格的数值控制机制才能确保安全有效的临床应用。