Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Using a Large Language Model

本論文は、大規模言語モデル（Gemini 2.5 Flash）を用いた運動処方生成の一貫性を評価した研究であり、意味的な一貫性は高いものの、強度などの定量的要素や安全記述の具体性にばらつきが見られたため、臨床応用には構造的な制約や専門家による検証が必要であると結論付けています。

要約

この論文は、**「AI（人工知能）に『運動の処方箋』を書かせても、毎回同じような答えが返ってくるのか？」**という疑問に答えた研究です。

想像してみてください。あなたが病院で「運動がしたいので、どんなメニューがいいですか？」と医師に相談したとします。もし、同じ医師に同じ話をしても、**「今日はランニングを 30 分」と言ったり、「明日は 10 回だけスクワット」と言ったり、「来週は水泳を 20 分」**と言ったりして、毎回全く違う答えが返ってきたら、あなたは安心できますか？

この研究は、最新の AI（Gemini 2.5 Flash というモデル）を使って、この「答えのばらつき」を調べる実験を行いました。

以下に、難しい専門用語を使わず、日常の例え話で説明します。

---

1. 実験の仕組み：同じ質問を 20 回繰り返す

研究者は、6 種類の「患者さん（または健康な人）」のシナリオを用意しました。

• 例： 糖尿病で太っている人、膝が痛いお年寄り、がんから回復した人、健康的に痩せたい若者など。

そして、「この人向けの運動メニューを作って」という同じ質問を、AI に20 回も連続で投げかけました。合計 120 個の回答が生まれました。
これを「同じ料理の注文を 20 回して、毎回同じ味が出るか？」を試すようなものだと考えてください。

2. 実験の結果：3 つのチェックポイント

研究者は、AI の回答を 3 つの視点でチェックしました。

① 言葉の雰囲気（意味の一致度）

「まるで、同じ人が書いたような文章か？」

• 結果： 非常に高かったです（90% 近く一致）。
• 例え： 20 回同じ注文をすると、AI は「まず挨拶をして、運動の重要性を説き、最後に注意点を述べる」という**「文章の構成やトーン」はほぼ毎回同じ**でした。
• 発見： 病状がハッキリしている場合（膝が痛いなど）ほど、AI の答えは安定していました。逆に「健康な人が筋肉をつけたい」というような、選択肢が広い場合は、答えが少しバラつきました。

② 具体的な数字（FITT の原則）

「運動の『回数・強度・時間』は毎回同じか？」
ここが一番の問題点でした。

• 結果： 数字や具体的な指示は、毎回バラバラでした。
• 例え：
  • 「週 3 回、30 分」と言っていたのに、次は「週 4 回、40 分」になったりします。
  • 特に**「どれくらいきつい運動をするか（強度）」について、AI が「100 回持ち上げてください」と言ったり、「具体的な数字が書かれていない（何回か分からない）」**という答えが、10〜25% の確率で出てきました。
• 意味： 文章の雰囲気は同じでも、「実際にどれくらい動くか」という重要な数値は、AI によって（あるいは同じ AI でも）毎回変わってしまうことが分かりました。

③ 安全への配慮

「危険なことをしないよう注意喚起は入っているか？」

• 結果： 100% 入っていました。
• 例え： どの回答にも「膝が痛くなったら止めてください」「めまいがしたら休んでください」といった**「安全の警告」は必ず含まれていました**。
• 発見： ただし、警告の**「量」**は違いました。病気が重い人ほど、AI は「注意してください！」と長々と警告を書き、健康な人への警告は短かったです。これは AI が状況に合わせて慎重になっている証拠です。

3. この研究が教えてくれること（結論）

この研究から、私たちが知っておくべきことは以下の 3 点です。

1. AI は「文章」は上手だが、「数字」は不安定
   AI は「運動しましょう」という文章を書くのは得意ですが、「週 3 回、30 分、強度は 60%」という正確な数値を毎回同じように出すのは苦手です。
2. 病状がハッキリしているほど AI は安定する
   「膝が痛いから走れない」といった明確なルールがある場合、AI はそのルールに従って安定した答えを出しますが、「健康だから自由に運動して」という場合は、AI も「どうすればいいか迷って」答えがバラバラになります。
3. まだ人間がチェックが必要
   AI が 100% 安全な警告を出してくれるのは素晴らしいですが、「具体的な運動量」をそのまま信じて実行するのは危険です。必ず専門家（医師やトレーナー）が「この数字は正しいか？」と最終確認をする必要があります。

まとめ

この論文は、**「AI は運動のメニューを作る『下書き』としては優秀だが、そのままの数字を信じて実行するのはまだ早い」**と警告しています。

AI は素晴らしい「アシスタント」ですが、最終的な「責任者」は人間であるべきだ、というのがこの研究のメッセージです。

技術概要

論文要約：大規模言語モデル（LLM）による運動処方の一貫性に関する反復生成研究

本論文は、大規模言語モデル（LLM）が生成する運動処方の「一貫性（Consistency）」、特に同一条件下での反復生成における出力の安定性を評価した研究です。著者の Kihyuk Lee 氏は、ソウル国立大学 bundang 病院のデータ統合チームに所属しています。

以下に、問題意識、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 研究の背景と問題意識

• 背景: LLM は、個人の健康状態や疾患特性に基づいた個別化された運動処方を生成するツールとして有望視されています。既存の研究では、その有用性や安全性が検証されつつありますが、**「同一のプロンプト条件下で生成された出力がどの程度安定しているか（再現性）」**については十分に検討されていません。
• 問題点: LLM は確率的なトークン生成メカニズムを持つため、同一のプロンプトでも出力が変動する可能性があります。運動処方において、同じ患者プロファイルから構造的に異なる処方（特に数値的な強度や頻度）が生成されることは、臨床現場での意思決定の一貫性を損ない、安全性や治療成果に直接的な影響を与えるリスクがあります。
• 目的: 本研究は、LLM による運動処方の反復生成の一貫性を定量的に評価し、その信頼性を検証することを目的としています。

2. 研究方法

• 研究デザイン: 反復生成デザイン（Repeated Generation Design）。
• 対象モデル: Google の「Gemini 2.5 Flash」。
• シナリオ: 6 つの臨床シナリオ（代謝・筋骨格・腫瘍領域のリスク群 3 例、および健康成人 2 例、多疾患併存 1 例の計 6 例）。
  • 各シナリオに対し、同一のプロンプト条件で20 回ずつ運動処方を生成（合計 120 件の出力）。
  • 温度パラメータ（Temperature）は 1.0 に設定し、モデルの確率的な変動を最大限に観察。
• 評価指標（3 つの次元）:
  1. 意味的一貫性（Semantic Consistency）: SBERT（all-MiniLM-L6-v2）を用いたコサイン類似度により、20 件の出力間のテキストの類似性を測定。
  2. 構造的な一貫性（Structural Consistency）: FITT 原則（Frequency, Intensity, Time, Type）に基づき、別の LLM（Claude Sonnet 4.6）を「AI ジャッジ」として用いて分類評価。特に運動強度（有酸素・レジスタンス）の定量化に焦点。
  3. 安全性表現の一貫性（Safety Expression Consistency）: 禁忌、注意点、症状モニタリング、リスク警告の 4 項目の含まれ方（バイナリ）と、安全関連文の数を評価。

3. 主要な貢献

• 評価枠組みの確立: 運動処方分野において、単なる「精度」や「安全性」だけでなく、**「反復生成における一貫性」**を評価軸として導入し、SBERT による意味的類似性と AI-as-a-Judge による構造的評価を組み合わせた評価パイプラインを提案しました。
• 定量的な変動の可視化: 臨床的に重要な数値的要素（運動強度など）において、LLM がどの程度不安定に振る舞うかを初めて詳細に定量化しました。
• 臨床的制約と出力安定性の関係の解明: 臨床的制約が明確なケースほど出力が安定し、選択肢の幅が広い健康成人のケースほど変動が大きくなるという傾向を明らかにしました。

4. 結果

• 意味的一貫性:
  • 全シナリオで高い意味的類似性が確認されました（平均コサイン類似度: 0.879–0.939）。
  • 臨床的制約が明確なケース（例：膝 OA、がん術後回復）は類似度が高く（0.93 以上）、健康成人の筋肥大ケース（S6）は最も低く変動も大きかった（0.879, SD 0.052）。
• 構造的な一貫性（FITT）:
  • 頻度: 臨床ケースでは週 3-4 回の有酸素＋週 2 回のレジスタンスなど、パターンが比較的安定していました。
  • 強度（重要な変動点）:
    • 有酸素運動の強度は臨床ケースで「低強度」に、健康成人で「中〜高強度」に分類され、ガイドラインに沿った傾向が見られました。
    • レジスタンス運動の強度に大きな変動が見られました。臨床ケースの 10–25% で、強度が「分類不能（unclassifiable）」または推定値として扱われる出力が生成されました（%1RM の指定があっても不安定）。
    • 健康成人の筋肥大ケース（S6）では、頻度や強度の分類において最も高い変動が見られました。
• 安全性表現:
  • 禁忌や警告などの安全関連項目は100% の出力に含まれていました（プロンプト設計の成功）。
  • しかし、安全関連の文の数はシナリオ間で有意に異なり（H=86.18, p<0.001）、多疾患併存ケース（S4）で最も多く、健康成人ケースでは少なくなりました。

5. 考察と結論

• 高類似度≠臨床的同等性: テキスト全体の意味的類似性は高いものの、運動強度などの数値的要素（例：心拍数の%）には変動があり、臨床的に同等な刺激とは限りません。
• プロンプトと制約の重要性: LLM の出力の安定性は、モデル自体の特性だけでなく、プロンプトの構造や臨床的制約の明確さに強く依存しています。
• 臨床導入への示唆:
  • 数値的な処方の生成において、LLM には本質的な不安定性が残存しています。
  • 臨床現場での実装には、生成モデル単独ではなく、構造的な制約の追加や、専門家による最終検証（Expert Validation）が不可欠です。
  • 将来的には、複数のモデル比較や、より厳密な数値制御メカニズムの導入が必要であるとしています。

6. 意義

本研究は、LLM を医療・健康分野（特に運動処方）に適用する際、**「再現性（Reproducibility）」と「一貫性（Consistency）」**が安全性と同等に重要であることを示しました。AI 支援医療システムを開発する際、単に「正しい答え」を出すだけでなく、「同じ条件で同じような答えを出し続ける」ことの検証が必須であるという重要な知見を提供しています。