Think Fast, Talk Smart: Partitioning Deterministic and Neural Computation for Structured Health Text Generation

技術サマリー：Think Fast, Talk Smart (TFTS)

問題定義
大規模言語モデル（LLM）は、構造化された記録（例：ウェアラブル機器の時間系列データ、バイオマーカー、ケアログ）から健康関連テキストを生成するために、ますます展開されるようになっています。LLM は流暢さにおいて優れていますが、反復的な健康生成タスクは、ソースデータへの厳密な準拠、証拠に基づく主張、ポリシーの遵守、そして機械可読な出力を要求します。ここで扱われる核心的な問題は、このパイプラインにおけるどの責任を決定論的計算で処理し、どの責任をランタイム LLM プロンプティングで処理すべきかを決定することです。現在のアプローチは、分析および言語タスク全体を実行するために単一のプロンプト呼び出し（ゼロショットまたはフューショット）に依存することが多く、数値の幻覚、ポリシー違反、およびコスト増大のリスクを伴います。

手法
著者は、睡眠健康の洞察生成のための分割フレームワークであるThink Fast, Talk Smart (TFTS) を導入します。このシステムはタスクを 4 つの明確な段階に分解します：

1. 構造化入力: ウェアラブル機器由来の信号（睡眠、回復、生理機能、行動）の取り込み。
2. 決定論的分析モジュール: コードベースの層が、反復的かつ検証可能な推論タスクを処理します。これには以下が含まれます：
   • 比較: ベースラインに対する数値比較。
   • ランキング: ルールに基づいて表面化するメトリックを選択。
   • 帰属: 利用可能な証拠に基づいて説明的な主張をゲート制御。
   • ハンドオフ: 選択された事実を、コンパクトでスキーマ制約のあるインターフェースにまとめます。
3. 境界付き LLM ライター: 決定論的インターフェースを受け取り、提供された事実とスキーマに厳密に制約されたユーザー向け散文を生成する、単一の LLM 呼び出し。
4. 決定論的評価: 最終出力の自動解析と検証。

この分割の必要性を評価するために、著者はレイヤー置換プロトコルを採用します。単一のプロンプトを持つモノリシックなシステム全体と比較するのではなく、個々の決定論的レイヤー（比較、ランカー、帰属、ハンドオフ）を LLM 生成の型付きアーティファクトで体系的に置換します。これにより特定の失敗モードを分離し、LLM が構文上有効な JSON を生成するだけでなく、中間分析ステップの意図された意味を保持できるかどうかをテストします。

実験設定

• データセット: 20 人のアクティブユーザーからの 280 ユーザーナイト。
• モデル: 6 つの LLM が評価されました（GPT-5 nano、GPT-4o mini、GPT-OSS-20B/120B、Haiku 4.5、Sonnet 4.6）。
• ベースライン:
  • 構造化ゼロショット: 単一プロンプト内の生データとルール。
  • 構造化フューショット: 単一プロンプト内のメトリックテーブルと例を含む。
• 指標: 数値誤り率（NUMERR）、指示準拠誤り（SELERR + ATTRERR）、スキーマ誤り（SCHEMAERR）、およびエンドツーエンドのコスト。

主要な結果

1. 誤り - コストフロンティア: TFTS は、6 つのモデルすべてにおいて、一貫して低コスト・低誤りの領域を占めています。平均 NUMERR は0.7%（最悪のモデルで 2.0%）、指示準拠誤りは3% 未満を達成しました。一方、単一呼び出しベースラインはこのフロンティアを回復できませんでした。構造化フューショットはスキーマ準拠を改善しましたが、依然として高い集計選択誤り（68.6%）と数値誤りを示しました。
2. レイヤー置換の知見:
   • 比較の置換: 数値観察を LLM に委譲し、NUMERR を**16.9%**まで急上昇させました。
   • ランカーの置換: 事実を根拠あるものに保ちますが、選択ルールへの準拠を低下させ、**65.8%**の選択誤りを招きました。
   • 帰属の置換: 根拠のない因果関係の言語を増加させ、帰属誤りを**24.5%**まで上昇させました。
   • ハンドオフの置換: 上流の事実が決定論的であっても、コンパクトな証拠からライターへのインターフェースを置換すると誤りが再導入され（NUMERR 4.8%、ATTRERR 10.7%）、インターフェース自体が信頼性のメカニズムであることを示しています。
3. コスト効率: TFTS は、複雑な多段階プロンプティングや単一呼び出し内での反復的改善に依存するのではなく、1 つの境界付き LLM 呼び出しを利用することで、ベースラインよりも低いエンドツーエンドのコストを達成します。

意義と主張
この論文は、反復的な分析ルールを持つ構造化された健康ワークロードにおいて、分析は決定論的コードが担当し、LLM は境界付きインターフェース内で検証済みの事実を表現することに限定されるべきであると主張します。

• 設計ルール: 「安定した事実とポリシーに対してコードに素早く考えさせ、その後、検証済みの範囲内で LLM に賢く語らせる。」
• 失敗モード: 本研究は、特定の分析責任（算術、ランキングポリシー、証拠ゲート制御）が、LLM が構文上正しい出力を生成する場合であっても、LLM に委譲されると失敗しやすいことを明らかにしています。
• 範囲: 著者はこれを、検索拡張生成（RAG）やツール使用に対する補完的なアプローチとして位置づけています。これらの手法はコンテキストの検索や学習された呼び出しを改善しますが、TFTS はランタイムプロンプティングから完全に除去すべき責任を扱います。
• 限界: この研究は、臨床的最適性やオープンエンドな診断ではなく、決定論的参照システムの保持に焦点を当てています。この分割原則は、構造化入力、安定したルール、検証可能な中間結果（例：検査結果、バイタル監視）を持つドメインに最も適用可能であり、オープンエンドな臨床推論を必要とするタスクよりも、その方が適しています。

著者は、構造化された健康生成における単一呼び出しプロンプティングへの依存は、信頼性とコスト効率の観点から不十分であると結論付け、コードが「思考」を扱い、LLM が「言語化」を扱うハイブリッドアーキテクチャを提唱しています。