Intelligence Breaks the System It Controls

技術要約：「知能は、それが制御するシステムを破壊する」

問題提起
本論文は、二重知能型臨床システム（臨床医＋AI）の設計における根本的な構造的欠陥を扱っている。現在主流となっている「AIが高次元のパターン認識を担い、臨床医が文脈的判断を適用する」というガバナンスモデルによって安全な医療AIが実現可能であるという仮定は、誤りであると著者らは主張している。なぜなら、効果的な治療そのものが患者の生理学的軌跡を変形させてしまい、「共有された盲点（shared blind spot）」を生じさせるからである。この状態においては、臨床医もAIも、その後の患者の軌跡を予測するために十分な情報を保有しておらず、現在の情報構造下での協力は無効となる。核心的な問題は、協力の欠如ではなく、計装（instrumentation）の欠如である。すなわち、両エージェントともに、治療が自身の履歴に対して患者の軌跡をどのように変容させたかを測定できていないのである。

手法
本研究は、「治療経路一致フレームスワーク（treatment-path concordance framework）」を用いて、治療決定（臨床医またはAIモデルによるもの）がその後の患者の軌跡と一致しているかどうかを監査する。研究では、以下の3つの大規模縦断的データセットを用いている：

1. MIMIC-IV（急性期ケア）: 敗血症における昇圧剤（ノルエピネフリン）のタイトレーションに焦点を当てた、6,243件のICU入院（73,141件のエピソード）。これは、臨床医と患者の接触が短く、情報の少ない設定を代表している。
2. ADNI（縦断的ケア）: 連続的な認知評価を伴う2,262人の参加者（アルツハイマー病）。これは、臨床医が長年にわたる個人的な観察を蓄積する、情報の多い設定を代表している。
3. OhioT1DM: ターゲットゾーンの曖昧さを検証するための、87,091件のCGM（持続血糖測定）データを含む6名の被験者の補足データセット。

著者らは「13ファミリーの計算モデル・ズー（computational model zoo）」（線形、決定木、アンサンブル、ブースティング、およびニューラルネットワーク・アーキテクチャを含む）を訓練し、いくつかの新しい指標を導入した：

• PBR (Probability of Branch Reversal / 分岐反転確率): 将来の方向性の曖昧さを測定する（0.5 = 最大の曖昧さ）。
• CS (Curvature Shift / 曲率シフト) & DR (Deformation Radius / 変形半径): 治療が事象発生前の継続と比較して、軌跡の幾何学的形状をどれほど変化させたかを定量化する。
• CRA (Cooperation Recovery Audit / 協力回復監査): 多数決によるクラス予測を超えて、臨床医とAIの情報を統合することが、どの程度まで方向性の状態変化を解決できるかを測定するロジスティック回帰ベースの指標。
• Branch Balance (分岐バランス): 派生指標（2 × PBR）。1.0は最大の曖昧さを示す。

主な結果

1. ターゲットゾーンの曖昧さ: 臨床的な目標値（例：敗血症におけるMAP 65 mmHg）は、最大分岐曖昧さの領域である。MAP 65においてPBRは0.5に近づき、将来の方向性は事実上、コイン投げと同等の不確実性となる。
2. 治療による変形: 効果的な治療（例：ノルエピネフリンの開始）は、軌跡の幾何学を著しく変形させる。治療された軌跡は、安定した比較対象が0.566であるのに対し、中央値1.143の曲率シフトを示す。この変形は非識別性を注入する。繰り返される調整は、分岐バランスを最初の調整時の0.816から、9回以上の調整後には0.994へと押し上げ、方向性の識別性を崩壊させる。
3. 共有された盲点（急性期ケア）: MIMIC-IVにおいて、臨床医とAIモデルの両方が、治療イベントの**53%**においてその後の軌跡と一致できなかった。
   • 協力による余剰: 臨床医とAIの情報を統合しても、得られる利得は極めて微小であった（< 0.003）。
   • モデルの失敗: AIモデルは、特定の分岐を見ることができないため、集団の中央値の行動（例：「維持」投与量）に陥っていた。投与推奨モデルは、臨床医に対して一貫して過剰投与を行っていた（MAP 65において12.5%から104.2%の超過）。
   • 幾何学による解決: 連続的な軌跡の変形（プロファイルが初期形状からどれだけ逸脱したか）を直接測定することで、情報の交換が何ももたらさなかった場面において、方向性の解像度が10〜19パーセントポイント回復した。
4. 逆転現象（縦断的ケア）: ADNIでは、状況が逆転した。共有された盲点は**11%**に縮小した。
   • 臨床医の決定は、最大25パーセントポイントの方向性情報をもたらした（これは蓄積された個人的知識を反映している）。一方で、軌跡の幾何学がもたらす価値は極めて低かった。
   • 真の協力による余剰（+0.020）は、臨床医の個人的知識と、軌跡の変形履歴を統合した場合にのみ観察された。
5. アーキテクチャの限界: モデルの複雑性を高めても（線形から深層ニューラルネットワークへ）、欠落した分岐履歴を回復することはできなかった。障害はモデルの容量の問題ではなく、情報の問題である。

主要な貢献

• 構造的診断: 本論文は、安全な臨床AIへの障害は、不適切なガバナンスや協力の欠如ではなく、治療自体がシステムの運動法則を変化させてしまうことによる、根本的な「非識別性」であることを特定した。
• 変形を考慮した推定: 著者らは、解決策は「次の状態の予測」ではなく、「計装（instrumentation）」、すなわち、自身の履歴に対する患者の軌跡の変形を直接測定することであると提案している。
• 文脈依存的な情報アーキテクチャ: 本研究は、重要な情報の源泉がドメイン固有であることを示している。すなわち、急性期ケアにはより優れた軌跡の計装が必要であり、縦断的ケアには臨床医の個人的知識をモデルに符号化することが必要である。
• CRA指標: 情報の統合が方向性の曖昧さを解決するかどうかを経験的にテストするための、協力回復監査（Cooperation Recovery Audit）の導入。

意義と主張
本論文は、現在の「ガバナンス」（AIと臨床医の役割分担）というパラダイムは時期尚早であると主張している。なぜなら、それは両方のエージェントが最適な意思決定を行うために必要な情報にアクセスできることを前提としているからである。著者らは、急性期ケアにおいては、どちらのエージェントも正しいものを測定していないと論じている。

中心的なテーゼは、「知能は、それが制御するシステムを破壊する」ということである。なぜなら、介入（治療）という行為が患者を再形成し、次なる意思決定への入力が、前状態の歪んだバージョンとなるフィードバックループを生み出すからである。著者らは、安全な臨床AIには、固定された曲面上での予測モデリングから、**変形を考慮した推定（deformation-aware estimation）**への転換が必要であると結論付けている。つまり、アーキテクチャが、行動と反応の履歴から潜在的な操作法則を推論できるようにすることである。システムが、治療によって患者の軌跡が自身の履歴に対してどのように変化したかを測定できない限り、自律的な制御は正当化されず、協力を得ても余剰は生まれない。