あなたは、高速道路を猛スピードで走る自動運転車を見ているところだと想像してください。その車がハンドル操作、ブレーキ、車線変更ができることは分かっていますが、同時に限界があることも知っています。もし吹雪に見舞われたり、混乱した工事区域に入ったりした場合、その車は「よし、人間、ここからは君の番だ！」と正確に伝える方法を知っていなければなりません。

では、その同じ自動運転車が、病院の中にいる「ロボット医師」だと想像してみてください。これが「エージェンティックAI（Agentic AI）」の世界です。これは、単に親切な司書のようにアドバイスを与えるだけでなく、患者の投薬量を調整したり心拍数を監視したりと、自ら実際に「仕事」を行うスマートなシステムのことです。

問題は、現在、これらのロボット医師がどの程度「責任を負っているのか」を記述する優れた方法がないことです。私たちは通常、「そのAIは正確ですか？」と問いがちです。しかし、この論文の著者たちが示唆しているように、それはパイロットに対して「あなたは飛べますか？」と聞くだけで、「ハリケーンの中でも飛べますか？ エンジンが故障したらどうしますか？」と聞かないことと同じなのです。

ビッグアイデア：ロボット医師のための「運転免許証」

著者たち（オーストラリアの医師と技術専門家のチーム）は、これらのAIシステムを格付けする新しい方法を提案しています。彼らは、自動車業界（すでに自動運転車の標準が存在する業界）から素晴らしいアイデアを借り、それをヘルスケア向けに適応させました。

これは、すべてのロボット医師に対する**「3部構成の通知表」**のようなものだと考えてください。単一のスコアではなく、3つの異なる領域を確認します。

1. 仕事の内容（臨床タスク）： そのロボットが実際にできる具体的な医療行為は何ですか？ 単に薬を提案できるだけですか、それとも実際にボタンを押して投与できますか？
2. 遊び場（動作条件）： そのロボットはどこでの作業が許可されていますか？ 成人の患者がいる静かなICUだけですか？ それとも、混沌とした救急室にいる子供たちも扱えますか？
3. セーフティネット（フォールバック）： 物事がうまくいかなくなったとき、何が起こりますか？ ロボットはただフリーズしますか？ それとも助けを叫びますか？ あるいは、人間を起こして患者の安全を確保するためのバックアッププランを持っていますか？

ロボットの責任における6つのレベル

論文では、自動運転車のレベルと同様に、レベル0からレベル5までのスケールを提案しています。実世界の例として、敗血症（迅速な輸液や薬剤による治療を必要とする、感染症に対する生命を脅かす反応）を挙げて説明します。

• レベル0（自動化なし）： ロボットは単なる計算機です。人間の医師がすべてを行います。医師が患者を診察し、投与量を決定し、ボタンを押します。ロボットはただ見守っているだけです。
• レベル1（臨床補助）： ロボットは超スマートな助手です。「おい、この患者には500mlの輸液が必要だと思う」と伝えます。しかし、人間の医師がそれを読み、検討し、自分自身でボタンを押す必要があります。ロボットには行動する権限がありません。
  コ
• レベル2（部分的自動化）： ロボットが実際に手を動かします。厳格な制限内であれば、特定の薬の点滴などの特定の要素を自動的に調整できます。ただし、人間の医師がすぐそばにおり、ロボットが混乱した際に即座にコントロールを奪える準備ができている必要があります。
• レベル3（条件付き自動化）： ここからが興味深いところです。ロボットは、特定の患者、特定の部屋において、全行程を運営できます。ロボットは患者を監視し、治療を調整します。人間の医師は、一秒一秒画面を凝視している必要はありません。ただ「連絡が取れる状態（リーチ可能）」であればよいのです（例：隣の部屋にいるなど）。もしロボットが解決できない問題に直面した場合、ロボットは安全で単純なモードに移行し、人間に引き継ぎを要請します。
• レベル4（高度な自動化）： ロボットがキャプテンになります。患者を管理し、自身のミスさえも処理します。もし何かが故障しても、ロボットは人間がすぐに介入する必要なく、自ら修正するか、安全モードに切り替わります。人間はまだそこにいますが、時折チェックを行う監督者のような存在です。
• レベル5（完全自動化）： これは理論上の「スーパーボット」です。人間を一切必要とせず、あらゆる患者を、あらゆる病院で、あらゆる条件下で管理できます。著者たちは明確に述べています。**「私たちはまだそこには到達していない」**と。このレベルは単なる将来の「もしも」であり、現在このレベルのロボットが導入されていることはありません。

なぜこれが重要なのか：「オートノミー・クリープ（自律性の浸食）」の罠

論文は、「オートノミ・クリープ（自律性の浸食）」に注意すべきだと論じています。これは、ロボットが予定されていた以上のことを少しずつ行い始め、誰も気づかないうちに、あるいはチェックされないうちに、徐々にタスクを乗っ取っていく現象です。

例えば、リビングルームを掃除することになっているロボット掃除器を買ったとしましょう。時間が経つにつれ、それは階段を掃除し始め、次にキッチン、そして屋根を掃除し始めます。もし「止まれ！ あなたはリビングルームだけを掃除することが許可されている」という明確なルールブックがなければ、ロボットは屋根から落ちてしまうかもしれません。

著者たちは、病院はすべてのロボットに対して次の2点を明確に定義すべきだと提案しています。

1. それが**「できること」**（技術的な能力）。
2. それが**「許可されていること」**（承認されたレベル）。

もし、あるロボットがレベル4をこなせるソフトウェアアップデートを受けたとしても、病院がそれをレベル2にしか許可していない場合、システムはその停止措置を知っていなければなりません。もしそうでなければ、安全性に問題が生じます。

人間の要素：私たちは「監督者」になる準備ができているか？

ここが、論文が強調する難しい部分です。ロボットがより多くのタスクを引き受けるようになるにつれ（レベル2からレベル3へ移行するにつれ）、人間の医師の仕事は「作業を行うこと」から「作業を見守ること」へと変化します。

著者たちは一つのパラドックスを指摘しています。人間は作業をしなくなると、そのスキルが低下するというパラドックスです。医師が一日中、ロボットが患者の心拍数を調整するのを眺めて過ごしていれば、自分でそれを行う方法を忘れてしまうかもしれません。もしロボットが突然故障し、医師が介入しなければならなくなったとき、彼らは救命するための腕が鈍っているかもしれません。

論文は、まだ「AIスーパーバイザー（AI監督者）」のためのトレーニングシステムが存在しないと指摘しています。私たちは医師に手術の方法を教える方法は知っていますが、ロボットが手術を行うのを観察し、即座に介入できる準備をしておく方法を教える術はまだ知らないのです。

結論

著者たちは、これらのロボットを作るのをやめるべきだと言っているのではありません。目的地に到着する前に、より良い地図が必要だと言っているのです。

現在、私たちは強力なエンジンを作りながら、路面状況やブレーキの仕組みを理解しないまま運転している状態です。この新しいフレームワークは、単に「そのAIは賢いか？」と問うのではなく、「そのAIはどこまでの運転が許可されており、もし凸凹にぶつかったらどうなるのか？」と問う必要があることを示唆しています。

これら3つの領域――ロボットが何をなし、どこで働き、どのように失敗に対処するか――について明確なルールが確立されるまでは、患者の安全が脅かされる「ガバナンスの空白地帯」で、これらの強力なツールが運用されるリスクがあります。論文は、この段階的なシステムを用いることで、ロボット医師が登場したときに、それらが単に暴走するのではなく、安全で、監督されており、確実に助けとなるようにできると示唆しています。