Quantifying the Relationship Between Clinical Safety and Environmental Impact in Therapeutic LLMs

あなたは、人々が最も辛い一日を乗り越えるための手助けをする「ロボット・セラピスト」を作っていると想像してみてください。このロボットには、驚くほど賢く、優しく、そして安全であってほしいと考えています。誰かが危機的な状況にある時に、決して間違ったことを言わないようにするためです。しかし、一つ問題があります。これほど賢いロボットを作るには、小さな都市の発電所を動かすほどの膨大な電力を必要とするのです。これが、ヘルスケア分野における「大規模言語モデル（人間のようにチャットができるAI）」の世界です。科学者たちは、ある大きな問いを投げかけてきました。「最も安全で役に立つロボットを手に入れつつ、地球を焼き尽くさない方法はあるのだろうか？」彼らは、ロボットが信頼できるほど安全であることと、環境を損なうほどエネルギーを欲しがらないことの間の、「スイートスポット（最適な妥協点）」を見つけようとしています。

ある研究チームによって書かれたこの論文は、まさにそのトレードオフを測定することを決定しました。彼らはさまざまなAIモデルのリストを取り上げ、2つのことを同時に検証しました。それは、AIが危険なメンタルヘルスの状況（自傷行為の念など）をどれほど適切に扱えるか、そして、そのためにどれだけのエネルギー、水、および炭素汚染を使用したかという点です。これは車の比較に似ています。非常に安全だが燃費が最悪な車もあれば、小型で効率的だがブレーキ性能がそれほど高くない車もあります。研究者たちは、最も「安全な」AIモデルは最も浪費が多いのか、あるいは、安全でありながら環境にも優しいモデルを得ることができるのかを知りたかったのです。

以下に彼らの発見を記しますが、それは少し驚くべき内容です。彼らは47種類の異なるAI設定を調査し、奇妙で凸凹した関係性を発見しました。基本的には、エネルギーを使いすぎることなく、かなり安全なAIを手に入れることができます。しかし、もし「絶対的に最も安全な」モデル、つまり最高レベルの安全スコアを持つモデルを求めると、壁にぶつかります。わずかな安全性の向上を絞り出すために、エネルギーコストが爆発的に増大するのです。具体的には、研究者たちは、安全スコアをわずか2.61パーセントポイント上げる（非常に良いスコアから最高レベルのスコアへ上げる）だけで、同じ量のテキストを生成するために約60倍ものエネルギーが必要になることを発見しました。これは、店に行く時間をたった30秒短縮するために、時速100マイルで車を走らせようとするようなものです。その余分なスピードのために、実質的な利益がほとんどないにもかかわらず、莫大な燃料代を支払うことになるのです。

また、この論文は一般的なアイデアについてもテストしました。「AIにもっと『深く考えさせる』ことはできないだろうか？」という考えです。AIに回答する前に、より多くの「推論」や計算を行う時間を与えれば、より安全になるのではないかと考える人がいます。研究者たちは、追加の思考ステップを使用するモデルと使用しないモデルを比較することで、これを検証しました。その結果、この追加の思考が必ずしもAIを安全にするわけではないことが分かりました。実際、いくつかのケースでは、思考ステップを追加することで、逆に安全スコアが下がってしまうことさえありました。これは、単にコンピューターのパワーを投入することが、魔法のような解決策にはならないことを示唆しています。

では、結論は何でしょうか？著者たちは、あらゆる会話に対して、単に最大で最も強力なAIを選ぶべきではないと提案しています。代わりに、彼らは「スマート・スイッチ」というアプローチを提案しています。AIのための信号機システムを想像してみてください。リスクが低い日常的なチャットには、小型でエネルギー効率の良いモデルを使用し、本当に危険な状況でさらなるレベルの安全性が必要になった場合にのみ、巨大でエネルギーを大量に消費するスーパーモデルへと切り替えるのです。こうすることで、過剰なエネルギーを無駄にすることなく、人々を守ることができます。この研究は、単に「大きいことは常に良い」と仮定するよりも、このような「ダイナミック（動的）」なアプローチの方が、セラピー用AIを構築する上ではるかに優れた方法であることを示唆しています。