It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

人工知能の世界では、ロボット掃除機が床を掃除したり、プログラムがチェスのゲームに勝ったりするように、機械は単一の目標を追い求めるように教えられることがよくあります。しかし、現実世界はそれほど単純ではありません。多くの場合、エージェント（代理主体）は、目的地に素早く到着すること、安全を維持すること、そしてエネルギーを節約することなど、複数の競合する目標を同時にやりくりしなければなりません。これらの目標が衝突する場合、機械はどれがより重要であるかを判断する必要があります。さらに、決定の結果は異なる時間軸にわたって展開することがあります。小さなミスが即座に問題を引き起こすこともあれば、小さなミスの積み重ねが数ヶ月後に惨事へとつながることもあります。長年、研究者たちはこうした状況に対処するためにさまざまな数学的ツールを開発してきましたが、一般的には、即時的なリスクにはある手法を、長期的な平均には別の手法を選択するというように、それぞれの時間枠を別々の問題として扱ってきました。

ある新しい研究は、この分離に異議を唱え、現実世界の意思決定には、エージェントが即時的、中期的、および長期的な結果を同時に考慮する必要があることを主張しています。ベルギー、ブラジル、オーストラリアの機関にまたがる研究チームは、これらの伝統的な手法のいずれか一つだけに頼ることは、複数の時間スケールが関与する場合、危険または非効率な結果を招く可能性があることを示しています。毒性物質にさらされる労働者のシナリオを用いたシミュレーションを通じて、彼らは、長期的な平均曝露量を防ぐために設計された戦略が、意図せずして労働者を短期的な危険の急増に犠牲にする可能性がある一方で、即時的な安全性に焦点を当てた戦略は、緩やかに進行する健康危機を見逃してしまう可能性があることを示しました。彼らの研究は、真に安全で効果的な人工知能を構築するためには、これら異なる時計を同時にバランスさせるための新しい考え方が必要であることを示唆しています。

問題の核心は、エージェントにとっての「幸福」や「効用」をどのように測定するかという点にあります。多くの標準的なAIシステムでは、機械は長期にわたって期待される報酬の平均値を計算し、その数値を最大化しようとします。これは、1日に何千ものビデオファイルを処理する工場には適しています。もし平均的な電力使用量と速度が良好であれば、特定のファイルが処理に時間がかかりすぎたとしても、そのシステムは成功したとみなされます。しかし、単一の悪い結果が壊滅的なものとなる場合には、このアプローチは失敗します。例えば、医療治療を受けている患者を考えてみてください。その患者は治療を一度しか受けません。彼らは他の何千人もの患者の平均的な結果には関心がありません。彼らが関心があるのは、自分自身の具体的な結果です。もし治療に非線形なリスク（つまり、投与量のわずかな増加が危険性の劇的な跳ね上がりを引き起こすこと）がある場合、平均の計算では真のリスクが隠されてしまいます。患者が必要としているのは、多くの旅の平均ではなく、自分自身のたった一度の旅の具体的な結果を評価するシステムなのです。

時間を捉える第三の方法は、まさに「次のステップ」に焦点を当てることです。車が壁に衝突する場面を想像してください。負傷の危険性は、衝撃の力に対して非線形に依存します。強い衝撃は弱い衝撃よりもはるかに危険であり、そのリスクは単に時間の経過とともに加算されるわけではありません。100回の軽い衝撃は、一度の激しい衝突には等しくありません。この視点では、システムは発生するあらゆる瞬間におけるリスクを評価し、危険な要因の組み合わせが発生した場合には直ちにペナルティを適用しなければなりません。数十年にわたり、研究者たちはこれら3つの視点——長期的な平均、単一の旅の結末、そして即時的なステップごとのリスク——を、それぞれ別の仕事のための別々のツールとして扱ってきました。この新しい論文の著者たちは、この分離こそが欠陥であると主張しています。彼らは、多くの複雑な問題において、エージェントがこれら3つの時間スケールすべてを同時に考慮する必要があると提案しています。

この点を証明するために、研究者たちは、3人の従業員と、それぞれ異なるレベルの毒性を持つ3つの異なるタスクを含む、簡略化されたシミュレーションを作成しました。目標は、一ヶ月間にわたって、彼らを安全に保ちながらこれらのタスクに割り当てることです。作業の毒性は単なる数値ではなく、いつ測定されるかによって異なる影響を持ちました。そこには、単一の日における高用量の即時的なリスク、一ヶ月間の総曝露量という中期的リスク、そして数ヶ月間にわたる累積的なダメージという長期的リスクが存在しました。チームは、これら3つの伝統的な手法を個別に用いてシミュレーションを実行し、次にそれらを組み合わせて試みました。

システムが長期的な平均のみに焦点を当てた場合、経験豊富な2人の労働者を絶えず交代させることで彼らの安全を確保する戦略を見出しましたが、実質的に3人目の経験の浅い労働者を犠牲にし、その人に最も危険なタスクを繰り返し割り当てました。その論理は、グループ全体の平均的なリスクが低いため、システムは特定の個人が過負荷状態にある事実を無視したのです。システムが単一の旅の結末に焦点を当てた場合、特定の月において誰も危険な総用量に直面しないよう、頻繁に労働者を交代させることを学習しました。これは全員を比較的安全に保ちましたが、結果として非効率的な頻繁な入れ替えを招きました。システムが即時的なステップごとのリスクにのみ焦点を当てた場合、労働者の交代を避け、彼らのスキルレベルに一致するタスクに留まることを好みました。これは安全ではありますが、硬直したアプローチでした。

最も啓示的な結果は、研究者が3つの時間スケールすべてに対して同時に最適化を試みたときに得られました。彼らは、即時的、月間的、および長期的リスクを単一の目標に組み合わせる手法を用いました。得られた戦略は他の戦略の混合物でしたが、それは新しいフレームワークなしにこれらの競合する時計をバランスさせようとすることの重大な欠陥を明らかにしました。システムは再び、他の人々を即時的なスパイクや長期的な蓄積から守るために、最も経験の浅い労働者を犠牲にして、その人に最も困難なタスクを割り当てる傾向を示しました。シミュレーションは、異なる時間スケールを単に平均化しようとするだけでは機能しないことを示しました。リスクの非線形な性質により、ある時間スケールを守ることが、意図せずして別の時間スケールを危険にさらす可能性があるのです。研究者たちは、ある時間スケールに対してうまく機能する方策が、すべてのスケールを併せて考慮したときには最悪の選択となることが多いことを発見しました。

この発見は、現在の人工知能研究における重大なギャップを浮き彫りにしています。長期的な平均や即時的なリスクを扱う強力なツールは存在するものの、それらを同時に扱う包括的な手法は不足しています。著者らは、将来のシステムは、単に平均的な結果だけでなく、異なる時間窓における起こりうる結果の全範囲を理解するために、結果の分布を学習する必要があると示唆しています。彼らは、一つの時間スケールにおける安全性を改善するために方策を変更することが、別の時間スケールにおける安全性を悪化させる可能性があり、複雑なトレードオフの風景を生み出すため、これが困難な課題であることを認めています。しかし、彼らは、医療における放射線治療の管理から、個人の満足度と全体の効率性をバランスさせる必要があるビジネスにおけるカスタマーサービスの最適化に至るまで、これらの統合されたアプローチを開発することが不可欠であると考えています。

本研究は、現在私たちが機械に意思決定を教えている方法はあまりに狭いものであると結論付けています。時間を単一の次元として扱ったり、あるいは他の視点のいずれかを選択したりすることで、理論的には安全であっても実践においては危険なシステムを生み出すリスクがあります。進むべき道は、複数の時間スケールを同時に念頭に置き、エージェントが単に平均を最大化したり、たった一日の悪い日を回避したりするだけでなく、その存在の全期間にわたる行動の真の重みを理解できるようにする新しいアルゴリズムを必要としています。これは単なる技術的な調整ではなく、人工知能が人間生活の複雑で多層的な現実をナビゲートできるようにするための、必要な進化なのです。