Action-masked deep Q-learning for optimizing full-length and short-turn urban rail services

あなたは、巨大で目に見えないオーケストラの指揮者であると想像してください。あなたの楽器は列車であり、あなたの楽譜は時刻表であり、あなたの観客は数千人の通勤客です。しかし、ここにはひねりがあります。観客は整然とした予測可能な列を作って現れるわけではありません。時には、午前8時にスタジアム全体の人が都心へと押し寄せ、一方で郊外の地域は空っぽになることもあります。また別の時には、特定の地下鉄駅に群衆が移動し、それ以外の路線は静まり返ることもあります。もしあなたが、一日中同じ曲（同じルートで同じ数の列車を走らせること）を演奏し続けていれば、燃料を無駄にする空の列車を生み出すか、あるいはプラットフォームで人々が混乱した状態で待ち構えることになります。これが都市鉄道における日常的なパズルです。オーケストラのルールを破ることなく、いかにして音楽を群衆に合わせるかという問題です。

これを解決するために、科学者たちは**深層強化学習（Deep Reinforcement Learning）と呼ばれる人工知能の一分野を使用します。これは、コンピュータ・エージェントが試行錯誤を通じて遊び方を学ぶビデオゲームのようなものだと考えてください。エージェントはさまざまな動きを試し、良い動き（乗客を満足させるなど）にはポイントを獲得し、悪い動き（人々を長く待たせるなど）にはポイントを失います。時間をかけて、最適な戦略を学習していくのです。しかし、現実の世界では、何でも自由に試すことはできません。存在しない列車を走らせることはできませんし、スペースのない駅で列車を折り返すこともできません。ここでアクション・マスキング（Action Masking）**が登場します。これは、キャラクターが崖から落ちるようなボタンを押そうとするのを、物理的に指が押せないようにブロックするビデオゲームのコントローラーのようなものです。AIは「合法的な」ボタンのみを押すことが許されており、これにより、決して不可能なことを試みることがなくなります。この論文では、デジタル指揮者に、長いルートを走る列車と、途中で折り返す短いルートの列車という2種類の運行サービスを、これらの「落下禁止」ルールを厳格に守りながら操らせることができるかを問うています。

デジタル指揮者の新しい技

この研究において、研究者のYibo Wang、Zhengfeng Ma、Rongjie Chenは、新しい種類のAI指揮者をテストするために、12駅の地下鉄路線のデジタル・シミュレーションを構築しました。彼らは、**アクション・マスク付き深層Qネットワーク（Action-Masked Deep Q-Network: DQN）**が、待ち人数に基づいて、全区間走行（始発駅から終点まで）を行うか、短区間走行（混雑する中間セクションをカバーするために早く折り返す）を行うかを動的に決定できるかどうかを検証したいと考えました。

AIエージェントは、スマートな配車係のように振る舞います。ステップごとに、群衆の状況、利用可能な列車の数、そして線路の物理的限界（列車が折り返せる速度など）を確認します。そして、現在の運行形態を維持する、短区間走行に切り替える、列車の頻度を上げる、あるいは頻度を下げる、という4つの可能な動きから選択します。「アクション・マスク」は、AIが動きを作る前に介入する安全装置です。もしAIが、駅が満車なのに列車を折り返そうとしたり、保有車両数を超える列車を走らせようとしたりするなど、ルールに違反する動きを選ぼうとした場合、マスクが即座にその選択をブロックします。AIは、「合法的な」動きのリストの中からのみ、選択を強制されます。

結果：よりスマートで、より速い乗り心地

研究者がこの新しいAIを、3つの他の戦略（変化しない固定ダイヤ、固定の短区間ダイヤ、および単純なルールベースのシステム）と対決させたところ、結果は驚くべきものでした。典型的な平日のシミュレーションにおいて、アクション・マスク付きDQNは平均報酬93.22を達成しましたが、他の戦略はすべてマイナスの数値となりました（つまり、パフォーマンスが悪かったことを意味します）。

改善の幅は極めて大きかったです：

• 待ち時間： AIは、固定の全区間ダイヤと比較して83.12%、固定の短区間ダイヤと比較して62.78%、そしてルールベースのシステムと比較して76.84%、待ち時間の指標を減少させました。
• 輸送人数： AIは、固定の全区間計画よりも**19.42%多く、固定の短区間計画よりも17.39%多く、そしてルールベースの計画よりも5.08%**多くの乗客を輸送することに成功しました。

AIは「シェイプシフター（変身する者）」であることを学びました。ピーク時には、都心へのラッシュに対処するために、より多くの全区間列車を投入しました。静かな時間帯には、外側の区間でエネルギーを無駄にすることなく中心部を活発に保つために、より多くの短区間列車へと切り替えました。シミュレーション内では、安全ルールの違反ゼロで、36,923.33人の乗客を無事に輸送しました。

ひねり：安全性 vs 速度

ここからが面白いところです。研究者たちは、「安全装置（アクション・マスク）」が実際にAIの学習を助けているのか、それとも単なるルール執行者なのかを知りたいと考えました。そこで、マスクなしのテストを行い、AIに（たとえ違法な動きであっても）あらゆる動きを試させ、その後で厳しく罰を与えるという実験を行いました。

驚くべきことに、この特定のテストにおいては、マスクなしのAIの方が、報酬と待ち時間の面でわずかに優れたパフォーマンスを示しました。マスクなしのバージョンは、マスクありのバージョンの報酬が**-1870.01であったのに対し、報酬は-1577.80であり、待ち時間の指標も13.55%**多く削減していました。また、マスクなしのAIは、よりわずかに多くの交通量を処理しました。

では、マスクの目的は何でしょうか？ 本論文は、この特定のシミュレーションにおいては、マスクがAIを（生のポイントという意味で）「より賢く」したわけではないものの、AIがルールを決して破ろうとしないことを保証したと示唆しています。マスクなしのAIの無効なアクション率（invalid-action rate）は0.2274（つまり、トレーニング中に約22%の割合で違法なことを試みた）でしたが、マスク付きのAIは0でした。著者らは、マスクは単にポイントを最大化するためではなく、**実現可能性（feasibility）**のために不可欠であると結論付けています。つまり、AIが現実世界の「遊び場」の中に留まるように強制することです。

限界のテスト

研究者は通常の日のテストだけで終わりませんでした。彼らはAIに「変化球」を投げました：

• 突然の急増： 乗換駅で大規模な群衆が発生した際、固定の短区間計画がAIよりもわずかに優れた結果を出しました。これは、複雑な学習よりも、時には単純で場所に基づいたルールが勝ることを示唆しています。
• 故障した線路： 列車の折り返し能力が低下した状況をシミュレートした際、AIは完璧に適応しましたが、固定計画は苦戦しました。
• 予測の誤り： 需要予測に20%の誤差があったとしても、AIは依然として他の手法を上回りました。

しかし、本研究は限界も明らかにしました。利用可能な車両数が16台に削減されると、待ち時間は車両が18台ある場合と比較して2倍以上に増加しました。これは、どれほどのAIの魔法をもってしても、物理的な車両不足を解決することはできないことを示しています。

まとめ

この論文は、都市鉄道の問題を永遠に解決したと主張しているわけではありません。代わりに、アクション・マスク付き深層Q学習が、群衆に対して応答性が高く、かつ厳格に安全な運行計画を作成するための強力なツールであることを示唆しています。AIは、より多くの人々を運ぶことと、列車を空のまま走らせないことの間のトレードオフを、鉄道の厳格な法則に従いながらバランスさせる方法を学びました。「安全装置」は、必ずしもシミュレーション上のスコアを高くしたわけではありませんが、AIが行うすべての決定が、現実の配車係が実際に実行可能なものであることを保証しました。混沌とした混雑した都市交通の世界において、その「実現可能性」の保証は、走行速度と同じくらい重要なのかもしれません。