Interpretable reinforcement learning with decision-tree pruning

ブラックボックスと設計図

ロボットに歩行、チェス、あるいは台車の上で棒を立てる方法を教える場面を想像してみてください。あらゆる動きに対して一つひとつコードを書くのではなく、成功したときには報酬を与え、失敗したときには罰を与えることで、試行錯誤を通じて学習させます。これが「強化学習」です。これは、ソフトウェア・エージェントが環境と相互作用することで意思決定を学ぶ人工知能の一分野です。その結果、多くの場合「ポリシー（方策）」、つまりロボットが従う一連の指示が生成されます。しかし、最も強力なポリシーは通常、巨大で複雑なニューラルネットワークの中に隠されています。これらのネットワークを、巨大で絡まり合った毛糸玉、あるいは「ブラックボックス」と考えてみてください。ロボットの動作は見えますが、「なぜその特定の動きをしたのか」と尋ねても、その答えは何百万もの目に見えない接続の中に埋もれています。これは現実世界において、私たちがこれらのロボットを信頼する必要があるため、問題となります。もし自動運転車や医療AIがミスを犯した場合、私たちはブラックボックスの中を覗き込み、その論理を理解し、修正できなければなりません。

これを解決するために、科学者たちはこれらの絡まり合ったニューラルネットワークを「決定木（ディシジョン・ツリー）」へと翻訳する方法を開発してきました。ニューラルネットワークが乱れた毛糸玉であるなら、決定木は明快なフローチャートや「選択型アドベンチャー・ブック」のようなものです。「棒は左に傾いているか？」といった単純な問いを投げかけ、「右へ押せ」といった答えへと道筋を辿ります。これらのツリーは人間にとって非常に読みやすいものです。しかし、ここに落とし穴があります。複雑な脳をツリーに翻訳すると、そのツリーが読み取るにはあまりにも大きくなってしまうことがあるのです。何千もの枝を持つツリーは、元のブラックボックスと同じくらい混乱を招くものになります。ここで大きな疑問が生じます。「この巨大なツリーを、ロボットの能力を損なうことなく、小さくシンプルなものへと削ぎ落とすことはできるのか？」という問いです。

垣根の剪定：AIを簡素化する新しい手法

本論文において、マーク・リンガーとミシェル・トキッチは、この問いに答えるための巧妙な手法を提案しています。彼らは、これらのAI決定木の簡素化を、一度限りの魔法のようなトリックではなく、注意深く段階的な編集プロセスとして扱っています。目の前の道を塞いでいる、巨大で生い茂った垣根を想像してください。あなたは人が通れるように刈り込みたいと考えていますが、あまりに切りすぎて垣根が倒れたり、庭の手入れをするという本来の役割を果たせなくなったりしてはいけません。

著者らは、すでにニューラルネットワークから翻訳された決定木からスタートします。このツリーは、タスクを解く方法を知っているという意味で「教師」となりますが、人間にとっては複雑すぎます。彼らの目標は、ロボットの高い性能を維持しながら、このツリーを「剪定（プルーニング）」すること、つまり不要な枝を切り落とすことです。彼らは単にどの枝を切るかを推測するのではなく、厳格で監査可能なプロセスを用います。彼らはツリーをトリミングするための3つの主要な方法を提案しています。

1. 「高さ制限」（最大深度剪定 / Max-Depth Pruning）: これは、「どの枝も5フィートより高く成長してはならない」と言うようなものです。ツリーの深い部分に成長しようとする部分はすべて切り落とされ、単純な「葉（リーフ）」に置き換えられます。これにより、ツリーを短くシンプルに保つよう強制します。
2. 「均質性チェック」（最大不純度剪定 / Max-Impurity Pruning）: この手法は、枝を見て「この部分はすでに十分に明確なので、これ以上分割する必要がないのではないか？」と問いかけます。ある枝が、目にするほぼすべてのものに対して同じ決定を下している場合、その部分は「純粋（ピュア）」であるとみなされます。アルゴリズムはその余分な分割をカットし、そのセクション全体を単一の葉へと変えます。
3. 「スマート・ビジター・カウンター」（決定木適応型制約付き剪定 / DACP）: これが最も洗細密で、本作の主役となる手法です。これは、美術館の各部屋を訪れる人数を数えるツアーガイドのようなものです。もしある部屋（または決定ノード）への訪問者が極めて少ない場合、ガイドはその部屋を閉鎖することを検討するかもしれません。しかし、ガイドは賢明です。部屋を閉鎖する前に、それがもし閉鎖された場合にツアーを台無しにしてしまうような「秘密のVIP入り口」ではないかを確認します。彼らは、もしカットによってロボットのスコアが急激に低下した場合、作業を停止して後退するためのセーフティネットを使用します。

このプロセスは「ホット・アンド・コールド（熱いか冷たいか）」ゲームのように機能します。アルゴリズムは一連の枝をまとめてカットしようと試みます。その後、ロボットに再びタスクを実行させ、そのパフォーマンスを確認します。もしロボットが依然として良好なパフォーマンスを維持している（特定の安全閾値を上回っている）場合、そのカットは維持され、ツリーはより小さくなります。もしロボットの性能が大幅に低下した場合は、そのカットは拒否され、アルゴリズムは別のより小さなカットを試みます。すべての変更は記録され、どのようにツリーが簡素化され、それがロボットの挙動にどのように影響したかを示す「痕跡」を作成します。

彼らが発見したこと：より小さなツリー、時にはより優れたロボット

著者らは、棒をバランスさせる（CartPole）から人間のように歩く（Walker2D）まで、さまざまな古典的なロボットの課題を用いてこの手法をテストしました。その結果、彼らの剪定プロセスが、巨大で読みにくいツリーを、コンパクトで人間にとって親しみやすいバージョンへと見事に変換できることを発見しました。

最も興味深い発見の一つは、**「簡素化が必ずしも性能の低下を意味するわけではない」**ということでした。例えば、Lunar Landerのタスクにおいて、元の「教師」であるニューラルネットワークは、実際には「過学習（オーバーフィッティング）」していました。つまり、訓練データを完璧に覚えすぎてしまい、奇妙で不要な動きをしていました。著者らが決定木を剪定した際、彼らは偶然にも、これらの奇妙で過学習した枝を切り落としたのです。結果はどうだったでしょうか？ 簡素化されたツリーは、元の複雑なものよりも実際に優れた性能を発揮し、より少ないルールでより高いスコアを達成しました。

しかし、限界は存在します。論文は明確なトレードオフを示しています。ツリーをどんどん小さく切り詰めていくと、最終的にはロボットが失敗し始めます。ツリーがタスクの複雑さを扱うには単純すぎるようになる「転換点」が存在するのです。著者らは、彼らの「スマート・ビジター・カウンター（DACP）」が、高い性能を維持しながらツリーを十分に小さく保つという、この「スイートスポット」を見つける上で概して最も優れていることを明らかにしました。

また、彼らは、葉の数（ツリーの終着点）は複雑さを測る良い指標ではあるものの、それがツリーの人間にとっての理解しやすさをすべて物語るわけではないことも指摘しています。たとえ葉の数が少なくても、その内部で行われる問いが理解しにくいものであれば、依然として混乱を招く可能性があるからです。

結論

本論文は、AIの信頼性に関する謎を永遠に解明したと主張するものではありませんが、強力な新しいツールを提示しています。それは、スマートなロボットか、それとも透明なロボットか、という二者択一を迫られる必要はないということです。ロボットの性能を常にチェックしながら、注意深く段階的な剪定プロセスを用いることで、巨大で混乱を招く決定木を、小さく明快な一連のルールへと変えることができます。これにより、AIの意思決定は「監査可能（オーディタブル）」、つまりなぜその行動をとったのかを正確に追跡できるようになり、さらには「ノイズ」である過学習を取り除くことで、性能を向上させることさえ可能になります。著者らは、自分たちの「理解しやすさ」の尺度がツリーのサイズに基づいたものであり、まだ実際の人間によるテストに基づいたものではないと認めていますが、彼らの手法は、複雑なコードからシンプルで信頼できる論理へと至る、明確で透明性の高い道筋を示しています。