Benign interpolation and Occam's razor
本論文は、補間を行うディープラーニングモデルの汎化の成功を説明するためにオッカムの剃刀に訴えかける近年の試みは、個々のモデルの未証明の特性と、古典的な学習理論に見られるモデルクラスの単純性と汎化との間の厳密かつ定理に裏付けられた関連性とを混同することによって、説明の溝を生じさせていると論じている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ロボットに猫と犬の写真を識別する方法を教えようとしていると想像してください。あなたは数千枚の写真をロボットに見せ、ロボットはそれらの違いを見分ける方法を学びます。コンピュータサイエンスの旧時代には、「オッカムの剃刀」と呼ばれる黄金律がありました。それは基本的に「シンプルに保て」というものでした。もし2つの理論が同じデータを説明できるなら、より単純な方を選びなさい、というルールです。なぜでしょうか？ モデルが複雑になりすぎると、猫がどのようなものかを実際に学習する代わりに、訓練用の写真をオウムのように丸暗記し始めてしまうからです。これは「過学習（オーバーフィッティング）」と呼ばれ、災厄です。もしロボットが新しい写真を見たとき、古い写真を暗記することに夢中になりすぎていたために、失敗してしまうのです。
何十年もの間、科学者たちはこのルールを用いて、安全で信頼できるAIを構築してきました。彼らは、賢いロボットを作るためには、混乱しないようにその脳の能力を制限しなければならないと考えていました。しかし、その後、奇妙なことが起こりました。現代のAI、特に「ディープラーニング（深層学習）」が、あらゆるルールを破り始めたのです。これらの新しいロボットの脳は非常に巨大で、たとえラベルをかき混ぜて「猫はトースターである」と教えられたとしても、あらゆる訓練用写真を完璧に暗記できてしまうほどです。旧来のルールに従えば、これらは新しい写真を推測するのはひどいものになるはずです。それなのに、彼らは驚くほど優秀なのです。彼らは乱雑なデータに完璧に適合しながらも、将来を正しく予測します。この奇妙な現象は「良性の補間（ベナイン・インターポレーション）」と呼ばれ、科学者たちを困惑させてきました。どうすれば、ロボットが完璧な暗記者でありながら、同時に優れた予測者であり得るのか、という疑問を投げかけているのです。
トム・F・ステレンバーグ、ダニエル・A・ヘルマン、およびヤン＝ウィレム・ロメインによるこの論文は、この奇跡に対する新しい説明が、果たして通用するのかどうかを検証するために、この謎を掘り下げています。著者たちは、いわば探偵として、巨大なAIモデルがなぜこれほど上手く機能するのかを説明するために登場した、ある有力な新説を調査しています。
この新説は、これらのAIモデルは巨大で複雑であるものの、その学習方法（「確率的勾配降下法」と呼ばれる手法）が、完璧な適合解の中から、密かに最も「単純な」解へとモデルを導いているのだと示唆しています。それは、頂上に到達するためのルートが100万通りあるハイカーのようなものです。理論によれば、ハイカーのブーツは自然と、険しく岩だらけの道ではなく、最も滑らかで直接的な道へとハイカーを導くのです。この考えの支持者たちは、これを「単純性バイアス」と呼び、現代版のオッカムの剃刀が救済をもたらしているのだと言います。彼らは、AIがデータに適合する最も単純なモデルを選択するため、それゆえに汎化性能が高いのだと主張しています。
しかし、この論文の著者たちは、この説明には大きな穴があると考えています。彼らは、かつての「オッカムの剃典」が、モデルの「グループ（モデルクラス）」に関する数学的に証明されたルールであったことを指摘しています。それは、もし小さな単純なグループのモデルを選べば、うまくいくことが保証されるというものでした。しかし、この新しい理論が語っているのは、「個別の」モデルについてです。それは、「この特定のモデルは、低い『ノルム（数学的な大きさの尺度）』を持っている、あるいは『滑らか』であるから単純なのだ」と言っているのです。
問題は、著者たちが説明するように、単一のモデルの単純さと、それが将来を予測する能力との間には、数学的なつながりが証明されていないということです。昔では、単純な「グループ」がうまくいくことが数学的に保証されていました。しかし、新しい物語において、著者たちは、科学者たちが単にこれらの特定のモデルを「単純」と呼び、その「単純」という名前が役割を果たしてくれることを期待しているだけだと主張しています。それはまるで、「この石は魔法の石だから、私はこれを魔法の石と呼ぶ」と言っているようなもので、魔法の石が実際に存在するという証明がないまま、名前だけで押し通そうとしているのです。
この論文は、これらの新しいアイデアは興味深いものの、空白を残していると示唆しています。彼らは、なぜ「単純な」個別のモデルを選ぶことが、良い予測につながるのかを、実際には証明していないのです。著者たちは、新しい理論は本質的に、大きな未証明の仮定に基づいていると主張しています。つまり、世界はAIモデルが見つけ出すような単純なパターンに満ちているという仮定です。彼らはこの仮定が間違っているとは言っていませんが、現在の説明は単なる推測に過ぎないと強調しています。彼らは、有名な原理（オッカムの剃刀）の名前を用いることで、大胆な仮定を確固たる科学的事実のように見せかけているのです。
では、結論はどうでしょうか？ 論文は、新しいAIが壊れていると言っているのではなく、なぜそれが機能するのかを、私たちはまだ完全には理解していないと言っています。著者たちは、答えは単純性に関する普遍的なルールではなく、私たちが収集するデータや、AIに課す特定のタスクに特有の何かである可能性を示唆しています。「単純な個別モデル」と「優れた予測」の間のつながりを誰かが証明できるまで、「良性の補間」はまさにその名の通り、一つの謎であり続けるでしょう。新しい理論は有望な手がかりではありますが、最終的な答えではありません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。