科学者たちが「学習マシン」を構築し、それが住宅価格や医療記録のようなデータのスプレッドシートを見て、未来を予測する方法を見つけ出す世界を想像してみてください。この分野はAutoML（自動機械学習）と呼ばれます。その目的は、コンピュータが自律的に何千もの異なる数学的トリックを試し、最も効果的なものを見つけ出すことにあります。通常、これらのマシンは、ルールに違反していないか厳格に監視されながら、数時間を要する長い、注意深いマラソン形式でテストされます。しかし、現実の世界では、開発者は素早い結果を求めることがよくあります。彼らは、どのマシンが最も速い勝者になるかを見るために、わずか30秒や60秒間だけマシンを走らせます。それはマラソンの代わりにスプリント（短距離走）を行うようなものです。問題は、これほど速いレースを行うと、気づかないうちにうっかりルールを破ってしまうことが非常に容易であり、遅くて不器用なランナーを、世界記録を持つスプリンターのように見せてしまう可能性があることです。

この論文は、ある研究者が「Orcetra」という独自の小さくシンプルな学習マシンを構築した物語を伝えています。彼らは、このマシンを2つの有名な重量級チャンピオン（FLAMLとAutoGluon）と、一連の513回の短い60秒間のレースで競わせました。一見すると、その結果は驚異的でした。Orcetraは半数以上のレースで勝利し、巨大なチャンピオンたちを大差で引き離しました。数字はあまりにも完璧で、数学的根拠も非常に説得力があったため、それは巨大なブレイクスルーであるかのように見えました。しかし、著者たちは自分たちの実験によって騙されたことに気づきました。彼らは、Orcetraが実際には賢くなったのではなく、2つの非常に巧妙な方法でルールを破っていたことを発見したのです。第一に、Orcetraは練習している最中に「解答集」（テストデータ）を覗き見ており、それによってスキルではなく運に基づいて勝者を選んでいました。第二に、ストップウォッチを無視し、同じ時間で停止しているふりをしながら、実際には他のマシンよりも2倍長く走っていました。ルールを修正し、覗き見を禁止し、制限時間を厳格に適用したとき、Orceraの「超能力」は消え去りました。それはチャンピオンから平均的なレベルへと転落し、高速なAIテストの世界では、いかに速く走るかと同じくらい、レースをどう測定するかが重要であることを証明しました。

セットアップ：壊れたストップウォッチによるレース

この物語を理解するために、3人のレーサーを見てみましょう。FLAMLとAutoGluonは、何時間もトレーニングを行うプロのアスリートのようなものです。これらは、長い時間をかけて最適な解を見つけ出すように設計された、複雑で強力なシステムです。論文の著者たちが構築したシステムであるOrcetraは、アンダードッグ（格下）です。それはわずか1,661行のコードで書かれた、小さくシンプルなスクリプトです。凝ったトリックは持っておらず、単に一連の標準的な数学モデルを試し、最良のものを選択して次に進むだけです。

研究者たちは「スプリント」形式の競技を設定しました。彼らは513種類の異なるデータセット（データの集合）を用意し、すべてのマシンに、最高の予測を見つけるための正確に60秒を与えました。最初のラウンドでは、元のルールを使用した場合、Orcetraは奇跡のように見えました。巨人がそれぞれ21.6%と10.9%しか勝てなかったのに対し、Orcetraはレースの**57.1%で勝利しました。30秒のスプリントにおいて、FLAMLとの対戦では、Orcetraは78.4%**という驚異的な割合で勝利しました。数学的には、これは決定的な勝利であると示されていました。

しかし、著者たちは何かがおかしいと疑いました。彼らは、これらの偽りの勝利を引き起こした可能性のある、マシンの中にある「幽霊」を探すために、自分たちの実験の監査を行うことにしました。

第一の欠陥：「覗き見」の問題

第一の大きな欠陥は、Orcetraがどのように勝者を選んだかという点でした。生徒が模擬試験を受けている場面を想像してください。公正な生徒は勉強し、テストを受け、それからスコアを得ます。しかし、Orcetraは異なることをしていました。模擬試験を受け、答えを見て、そして再び、また何度もテストを受けていたのです。

技術的な言葉で言えば、このマシンは、試したすべてのモデルをテスト分割（最終試験として用意されたデータ）に対してスコアリングしていました。それは60秒間に数十のモデルを試し、それらがテストデータに対してどれほど上手くいったかを確認し、単に自分が目にした中で「最高のスコア」を報告していたのです。これは**選択バイアス（selection bias）**と呼ばれる古典的な罠です。

サイコロを振ることを考えてみてください。サイコロを一度振れば、ランダムな数字が出ます。しかし、もし私が50回振って、その中で最も高い数字だけを見せられたら、あなたは私が常に「6」を出す魔法のサイコロを持っていると思うかもしれません。実際には、あなたは単に運が良くなるまで何度も振っただけなのです。Orcetraは非常に多くのモデルを試し、テストデータに基づいて「最も運が良かった」モデルを選んだため、そのスコアは人工的に膨らんでいました。他のマシンであるFLAMLとAutoGluotionは誠実でした。彼らは練習用のデータ（トレーニングデータ）のみを使用して最良のモデルを選び、最後に一度だけテストデータを確認したのです。

第二の欠陥：「抜け穴」のあるストップウォッチ

第二の欠陥は、さらに物理的なものでした。実験には「60秒後に停止すること」というルールがありました。

FLAMLとAutoGluonはこのルールを尊重しました。もし60秒に達した時に計算の途中であったとしても、彼らは停止するか、あるいは素早く終了しようとしました。彼らは規律を守っていました。しかし、Orcetraにはロジックのバグがありました。それは新しいタスクを開始する「前」に時間をチェックしていましたが、一度タスクを開始してしまうと、タイマーが終了しても気にしませんでした。それは計算を好きなだけ続けさせたのです。

データによれば、予算は60秒に設定されていたにもかかわらず、Orcetraは実際には中央値で120秒、つまり制限時間の2倍も走っていました！実際、Orcetraは**78%**のデータセットにおいて制限時間を超えていました。一方で、他のマシンは60秒の時点に近く留まっていました。これは、他のランナーがゴールラインで止まる一方で、Orcetraがもう一周走り続け、問題を解決するためのより多くの時間を手に入れているレースのようなものです。「60秒」というラベルは、Orcetraにとってはルールではなく、単なる提案に過ぎませんでした。

第三の不具合：「継ぎ接ぎされた」結果

論文を執筆している際に発見された、第三の小さな問題もありました。研究者たちは後で別の実験を行いましたが、最初の実行結果と二番目の実行結果をカウントする際に、誤って混ぜ合わせてしまいました。この「継ぎ接ぎ（スプライシング）」により、Orcetraは実際よりもさらに良く見え、いくつかのカウントでは勝率が**61.2%**まで押し上げられていました。結果を分離したところ、数字は元の値に戻りました。これは単純なヒューマンエラーでしたが、ファイルの管理を怠ると、いかに簡単に結果が歪められるかを示しています。

大いなる修正：公平なレースの実施

真実を見出すために、著者たちは新しい厳格なプロトコルを用いて実験全体をやり直しました。彼らは3つの問題を修正しました。

1. 覗き見の禁止： Orcetraは検証用セット（練習試験）を使用して最良のモデルを選ばなければならず、他のマシンと同様に、最後に一度だけテストセット（最終試験）を確認しなければなりません。
2. 厳格な時間制限： 外部タイマーを使用して、60秒を超えた場合にプロセスを強制終了させ、誰も余分な時間を得られないようにしました。
3. 公平なリソース： すべてのマシンが全く同じコンピューティングパワーを得られるようにし、誰かが単にコア数が多いという理由だけで速くなることがないようにしました。

結果：魔法の消失

公平なレースを行ったとき、「奇跡」は消え去りました。

• 元の（ルールに違反した）勝率： 再実行されたサブセットにおいて、Orceraは**59.4%**の勝利を収めました。
• 修正後（公平な）勝率： Orcetraの勝率は**34.3%**へと急落しました。

公平なレースにおいて、Orcetraはもはや巨人たちを圧倒していませんでした。Orcetraが34.3%の時に勝利したのに対し、FLAMLは28.0%、AutoGluonは**27.3%**でした。その差は非常に小さく、単なる偶然の範囲内と言えるものでした。元の結果を巨大な発見に見せていた統計的な「有意性」（結果が偶然に起こる確率を示す指標）は、天文学的な数値（9.5 × 10⁻⁴⁶ のような値）から、全く目立たない数値（0.39 のような値）へと変わり、これは実質的にコイン投げの結果と同じでした。

私たちは何を学んだのか？

論文は、この「勝利」は主に2つの要因によって作られた錯覚であると結論付けています。

1. 覗き見（選択バイアス）： これは勝率の約4.8パーセントポイントを占めていました。これは実在しましたが、比較的小さなものでした。
2. 余剰時間（計算量）： これが最大の要因でした。Orcetraは他のマシンよりも2倍長く走ったため、より多くのモデルを試すことができました。この不公平なアドバンテージが、残りの大幅な勝利を説明していました。

著者たちはまた、「覗き見」が具体的にどれほど役立つのかも測定しました。その結果、覗き見はわずかなブーストを与えるものの、一部の数学理論が予測したほど巨大なものではないことが分かりました。すべてのモデルが同じデータでテストされていたため、「運」の影響は多くが相殺されました。ブーストは約0.27ポイントの精度向上であり、彼らが最初に見せた巨大な差と比較すると極めて微々たるものでした。

全員への教訓

この物語は、単なる一つのコードの話ではありません。高速なAIツールを比較しようとするすべての人への警告です。もし60秒間のテストを行うのであれば、細心の注意を払わなければなりません。

• テストデータを覗かせないこと： マシンが最終的な答えを見る前に、最良のモデルを選択するようにしてください。
• 時間制限を徹底すること： 60秒と言うのであれば、必ず60秒で停止させてください。
• 時計を確認すること： マシンが実際にどれだけの時間走ったかを常に報告してください。単に「指示した時間」を報告するだけでは不十分です。

論文は、これらの迅速な比較を行う人のためのチェックリストを提示して締めくくられています。もし、短時間で劇的な勝利を収めているシステムを見かけたら、それはそのシステムが賢いためではなく、おそらくルールを破っているからである可能性が高い、と示唆しています。元のレースの「勝者」は天才ではなく、単に審判の笛を無視して走り続けたランナーだったのです。