Speedrunning Tabular Foundation Model Pretraining

あなたは、ロボットにスプレッドシート（表形式のデータ）に基づいて意思決定する方法を教えようとしていると想像してください。通常、これは巨大なプールの水を、たった一滴のティースプーンで満たそうとするようなものです。時間がかかり、膨大な電気代がかかり、やり終える頃には新しいアイデアを試す気力すら残っていないでしょう。

この論文は、この問題に対する楽しくて競争的な解決策である「スピードラン（Speedrun）」を紹介しています。

ビッグアイデア：「スピードラン」の比喩

ビデオゲームのスピードラン（プレイヤーが巧妙なテクニックを使って、できるだけ早くゲームをクリアしようとすること）を想像してみてください。著者たちは、表形式のデータに対してAIモデルをトレーニングするための、これに似た競技会を作り出しました。

• 目標： 「完璧な」モデルを作ることではなく、単にある特定の、控えめなパフォーマンスレベル（標準的な「ランダムフォレスト」アルゴリズムを超えるレベル）に、できるだけ早く到達することです。
• ルール： 全員が同じコンピュータ（NVIDIA L40S グラフィックスカード1枚）と、同じ開始コードを使用します。変更できるのは、「どのように」モデルをトレーニングするかだけです。
• 賞品： 勝者は、公開リーダーボードに最速タイムを表示する権利を得ます。

スタートライン：「スロー・ベースライン」

著者たちは、表形式のAIモデルの標準的かつ教育的なバージョンである nanoTabPFN からスタートしました。

• 問題点： 標準的な設定を使用すると、ターゲットのパフォーマンスに達するまでモデルのトレーニングに 74.32分 かかりました。また、ルールを学習するために、8万件以上の偽の練習用データセットを「読み込む」必要がありました。
• 比喩： これは、学生が教科書のすべてのページを、一言一句、一文字ずつ読みながら、テストのために2時間かけて勉強しているようなものです。

レース：いかにして高速化したか

コミュニティ（研究者や愛好家たち）は、時間を短縮するためにトレーニングスクリプトを次々と改良していきました。以下に、簡単な比喩を用いて、どのようにスピードアップしたかを示します。

1. より優れた学習テクニック（Muon オプティマイザ）：
   標準的な学習方法を、「Muon」と呼ばれるよりスマートな方法に置き換えました。

   • 結果： 時間は 54分 に短縮されました。これは、本を音読するのをやめて、要点だけをスキミング（速読）するように切り替えたようなものです。

2. ハードウェアと数学のアップグレード（SDPA, bf16, 幅/Width）：
   コンピュータの計算方法を変更し（bf16と呼ばれるより高速な計算タイプを使用）、モデルの「脳」のサイズを調整しました（チャンネル数を減らしつつ、幅を広くしました）。

   • 結果： 劇的な変化がありました！時間は 10分 にまで落ちました。これは、自転車からスポーツカーにアップグレードしたようなものです。

3. バッチ処理とコンパイル：
   タスクをグループ化することで、コンピュータが頻繁に停止・再開しなくて済むようにし、コードを「コンパイル」してスムーズに動作するようにしました。

   • 結果： 時間は 9分 に短縮されました。

4. 「思考行（Thinking Rows）」のトリック：
   データに16個の特別な、目に見えない「思考行」を追加しました。これらは、モデルが答えを出す前に考えを整理するために書き込める、小さな付箋のようなものです。

   • 結果： 時間は 3.88分 に短縮されました。これは、学生がテストを受ける前に、ブレインストーミングをするためのホワイトボードを与えられたようなものです。

5. 特徴量のグルーピング：
   モデルがデータの列を重なり合うグループとして見るように教えました（パズルのピースとその隣り合うピースを同時に見ているような状態）。これにより、モデルが混乱するのを防ぎます。

   • 結果： 時間は 2.15分 に短縮されました。

6. AIコーチ（Autoresearch HPO）：
   最後に、AIエージェント（ロボットコーチ）を使用して、設定を自動的に微調整し、テクニックの完璧な組み合わせを見つけ出しました。

   • 結果： 0.92分。

最終スコア

現在の記録保持者は、モデルを 1分未満（0.92分）でトレーニングしました。

• スピード： 元の方法よりも 81倍速い です。
• 効率性： 同じことを学ぶために必要な偽のデータセットの数は、22分の1 に減少しました。

なぜこれが重要なのか（論文による説明）

この論文は、この特定のモデルが現在、現実世界の問題を解決するための最高のものであると主張しているわけではありません。むしろ、その「形式（フォーマット）」こそが発明なのです。

• 「プロトコル」： 彼らは、コミュニティ全体が新しいアイデアをテストするための、シンプルで公平な方法を作成しました。もし誰かが新しいトリックを持っていれば、それを実行して時間を記録し、記録を更新できるかどうかを確認するだけです。
• 改善の積み重ね： 全員が同じスクリプトの上に構築していくため、どのトリックが機能し、どれが機能しないのかを正確に把握できます。
• 将来の可能性： 論文では、もしこの超高速なレシピを取り、フルタイムの74分間走らせた場合（途中で止めるのではなく）、それは非常に強力なモデルになることを指摘しています。これは、これらのスピードアップのテクニックが、単に速くするだけでなく、AIをより賢くすることも示唆しています。

要約すると、この論文は、遅くて高価で、孤立していた研究プロセスを、コミュニティがAIにスプレッドシートを教える最も効率的な方法を見つけるために競い合う、高速でオープンな協力型ゲームへと変えたのです。