🤖 machine learning

End-to-End Compression for Tabular Foundation Models

本論文は、大規模なデータセットにおいて予測性能を維持または向上させつつ、最先端のトランスフォーマーベースの表形式基盤モデルと比較して推論時間とメモリ使用量を大幅に削減するエンドツーエンドの表形式圧縮モデルであるTACOを紹介している。

原著者： Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

原著者： Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「あらゆるものの図書室」

想像してみてください。あなたには、顧客、機械、あるいは患者に関するあらゆることを予測できる、非常に優秀な司書（表形式基盤モデル / Tabular Foundation Model）がいます。この司書は、単に推測するのではなく、新しい人がドアをくぐった時に予測を行う前に、これまでに訪れたすべての人の歴史（学習データセット）をすべて読み込みます。

かつて、この司書は非常に動作が遅かったのです。なぜなら、図書室にあるすべての本を一冊ずつ読んでいかなければならなかったからです。最近、非常に速く読むことができる新しいタイプの司書が登場しましたが、彼らには大きな欠陥がありました。それは、図書室の規模に圧倒されてしまうことです。

図書室に100冊の本があれば、司書は問題ありません。しかし、もし図書室に10万冊の本があったら、司書の脳（コンピュータのメモリ）は爆発してしまいます。彼らは予測を行うために、すべての本を一度に頭の中に保持することができないのです。これが、論文で言及されている「二次関数的な複雑さ（quadratic complexity）」の問題です。データが増えるにつれて、処理に必要な時間とメモリが爆発的に増加するため、これらのスマートなモデルを巨大な現実世界のデータセットで使用することが不可能になります。

解決策：TACO（「スマートな要約者」）

著者らは、この論文でTACOと呼ばれる新しいツールを作成しました。TACOを、巨大な図書室と司書の間に座る、非常に効率的な要約者だと考えてください。

その仕組みは、以下の3つのシンプルなステップで行われます。

圧縮（要約者）： 司書がデータを見る前に、TACOは10万冊の本がある巨大な図書室を取り込み、わずか100ページの「ベストヒット」小冊子へと凝縮します。TACOは重要なストーリーを捨てるのではなく、データのパターンと本質を学習し、コンパクトな形式で書き留めます。
予測（司書）： 司書は、巨大な図書室の代わりに、この小さな100ページの小冊子を読みます。冊子が非常に小さいため、司書はほぼ瞬時に予測を行うことができます。
結果： 司書は依然として、必要とする情報のほとんどを把握していますが、それを実行する労力はごくわずかです。

TACOが達成したこと（魔法の数字）

論文では、このシステムを既存の最高峰のモデル（TabPFNなど）と比較検証し、驚くべき結果を見出しました。

スピード： TACOは予測において最大94倍高速です。従来のモデルが考えるのに10秒かかっていたとしたら、TACOは1秒にも満たない時間で完了します。
メモリ： TACOは最大97%少ないメモリしか使用しません。重いスーツケース（従来のモデル）を運ぼうとするのと、小さな封筒（TACO）を運ぶのを想像してみてください。従来のモデルはスーツケースが重すぎてコンピュータが保持できず、しばしばクラッシュしますが、TACOはポケットにすっぽり収まります。
精度： データを元のサイズのわずか**1%**に縮小したにもかかわらず、TACOは精度をほとんど失いませんでした。図書室のすべてを読もうとしたモデルと同等の性能を発揮しました。

実装方法（秘伝のソース）

論文では、TACOが単なる単純なフィルターではなく、共同で訓練されたチームであることを説明しています。

**圧縮器（要約者）と予測器（司書）**が、一緒にジムでトレーニングしている様子を想像してください。
彼らは共に練習します。圧縮器は、予測器が最も理解しやすいようにデータを要約する方法を学習します。予測器は、それらの要約を効果的に読む方法を学習します。
もし彼らが別々に訓練されたら、圧縮器は予測器が理解できないような要約を作ってしまうかもしれません。しかし、彼らがエンドツーエンド（一貫して）共に訓練されることで、彼らは同じ言語を話すようになるのです。

「チャンキング（塊分け）」のトリック（手に負えないものへの対処）

論文では、コンピュータのメモリよりも大きい（例：150万行の）巨大なデータセットに対処するための問題も解決しました。

比喩： 1,000ページの小説を要約しようとしているのに、手元のメモ帳が10ページ分しかない状況を想像してください。
戦略： TACOは小説を小さな章（チャンク）に分割します。第1章を要約し、次に第2章、第3章と進めていきます。最後に、これらの小さな要約を一つに縫い合わせ、最終的な「マスター・サマリー（総合要約）」を作成します。
これにより、メモリ制限によって他のモデルが即座にクラッシュしてしまうような、150万行のデータセットに対しても予測を実行することが可能になりました。

結論

論文は、TACOによって、スーパーコンピュータを使わなくても、巨大な現実世界のデータセットに対して「基盤モデル」のような超スマートなモデルを使用できるようになると主張しています。それは、遅くてメモリを大量に消費するプロセスを、高速で軽量なものへと変貌させます。しかも、予測の精度を維持したままです。TACOは、これらのAIモデルの使用を阻んでいた「スケーリング問題」を効果的に解決しています。

技術要約：表形式基盤モデルのためのエンドツーエンド圧縮

問題提起

デコーダーのみのトランスフォーマー・アーキテクチャを用いたインコンテキスト学習（ICL）を活用する表形式基盤モデル（TFM）は、近年、勾配ブースティング決定木（GBDT）の優位性に挑戦しています。しかし、これらのモデルは根本的なスケーリングのボトルネックに直面しています。すなわち、推論の計算複雑性が、訓練インスタンス数 $N$ に対して二次的（ $O(N^2)$ ）、あるいはKVキャッシュを用いる場合は線形的（ $O(N)$ ）にスケールするという問題です。この条件付きコンテキストサイズに対する二次的な依存関係は、メモリと計算のオーバーヘッドを増大させ、TFMを小規模または中規模のデータセットに限定してしまいます。その結果、性能は情報量の多い大規模なデータセットにおいて低下しやすく、膨大なコンテキストウィンドウを必要とする実世界のシナリオへの対応が困難になります。

手法：TACO

このボトルネックに対処するため、著者らは、予測の前に訓練データセットを潜在空間へと圧縮するように設計された、エンドツーエンドのモジュール式アーキテクチャである TACO (Tabular Compression) を提案しています。このフレームワークは、結合して訓練される2つのコンポーネントで構成されています。

コンプレッサー ( $g$ ): 元の訓練データセット $D_{train}$ （ $N$ 行）を、よりコンパクトで低ランクな表現である $D_{mini-train}$ （ $K$ 行、ここで $K \ll N$ ）へとマッピングするトランスフォーマーベースのモジュールです。コンプレッサーは、表形式データのプロトタイプ的なパターンを捉える凝縮された埋め込みを学習するように訓練されます。これは、データの一部から初期化された「ダミー」テーブルを利用し、それが全データセットを代表するように反復的に洗練されていきます。
プレディクター ( $f$ ): インコンテキスト予測を行う標準的な表形式トランスフォーマー（TabPFNv2アーキテクチャに基づく）です。このプレディクターは、フルサイズの $N$ 行のデータセットに注意を向ける代わりに、圧縮されたコンテキスト $D_{mini-train}$ とテストバッチの特徴量に基づいて条件付けを行います。

訓練戦略:
コンプレッサーとプレディクターは、エンドツーエンドの形式で共同にメタ学習されます。目的関数は、データセットの事前分布に対して予測損失を最小化することであり、これにより、コンプレッサーがプレディクターの性能を最大化する表現を生成するように促します。訓練パイプラインには以下が含まれます：

合成データによる事前学習: 構造的因果モデル（SCM）を用いて、多様な合成データセットを生成します。
カリキュラム学習: 訓練中にシーケンス長を段階的に増加させます（1kから60k行まで）。
実データへの適応: 自己教師ありタスク（行や特徴量のブートストラップ）を用いて、実世界の表形式データセットでファインチューニングを行います。
マルチレート訓練: モデルが様々な圧縮率（ $r \in \{1, 2, 4, 8, 16\}\%$ ）を同時に扱えるように訓練し、単一のモデルが異なるリソース制約下で動作できるようにします。

スケーラビリティ・メカニズム:
単一のフォワードパスのメモリ容量を超えるデータセット（例：100万行超）の場合、TACOは**チャンキング・アンド・スティッチング（分割と結合）**戦略を採用します。データセットを互いに素なチャンクに分割してそれぞれ独立して圧縮し、得られたサマリーを結合して、プレディクターのためのグローバルなコンテキストを形成します。

主な貢献

新規アーキテクチャ: 表形式基盤モデルの訓練コンテキストを圧縮するための初のエンドツーエンド手法であるTACOを導入し、予測品質と生の条件付きコンテキストサイズを切り離しました。
効率性の向上: 実証実験により、TACOが最新のプレディクターのみのトランスフォーマー（POT）と比較して、1%の圧縮率において性能を維持しつつ、推論時間を最大94倍高速化し、メモリ消費量を98%削減できることを示しました。
スケーラビリティ: メモリ制約により標準的なTFMでは不可能な、100万行を超えるデータセット（例：約150万行のMetroPT-3データセット）を、数千の潜在的な行へと圧縮して取り込む検証済みの戦略を提供します。
結合最適化: コンプレッサーとプレディクターを共同で訓練することは、プレディクターを固定する場合よりも優れていることを示しました。これにより、プレディクターが圧縮された入力に対して自身の表現空間を適応させることが可能になります。

実験結果

著者らは、TabArena ベンチマークおよび追加の大規模データセット（TabFSBench, TableShift, MetroPT-3）を用いてTACOを評価しました。

性能 vs. スピード: 1%の圧縮率において、TACOは未圧縮のPOTベースラインと比較して、後続の予測において94倍の高速化を達成し、メモリ消費量を97.6%削減しました。性能の低下は、フルコンテキストのベースラインと比較して統計的に無視できるレベル（ROC-AUCの差はほぼゼロ）でした。
メモリ効率: KVキャッシュを用いるシナリオでは、POTは32,000行を超えるデータセットで頻繁にメモリ不足（OOM）エラーが発生しますが、TACOは動作可能です。TACOはKVキャッシュ設定においてVRAM使用量を最大92%削減します。
ベースライン比較: TACOは、あらゆる圧縮率において、ランダムサンプリングやk近傍法（kNN）によるサブサンプリングといった単純な圧縮ベースラインを大幅に上回りました。
大規模データの処理: MetroPT-3データセット（約150万行）において、TACOは訓練セットを約1,200行に圧縮し、ベースラインおよびXGBoostよりも優れた精度とAUPRCを達成しました。一方で、POTおよびTabPFNv2は実行に失敗しました。
堅牢性: TableShiftベンチマークにおいて、TACOは標準的なTFMがメモリ制限により失敗した15個のデータセットのうち12個で正常に動作し、分布シフトの下でも競争力のある精度を維持しました。

意義と主張

本論文は、厳格な推論時の予算下でも予測力を維持するデータ表現を学習することにより、TACOが表形式のインコンテキスト推論を根本的に再定義することを主張しています。著者らは、この手法が原理的な精度とレイテンシのトレードオフを可能にし、従来のトランスフォーマーベースのアプローチではアクセス不可能であった、大規模な実世界のデータセットへのスケーリングを実現すると述べています。

本研究は、コンテキストを賢明に圧縮すれば、アテンション機構の二次的な複雑性は克服不可能な障壁ではないことを浮き彫りにしています。コンテキストサイズを $N/K$ 倍に減少させることで、TACOはメモリと計算コストのスケーリングを線形化し、高精度な基盤モデルを大規模な産業用アプリケーションで利用可能にします。著者らは、TACOがスケーラビリティを前進させた一方で、今後の課題として、欠損値に対する多様な事前分布、分布シフトへの対応、および回帰や時系列タスクへの拡張があることを結論付けています。