FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data

FEAT は、サンプル間の依存関係を線形計算量で効率的にモデル化する双軸アーキテクチャを採用し、大規模構造化データにおける既存モデルの計算コストや表現力の限界を克服すると同時に、ゼロショット性能と推論速度の大幅な向上を実現する新しい基盤モデルです。

Zhenghang Song, Tang Qian, Lu Chen, Yushuai Li, Zhengke Hu, Bingbing Fang, Yumeng Song, Junbo Zhao, Sheng Zhang, Tianyi Li

公開日 2026-03-18
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

この論文は、**「FEAT(フィーアット)」**という新しい AI モデルについて紹介しています。

一言で言うと、**「何百万行もある巨大な表(エクセルシートのようなデータ)を、これまでの AI が抱えていた『重すぎて動かない』という問題を解決し、瞬時に分析できる新しい超高性能な AI」**です。

専門用語を排して、日常の比喩を使ってわかりやすく解説します。


1. 従来の AI が抱えていた「3 つの大きな壁」

これまでの AI(特に「基礎モデル」と呼ばれる巨大な AI)は、医療や金融、EC サイトなどの「構造化データ(表形式のデータ)」を分析する際に、3 つの大きな問題に直面していました。

壁①:「全員の顔を見る」には時間がかかりすぎる(計算量の壁)

  • 状況: 従来の AI は、データ分析をする際、**「すべての行(サンプル)と、すべての行をペアで比較する」**という作業をしていました。
  • 比喩: 100 人のパーティーで、**「全員と握手をして、互いの名前を覚えさせる」**ような作業です。
    • 100 人ならまだ大丈夫ですが、100 万人のパーティーになったら、握手の回数は 1 兆回を超えます。
    • これでは、データが増えるたびに計算時間が爆発的に増え、メモリがパンクして AI が止まってしまいます(O(N²) の壁)。

壁②:「順番」に縛られすぎて、意味を失う(表現の壁)

  • 状況: 計算量を減らすために、単純に「順番に読む」AI に変えようとすると、別の問題が起きます。表データは「行の順番」に意味がありません(誰が 1 番目か 2 番目かは重要ではない)が、従来の「順番に読む」AI は、**「後から来た情報ほど重要で、前の情報は忘れがち」**という癖(因果バイアス)を持っています。
  • 比喩: 図書館の本を「順番に並べ替えて」読むようなものです。
    • もし「1 番目の本が重要で、100 番目の本は忘れられる」というルールを作ったら、物語の全体像が理解できなくなります。
    • 表データは「順番」がないのに、無理やり「順番」で処理させると、重要な情報が圧縮されて消えてしまい、AI がバカになってしまいます(表現の崩壊)。

壁③:「現実のノイズ」に弱すぎる(学習の壁)

  • 状況: 現実世界のデータには、極端な外れ値(異常値)や、偏った分布(ヘビーテール)があります。しかし、これまでの AI は「きれいな合成データ」でしか訓練されておらず、「現実の汚いデータ」を見ると、計算が暴走して破綻してしまいます。
  • 比喩: 静かなスタジオで練習してきた歌手が、突然、大騒ぎしているスタジアムで歌おうとして、声が枯れてしまうようなものです。

2. FEAT がどうやって解決したか?

FEAT は、これらの壁をすべて壊すために、**「2 つの異なる役割を持つチーム」「新しい練習方法」**を導入しました。

解決策①:「全員握手」から「効率的な伝言ゲーム」へ

FEAT は、全員と握手をする代わりに、**「情報を効率的に受け渡す」**仕組みを作りました。

  • 仕組み: 行(サンプル)ごとの情報を、**「固定された大きさのメモ帳(隠れ状態)」**にまとめて受け渡していきます。
  • 効果: 100 万人のデータがあっても、メモ帳のサイズは一定なので、計算量は**「データ量に比例して直線的に増えるだけ(O(N))」になります。これにより、100 万行のデータでも、従来の AI より40 倍も速く**処理できます。

解決策②:「2 軸のハイブリッド・チーム」で、順番の呪いを解く

FEAT は、データを処理する際に、2 つの異なるアプローチを組み合わせる「二重の軸(Dual-Axis)」という仕組みを使います。

  1. チーム A(AFBM):「近所の様子を見る」
    • 役割: 前後の行(サンプル)の関係を、双方向(前も後ろも)に素早くキャッチします。
    • 比喩: 「近所の人と会話して、その場の雰囲気を即座に掴む」ような役割です。これにより、行の順番に縛られず、自由に情報をやり取りできます。
  2. チーム B(Conv-GLA):「全体の記憶庫」
    • 役割: 長い間隔を置いたデータ間の関係も忘れないように、**「明示的な記憶庫(メモ帳)」**を持っています。
    • 比喩: 「チーム A が拾った情報を、整理して大きな倉庫に蓄積する」役割です。これにより、最初のデータも最後のデータも、同じ重さで記憶され、重要な情報が失われません。

この 2 つのチームが協力することで、**「計算は速い(線形)」のに「記憶は深く(表現力が高い)」**という、夢のようなバランスを実現しました。

解決策③:「荒れた海での航海訓練」で、強靭な心を作る

FEAT の学習(前学習)では、現実世界の「汚いデータ」を真似した**「ハイブリッドなシミュレーション」**を使います。

  • 比喩: 静かなプールで泳ぐ練習をするのではなく、**「波が高く、突風が吹く荒れた海で、ノイズにまみれながら泳ぐ訓練」**をします。
  • さらに、極端な外れ値(異常値)が出ても計算が暴走しないよう、**「頑丈な損失関数(ハバー損失)」**という新しいルールを採用しました。これにより、どんなにデータが偏っていても、AI は安定して学習を続けられます。

3. 結果:何がすごいのか?

実験の結果、FEAT は以下の驚異的な成果を上げました。

  • スピード: 50 万行のデータを処理する際、従来の AI は「メモリ不足でエラー」か「20 秒以上かかる」のに対し、FEAT は**「0.5 秒程度」**で処理できました(最大 40 倍の高速化)。
  • 精度: 速くなったからといって精度が落ちることはありません。分類(クラス分け)や回帰(数値予測)のタスクにおいて、従来の最高性能モデルと同等、あるいはそれ以上の精度を「ゼロショット(追加学習なし)」で達成しました。
  • 実用性: 医療、金融、EC など、現実世界の巨大なデータセットを、そのまま分析できるようになりました。

まとめ

FEAT は、**「巨大な表データを、従来の AI のように重く遅く処理するのではなく、軽快に、かつ深く理解して分析する新しい AI」**です。

まるで、**「何万人もの参加者がいる大規模な会議で、全員と握手して時間を浪費する代わりに、効率的な伝言ゲームと、賢いメモ帳を使って、瞬時に全員の意見をまとめ上げ、正しい結論を導き出す」**ようなものです。

これにより、医療診断やリスク管理、推薦システムなど、私たちの生活を支える巨大なデータ分析が、これまで以上に速く、正確に行えるようになるでしょう。

自分の分野の論文に埋もれていませんか?

研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。

Digest を試す →