NEST: Nested Event Stream Transformer for Sequences of Multisets
本論文は、既存の平坦化モデルの計算的非効率性と表現の限界を克服するためにイベントシーケンス（マルチセットのシーケンス）の階層構造を保持するネスト型イベントストリームトランスフォーマーであるNESTを導入し、事前学習の効率性と下流タスクのパフォーマンスの両方を向上させる Novel なマスク付きセットモデリングパラダイムを活用する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
患者の病歴や、おそらく顧客の購買習慣を理解しようとしていると想像してみてください。現実世界では、これらの出来事は真珠が糸に並ぶように、完璧な直線上で一つずつ発生するわけではありません。代わりに、それらはグループとして発生します。
- 病院では: 医師が患者を診察します（これを「診察」と呼びます）。その受診中、患者は血液検査、処方箋、診断を一度に受け取るかもしれません。これら 3 つの正確な順序は重要ではないか、記録が乱雑である可能性があります。しかし、そのイベントのグループは、その特定の受診に属します。
- 食料品店では: 顧客が買い物をします。彼らは牛乳、パン、卵をカートに入れます。その「カゴ」はグループです。彼らが商品を手に取った順序は重要ではなく、重要なのはカゴ全体です。
現在の AI モデル（トランスフォーマーと呼ばれるもの）の多くは、これらのグループを単一の長いイベントの列に平坦化しようとします。彼らは、牛乳、パン、卵が同じ買い物の一部であったことを無視して、それらが次々と発生したかのように扱います。これは、どのシーンが一緒なのか分からない状態で、映画のすべてのフレームのリストを見て理解しようとするようなものです。これは計算コストが高く、しばしば全体像を見失います。
NEST（Nested Event Stream Transformer）の登場です。
この論文の著者たちは、これらの自然なグループを尊重する新しい AI モデルNESTを構築しました。それがどのように機能するかを、簡単なアナロジーを用いて説明します。
1. 2 段階のダンス（アーキテクチャ）
データを平坦化するのではなく、NEST は（病院の受診や買い物カゴのような）「グループ」をそのまま維持します。それは脳の各層内で、巧妙な 2 段階のプロセスを使用します。
- ステップ A: グループの集まり（セットワイズエンコーダ）: まず、モデルは 1 つのグループ（例えば、1 回の病院受診）を見て、そのグループ内のすべてのイベントが互いに話し合うようにします。それは、その受診内で何が起きたかを把握します。これは、全員が自分の特定のタスクについて話し合うチーム会議のようなものです。
- ステップ B: グローバルな円卓会議（クロスセットエンコーダ）: 次に、モデルは各グループの「キャプテン」（
[CLS]という特別なトークン）を見ています。これらのキャプテンは、それぞれのグループで何があったかをタイムラインの残りの部分と共有するために集まります。これにより、モデルは受診 A が受診 B とどのように関連しているかを理解するのを助けます。
マジックトリック: ほとんどのモデルは、すべてのグループに対してステップ A を行った後、すべてのグループに対してステップ B を行います。NEST はこれらを交互に行います。少しステップ A を行い、次に少しステップ B を行い、そして再びステップ A に戻ります。
- これが重要な理由: リレー競争を想像してください。バトンを渡す前に最初の区間全体を走ると、途中で何らかの情報を失う可能性があります。NEST はバトンを絶えず行き来させます。これにより、モデルが全体像を理解しようとする際に、特定のイベントからの詳細が失われることがありません。この論文は、この「バイパス」が古い方法よりも多くの情報を生かすことを数学的に証明しています。
2. 「キャプテンの報告」（マスクドセットモデリング）
古い方法では、AI がすべてのデータを処理した後、1 つのスコアに全体の受診を要約する方法を推測する必要がありました。これは、学生に vague なヒントしか与えずに、本の一節全体を要約するように求めるようなものでした。
NEST は、**マスクドセットモデリング（MSM）**と呼ばれる新しいトレーニングゲームを導入します。
- 仕組み: モデルはイベントのグループ（買い物カゴなど）を見せられますが、実際のアイテムは隠された状態で、そのグループの「キャプテン」トークンに基づいてそのグループの内容を推測しなければなりません。
- 結果: これにより、「キャプテン」トークンはグループ全体の完璧な要約になるように強制されます。後で乱雑な推測による要約を必要とする代わりに、モデルは将来のあらゆるタスクに使用できる高品質な要約をすでに用意しています。
3. なぜ優れているのか（結果）
著者たちは NEST を現実世界のデータでテストしました。
- 医療記録（EHR）: 彼らは病院（MIMIC-IV）と民間の小児データベースからのデータを使用しました。
- 買い物: 彼らは食料品データ（Instacart）を使用しました。
発見:
- より速く、軽量: NEST はグループを尊重するため、すべての単一のイベント間の接続を計算する必要がありません。グループ内とグループキャプテン間の接続のみを計算します。これにより、より多くの「脳力」（パラメータ）を持っていても、古いモデルよりも高速で、より少ないコンピュータメモリを使用します。
- より賢い予測: NEST は以下のようなことを予測する上で優れていました。
- 患者は入院中に亡くなるでしょうか？
- 患者は 30 日以内に再入院するでしょうか？
- 顧客は次にどのアイテムを購入するでしょうか？
- 「ポストプロセッシング」不要: モデルはトレーニング中にグループを要約することを学習したため、データを理解するためにトレーニング後に不器用なヒューリスティックなトリックを使用する必要はありませんでした。要約はすぐに使用可能な状態でした。
まとめ
NEST を、ついに文脈が重要であることを理解したモデルだと考えてください。それは、同じ病院受診中に与えられた血液検査と処方箋がチームであり、そのチームが患者の人生というより大きな物語の一部であることを知っています。これらのグループを一緒に保ち、それらが効率的に通信できるようにすることで、NEST は、すべてを単一の長い列に押し込めようとするモデルよりも、速く学習し、より少ないエネルギーを使用し、より良い予測を行います。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。