PRAGMA: Revolut Foundation Model

この論文は、多様な銀行イベントデータから自己教師あり学習を用いて事前学習されたトランスフォーマーベースの基盤モデル「PRAGMA」を提案し、クレジットスコアリングや不正検出などの下流タスクにおいて、生イベントシーケンスから直接優れた性能を発揮することを示しています。

要約

PRAGMA：銀行の「記憶と直感」を学ぶ AI の物語

この論文は、Revolut（リボラット）と NVIDIA が共同で開発した**「PRAGMA（プラグマ）」**という新しい AI モデルについて紹介しています。

これを一言で言うと、**「銀行の膨大な取引履歴やユーザーの行動を、まるで人間の経験のように理解し、あらゆる金融タスクに使える『万能な頭脳』を作った」**という話です。

専門用語を捨てて、日常の例え話で解説しましょう。

---

1. 従来の問題：「辞書」だけでは足りない

これまでの銀行システムは、新しいタスク（例：「この人は詐欺犯か？」「この人にカードを貸すべきか？」）を処理するたびに、**「そのタスク専用の新しい辞書とルール」**をゼロから作っていました。

• 例え話：
  • 「詐欺を見抜く専門家」を雇うには、詐欺の辞書を作る。
  • 「クレジットカードの審査をする専門家」を雇うには、審査の辞書を作る。
  • 「顧客に何を勧めるか考える専門家」を雇うには、勧誘の辞書を作る。

これでは、専門家が何百人も必要になり、知識もバラバラで、効率が悪いです。さらに、銀行のデータは「テキスト（文章）」だけでなく、「金額」「日時」「商品名」など、形も長さもバラバラな情報（イベント）の羅列です。これを普通の AI（文章を読む AI）にそのまま読ませると、数字がバラバラに分解されて意味を失ったり、データが長すぎてパンクしたりしてしまいます。

2. PRAGMA の登場：「経験豊富な大先輩」

PRAGMA は、**「銀行の歴史そのものを丸ごと読んだ、経験豊富な大先輩」**のような存在です。

• 何をしたのか？
  • 2600 万人のユーザー、240 億件の取引データ（2070 億トークン！）を、**「穴埋めクイズ」**形式で学習させました。
  • 「この人が『100 円』を『送金』した直後に、何をしたか？」といった文脈を、文章の続きを予測するように学習させたのです。
  • これにより、特定のルールを教えるのではなく、「金融データが持つ『雰囲気』や『パターン』」を直感的に理解する力を身につけました。

3. 仕組み：3 つの「感覚」で理解する

PRAGMA は、データを理解するために 3 つの特別な感覚（エンコーダー）を持っています。

1. プロフィールの感覚（プロフィール・ステート・エンコーダー）：
   • 「この人は 25 歳、金属プラン会員、イギリス在住」といった**「変わらない基本情報」**を理解します。
   • 例え： 相手の「顔立ち」や「服装」を見て、基本的な属性を把握する。
2. 出来事の感覚（イベント・エンコーダー）：
   • 「10 時にコーヒーを買った」「11 時にアプリを開いた」といった**「過去の行動履歴」**を理解します。
   • 例え： 相手の「過去の行動」や「会話の流れ」を追う。
3. 時間の感覚（ヒストリー・エンコーダー）：
   • これらを**「時間軸」**でつなぎ合わせ、全体像を把握します。
   • 例え： 「顔立ち（基本情報）」と「行動（履歴）」を組み合わせ、「今、この人が何を考えているか」を総合的に判断する。

4. すごいところ：「少量の学習」で何でもできる

一度「大先輩（ベースモデル）」として育て上げると、新しい仕事をするときは、**「軽微な指導（LoRA 微調整）」**だけで即戦力になります。

• 従来の方法： 新人をゼロから育てるのに 1 年かかる。
• PRAGMA の方法： 大先輩がすでに経験豊富なので、「詐欺検知なら、ここを少し注意して」と教えるだけで、数時間でプロ級の精度を出せる。

【実際の成果】

• 与信審査（クレジットカードの貸し出し）： 従来の専門モデルより130% 以上も精度が向上（見落としが減った）。
• 詐欺検知： 見逃し（リコール）が64% 増に。
• 顧客の生涯価値（LTV）： どの顧客が儲かるか予測する精度も向上。

5. 限界と未来：「一人では見えないもの」

この AI も万能ではありません。
**「お金の洗浄（マネーロンダリング）」のような、「複数の人の行動を結びつけて怪しい動きを見つける」**タスクでは、まだ従来のシステムに劣ります。

• 例え話：
  • PRAGMA は「一人の人の履歴」を深く理解する天才ですが、「A さんが B さんに送金し、B さんが C さんに送金し…」という**「人間関係のネットワーク」**全体を見るのは苦手です。
  • 今後は、この「つながり」も理解できるように進化させることが次の目標です。

まとめ

PRAGMA は、銀行の膨大なデータを「テキスト」としてではなく、「生きた経験」として学習させた画期的な AI です。

• 従来の AI： 「このルールなら NG、このルールなら OK」という**「マニュアル」**。
• PRAGMA： 「このパターンは怪しい気がする」「この行動は良い顧客の兆候だ」という**「直感と経験」**。

これにより、銀行は「一つの大脳」で、詐欺検知から商品推薦まで、あらゆる業務を効率よく、かつ高精度に行えるようになりました。まるで、銀行全体に「天才的な銀行員」が一人、常駐しているような状態です。

技術概要

PRAGMA: 多ソース銀行イベントシーケンスのための基盤モデル

技術的サマリー（日本語）

本論文は、Revolut Research と NVIDIA が共同で開発した、PRAGMA（多ソース銀行ユーザー履歴のためのエンコーダ型基盤モデルファミリー）を提案するものです。金融機関が生成する膨大なトランザクションおよびイベントデータを効率的に学習し、多様な下流タスクに汎用的に適用可能な表現を学習することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

現代の銀行やフィンテック企業は、カード取引、送金、アプリ内ナビゲーション、顧客コミュニケーション、静的なプロファイル情報（アカウントの保有期間やプランなど）など、多岐にわたるデータソースから膨大な量のイベントストリームを蓄積しています。これらのデータにはリスク管理や製品分析に不可欠な経済的シグナルが含まれていますが、既存の手法には以下の限界がありました。

• 構造化データの扱いの難しさ: 標準的な言語モデル（LLM）のトークナイゼーション（テキスト化）をそのまま適用すると、フィールド名や区切り文字が不要なトークンとして膨張し、シーケンス長が過剰に長くなります。また、数値が桁ごとに分割されるため、金融推論に必要な「大きさ」や「順序」の情報が失われます。
• データの多様性と不規則性: 銀行の履歴は、イベントごとのフィールド数（変数長）、カテゴリ・数値・自由テキストの混在、時間的な不規則性（長期・短期のサイクル）が特徴です。
• タスク固有モデルの非効率性: 現在のプラクティスは、各タスク（与信スコアリング、詐欺検知など）ごとに特徴量を設計し、個別のモデルを構築するアプローチが主流です。これにより、ドメイン間の統計的強さの共有が困難になっています。

既存の金融基盤モデルは、テキスト処理や汎用的な時系列処理に特化しており、静的なプロファイル状態を明示的に組み込んだ多ソースエンコーダバックボーンは不足していました。

2. 手法 (Methodology)

PRAGMA は、大規模な銀行イベントコーパス上で自己教師あり学習（Masked Modelling）を行うエンコーダ型 Transformer アーキテクチャです。

2.1 データセットと前処理

• データ規模: 111 か国、2600 万件のユーザー記録、240 億のイベント、合計 2070 億トークンから構成されます。
• トークナイゼーション（Key-Value-Time）:
  • Key（セマンティックタイプ）: フィールド名（例：Type, Amount）を単一トークンとしてエンコード。
  • Value: 数値はパーセンタイルバケット化、カテゴリ値は単一トークン、テキストは BPE 方式でサブワード化。
  • Time: 直前のイベントからの経過時間（対数変換）と、カレンダー特徴（曜日、時刻など）を組み合わせ、イベントの時間的コンテキストを保持。
• プロファイル状態（Profile State）: アカウント残高、プラン、地域などの静的属性を、イベント履歴とは別に「ライフロングイベント」として扱い、評価時点までの時間的距離を計算してエンコードします。

2.2 アーキテクチャ

PRAGMA は 3 つの主要なエンコーダブロックで構成される双方向 Transformer です。

1. Profile State Encoder: 静的なプロファイル情報を処理。
2. Event Encoder: 各イベントを独立して処理し、カレンダー特徴を付加。
3. History Encoder: 上記 2 つの出力を結合し、ユーザー履歴全体の文脈を考慮した最終的な埋め込みベクトルを生成。

• モデルサイズ: 10M (S), 100M (M), 1B (L) パラメータの 3 種類を提供。

2.3 学習戦略

• 事前学習: 入力トークンの一部をマスクし、元のトークンを復元する MLM（Masked Language Modeling）タスクで学習。イベントレベル、キーレベル、トークンレベルのマスク戦略を組み合わせ、部分的な観測からの復元能力を強化。
• 下流タスクへの適応:
  • Embedding Probe: バックボーンを固定し、抽出された埋め込みベクトルの上に軽量な線形モデルを学習。
  • LoRA Fine-tuning: 事前学習済みモデルの重みの一部（Attention および MLP 層の投影行列）のみを低ランク適応（LoRA）で更新。パラメータの 2-4% しか更新せず、タスク特化を高速かつ効率的に行います。

2.4 工学上の工夫

• シーケンスパッキングと動的バッチング: 長さが異なるイベント履歴を効率的に処理するため、パディングを排除し、GPU メモリに収まるように動的にパッキングする手法を採用。これにより、トレーニングスループットを 2-5 倍向上させました。

3. 主要な貢献 (Key Contributions)

1. 多ソース銀行イベント用基盤モデルの提案: 10M から 1B パラメータまでスケーリング可能なエンコーダ型基盤モデル「PRAGMA」を公開。これは、消費者向け銀行イベントシーケンスにおける最大規模の公開エンコーダバックボーンです。
2. 効率的な事前学習レシピ: 長くて不規則な銀行履歴向けに、Masked Modelling、シーケンスパッキング、動的バッチングを組み合わせた学習手法を確立。LoRA による微調整が、ゼロから学習するモデルと同等かそれ以上の性能を発揮することを示しました。
3. 広範なタスクでの評価: 与信スコアリング、詐欺検知、LTV 予測、コミュニケーションエンゲージメント、製品推薦など、6 つの多様なタスクで単一のバックボーンを評価。従来のタスク固有モデルを凌駕する性能を達成しました。

4. 結果 (Results)

内部ベンチマーク（絶対値は機密のため相対改善率のみ報告）において、PRAGMA は以下の成果を上げました。

• タスク固有モデルとの比較: ほぼすべてのドメインで、手作業で設計された特徴量を持つ強固なベースラインを凌駕しました。
  • 与信スコアリング: PR-AUC で +130.2%、ROC-AUC で +12.4% の改善。
  • コミュニケーションエンゲージメント: PR-AUC で +79.4%、ROC-AUC で +20.4% の改善。
  • 外部詐欺検知: プレシジョン +16.7%、リコール +64.7% の改善。
  • 製品推薦: mAP で +40.5% の改善。
• モデルサイズの影響: 1B パラメータの大型モデルは、特に難しいタスク（与信スコアリングなど）で顕著な性能向上を示しましたが、10M パラメータの小型モデルでも LTV 予測やリカレント取引検知などでは競争力のある性能を発揮しました。
• LoRA 微調整の有効性: 事前学習済みモデルを LoRA で微調整した場合、ゼロから学習させたモデルよりも高い性能（例：コミュニケーションエンゲージメントで PR-AUC +18.6%）を示し、パラメータ効率の良さを証明しました。
• プロファイル状態の重要性: 静的なプロファイル情報をエンコードする専用ブランチを削除すると、与信スコアリングの性能が大幅に低下（PR-AUC -31.8%）しました。これは、静的な属性が特定のタスクにおいて不可欠であることを示しています。
• 限界（AML）: 反マネーロンダリング（AML）タスクでは、ネットワーク構造（記録間の関係性）を考慮できないため、ベースラインより性能が低下しました（F0.5 で -47.1%）。これは、孤立したレコード履歴のみを処理するモデルの限界を示しています。

5. 意義と結論 (Significance)

PRAGMA は、金融データが持つ「構造化された多様性」「不規則なタイミング」「プライバシー制約」という課題に対し、Transformer アーキテクチャを適応させることで、テキストや画像と同様に転移可能な汎用表現を学習できることを実証しました。

• 実用性: 単一の基盤モデルで複数のタスクをカバーできるため、タスク固有モデルのメンテナンスコストを削減し、統計的強さを共有できます。
• 効率性: LoRA 微調整により、大規模モデルを低コストで特定タスクに特化させることが可能であり、生産環境での導入が現実的です。
• 将来展望: 現在のモデルは孤立したレコードを処理しますが、AML のような「記録間の関係性」が重要なタスクに対応するためには、グラフ構造や相互依存性を考慮した拡張が今後の課題となります。

総じて、PRAGMA は金融アプリケーションのための汎用的な表現レイヤーとして機能し、銀行データ分析のパラダイムを「手作業の特徴量設計」から「基盤モデルによる表現学習」へと転換する可能性を示唆しています。