技術要約：Life Sequence Transformer

問題提起

長期的な行政記録には、労働市場、健康、教育、およびその他の社会経済的領域における個人の軌跡に関する豊かな情報が含まれている。しかし、これらのデータが生成モデリングに適した逐次構造として扱われることは稀である。Transformerベースの生成モデルは、物理学、化学、健康（例：疾患アウトカムの予測）における動的システムのシミュレーションに成功しているが、社会経済的なライフヒストリーへの適用は未だ探索の余地がある。既存のモデルであるLife2Vec（Savcisens et al., 2024）は予測タスク（例：死亡率予測）には優れているが、将来のシーケンスをシミュレートする生成能力を欠いている。また、CAREER（Vafa et al., 2024）やTransformEHR（Yang et al., 2023）といった他のモデルは、きめ細かな時間解像度が不足しているか、あるいは事前に定義されたイベントのタイミングを必要とするため、モデルが「いつ」「どのくらいの期間」イベントが発生するかを決定できるような、柔軟で反事実的なライフパスのシミュレーションを妨げている。

メソドロジー

データソースと前処理

本モデルは、イタリアの社会保障管理機関（INPS）からの1:15のサンプルであるWork History Italian Panel (WHIP)を用いて学習されている。このデータセットは1990年から2015年をカバーしており、400万人以上の個人を含んでいる。著者らは、2015年までの完全な情報、十分な観察期間、および妥当な労働力への付着を確保するために厳格な選択基準を適用し、約165万件のライフ・トラジェトリーを保持している。

新規なエンコーディング・スキーム

核心となる貢献は、表形式の行政データを構造化された社会経済状態のシーケンスへと変換する新規なエンコーディング手法である。時間を固定されたグリッドや補助的な属性として扱う従来のアプローチとは異なり、この手法は明示的なカレンダーのような構造を課す：

• 時間構造： ヒストリーは年単位のセグメントに分割され、さらに12ヶ月の区間に細分化される。
• イベント表現： 各労働イベントは以下の要素を含む離散的なユニットとしてエンコードされる：
  • 開始月： <MONTH_X> (1–12)。
  • イベントタイプ： <TYPE_X> (例：雇用、失業)。
  • 修飾子： セクター (<ATECO_X>)、職種 (<WRK_TITLE_X>)、および強度を表すオプションのトークン。
  • 期間： <DUR_X> (月単位)。これにより、年内での可変的なイベントの長さを許容する。
  • 所得： 100の分位数に離散化。
• シーケンスマーカー： 生の始まり (<BOL>)、年の終わり (<EOY>)、および生の終わり (<EOL>) を示す特殊トークン。
• 静的属性： 人口統計学的背景（性別、出生年、地域）は、シーケンスの開始時にトークンとしてエンコードされる。
• 位置エンコーディング： モデルは絶対位置（年）、相対位置（年齢）、および標準的なトークン位置エンコーディングを利用する。

モデルアーキテクチャ

著者らは、シーケンス内の次のトークンを自己回帰的に予測するように訓練されたデコーダーのみのTransformerを提案している。主なアーキテクチャ上の変更点は以下の通りである：

1. Performer Attention： 標準的なアテンションに代わり、線形計算量によるパラメータ削減と計算効率の向上を実現するPerformer Attentionを採用。
2. Rotary Position Embeddings (RoPE)： 時間的パターンをより良く捉えるために、Performer attentionと適合するように調整されたRoPEを採用。
3. RMS Normalisation： アテンション層およびフィードフォワード層の前に適用され、学習を安定させる。
4. Time Embeddings： 改良されたTime2Vecアプローチを使用。決定的な点として、著者らはTime2Vecの線形成分と周期成分を適応させている。具体的には、「年」のエンコーディング（短い25年間の範囲）にはより多くの線形容量を、「年齢」のエンコーディング（70年間の範囲）にはより多くの周期容量を割り当てることで、訓練期間を超えて外挿する際にモデルが整合性を失うのを防いでいる。

モデルは10個のデコーダー層、8つのアテンションヘッド（ローカル6つ、グローバル2つ）、および約1,010万個のパラメータで構成されている。

主な貢献

1. 新規なエンコーディング： 重複する社会経済的イベントを、柔軟な時間解像度（開始月と期間）を持つ概念トークンのシーケンスとして表現する手法。これにより、瞬間的な診断を超えたライフヒストリーのモデリングが可能になる。
2. 生成への適応： 生成モデリング技術を、過去の履歴に基づいた妥当な代替ライフ・トラジェトリーのシミュレーションに応用し、特に反事実的な「もしも」のシナリオの生成を可能にした。
3. スケーラブルな学習： 160万件の個人のヒストリーからなる行政データを用いてTransformerを訓練し、現実的な労働市場パターンを再現できることを示した。

実証結果

次トークン予測

モデルは、過去10年間の履歴を条件とした場合、テストセットにおいてマクロ平均精度0.7039、F1スコア0.713を達成した。性能は、より長い歴史的コンテキストとともに向上しており、これは時間の経過に伴うライフパターンの安定性と一致している。

因果関係のベンチマーク

著者らは、労働経済学における確立された因果関係を再現する能力を評価している：

• 失業給付（移動手当）： モデルは、年齢と給付期間の間の一般的な正の関係を捉えている。ただし、データの不足（シーケンスの1%未満）により、政策上のカットオフ（年齢40歳）における急激な不連続性は再現できていない。より広いバンド幅（±144ヶ月）では、モデルの平均処置効果（ATE）は実証的な推定値と密接に一致している（差は1ヶ月未満）。
• マザーフッド・ペナルティ（出産による不利益）： モデルは、出産後の女性における長期的なキャリアの停滞と所得減少を正常に再現している。所得ダイナミクスの主要な特徴を捉えているが、即時的な短期的なペナルティを過小評価する傾向があり、一方で実証データと比較して中長期的な影響をより持続的なものとして生成する傾向がある。
• 退職時期： モデルは、出生月が退職年齢に与える影響（1月生まれの個人は12月生まれよりも退職が遅い）を再現している。この効果の正確性は条件付けのホライゾンに敏感であり、退職の4年前に条件付けを行う方が、1年前に条件付けを行うよりも実証的なベンチマークに近い結果が得られる。

アウトオブサンプル生成

訓練期間（2015年以降）を超えて生成を行う際、モデルは平均して約7〜8年間は構造的な整合性を維持する。20年後も構造的に有効なシーケンスは5%存在するが、生成ホライゾンが長くなるにつれて構造的失敗の確率が指数関数的に増加する。

意義と主張

本論文は、社会経済的軌跡に対する生成モデリングの実現可能性を示すものであると主張している。大規模な行政データを用いて訓練することで、外部の対照群を必要とせずに、既知の因果関係を反映した一貫性のある合成ライフパスを生成できる。

著者らは、本研究を特に反事実的生成のための政策指向の研究ツールとして位置づけている。「もし特定のイベントがなかったら、キャリアパスはどう変わっていたか」といった「もしも」のシナリオをシミュレートする能力は、反事実を構築するためのスケーラブルな枠組みを提供する。しかし、著者らは、モデルが稀なルール駆動型の不連続性を平滑化してしまうこと、および反事実の定義（処置のタイミングや対照群の選択など）が結果に大きく影響することを指摘し、謙虚な姿勢を保っている。彼らは、モデルが実証的な知見と一致している一方で、構造的なバイアスに関する倫理的リスクを孕んでおり、自動意思決定への適用には人間の監視が必要であることを強調している。