Résumé Technique : Life Sequence Transformer

Énoncé du Problème

Les dossiers administratifs longitudinaux contiennent des informations riches sur les trajectoires individuelles à travers les marchés du travail, la santé, l'éducation et d'autres domaines socio-économiques. Cependant, ces données sont rarement traitées comme des structures séquentielles adaptées à la modélisation générative. Bien que les modèles génératifs basés sur les Transformers aient réussi à simuler des systèmes dynamiques en physique, en chimie et en santé (par exemple, la prédiction de l'issue de maladies), leur application aux histoires de vie socio-économiques reste peu explorée. D'autres modèles comme Life2Vec (Savcisens et al., 2024) excellent dans les tâches prédictives (par exemple, la prédiction de la mortalité) mais manquent de capacités génératives pour simuler des séquences futures. D'autres modèles, tels que CAREER (Vafa et al., 2024) et TransformEHR (Yang et al., 2023), manquent soit d'une résolution temporelle fine, soit nécessitent des chronologies d'événements prédéfinies, empêissant la simulation de parcours de vie flexibles et contrefactuels où le modèle détermine quand et combien de temps les événements se produisent.

Méthodologie

Source de Données et Prétraitement

Le modèle est entraîné sur le Work History Italian Panel (WHIP), un échantillon 1:15 d'individus provenant de l'administration de la sécurité sociale italienne (INPS). Le jeu de données couvre la période 1990–2015 et comprend plus de 4 millions d'individus. Les auteurs appliquent des critères de sélection stricts pour conserver environ 1,65 million de trajectoires de vie, garantissant des informations complètes jusqu'en 2015, des périodes d'observation suffisantes et une présence plausible sur le marché du travail.

Schéma d'Encodage Novateur

Une contribution centrale est un nouveau mode d'encodage qui transforme les données administratives tabulaires en une séquence structurée d'états socio-économiques. Contra à les approches précédentes qui traitent le temps comme une grille fixe ou un attribut auxiliaire, cette méthode impose une structure explicite de type calendrier :

• Structure Temporelle : L'histoire est divisée en segments annuels, eux-mêmes subdivisés en 12 intervalles mensuels.
• Représentation des Événements : Chaque événement de travail est encodé comme une unité discrète contenant :
  • Mois de Début : <MONTH_X> (1–12).
  • Type d'Événement : <TYPE_X> (ex: emploi, chômage).
  • Modificateurs : Tokens optionnels pour le secteur (<ATECO_X>), l'intitulé du poste (<WRK_TITLE_X>) et l'intensité.
  • Durée : <DUR_X> (en mois), permettant des durées d'événages variables au sein d'une même année.
  • Revenu : Discrétisé en 100 quantiles.
• Marqueurs de Séquence : Des tokens spéciaux dénotent le début de la vie (<BOL>), la fin de l'année (<EOY>) et la fin de la vie (<EOL>).
• Attributs Statiques : Le profil démographique (sexe, année de naissance, région) est encodé sous forme de tokens au début de la séquence.
• Embeddings de Position : Le modèle utilise la position absolue (année), la position relative (âge) et des embeddings de position de tokens standards.

Architecture du Modèle

Les auteurs proposent un Transformer de type décodeur seul (decoder-only) entraîné de manière autorégressive pour prédire le prochain token de la séquence. Modifications architecturales clés :

1. Attention Performer : Remplace l'attention standard pour réduire le nombre de paramètres entraînables et améliorer l'efficacité computationnelle via une complexité linéaire.
2. Rotary Position Embeddings (RoPE) : Adaptés pour fonctionner avec l'attention Performer afin de mieux capturer les motifs temporels.
3. Normalisation RMS : Appliquée avant les couches d'attention et de feed-forward pour stabiliser l'entraînement.
4. Embeddings Temporels : Utilise une approche Time2Vec modifiée. Crucialement, les auteurs adaptent les composantes linéaires et périodiques de Time2Vec : ils allouent plus de capacité linéaire à l'embedding de l'« année » (courte plage de 25 ans) et plus de capacité périodique à l'embedding de l'« âge » (plage de 70 ans) pour éviter que le modèle ne perde sa cohérence lors de l'extrapolation au-delà de la période d'entraînement.

Le modèle se compose de 10 couches de décodeur, 8 têtes d'attention (6 locales, 2 globales) et d'environ 10,1 millions de paramètres.

Contributions Clés

1. Encodage Novateur : Une méthode pour représenter des événements socio-économiques chevauchants comme une séquence de tokens de concepts avec une résolution temporelle flexible (mois de début et durée), permettant la modélisation d'histoires de vie qui s'étendent au-delà des diagnostics instantanés.
2. Adaptation Générative : Adaptation des techniques de modélisation générative pour simuler des trajectoires de vie alternatives plausibles conditionnées par les antécédents, permettant spécifiquement la génération de scénarios contrefactuels de type « et si ».
3. Entraînement Scalable : Démonstration de la faisabilité de l'entraînement d'un Transformer sur 1,6 million d'histoires individuelles issues de données administratives pour reproduire des schémas réalistes du marché du travail.

Résultats Empiriques

Prédiction du Prochain Token

Le modèle atteint une précision moyenne macro de 0,7039 et un score F1 de 0,713 sur l'ensemble de test lorsqu'il est conditionné par 10 ans d'antécédents. La performance s'améliore avec un contexte historique plus long, ce qui est cohérent avec la stabilité des schémas de vie au fil du temps.

Benchmarks Causaux

Les auteurs évaluent la capacité du modèle à reproduire les relations causales établies de l'économie du travail :

• Allocations de Chômage (Allocation de Mobilité) : Le modèle capture la relation positive générale entre l'âge et la durée de l'allocation. Cependant, il échoue à reproduire la discontinuité nette au seuil de politique (âge de 40 ans) en raison de la rareté des données (<1 % des séquences). Dans des bandes passantes plus larges (±144 mois), l'Effet de Traitement Moyen (ATE) du modèle s'aligne étroitement sur les estimations empiriques (différence < 1 mois).
• Pénalité de Maternité : Le modèle reproduit avec succès les reculs de carrière à long terme et la réduction des revenus pour les femmes après l'accouchement. Il capture les caractéristiques clés de la dynamique des revenus, bien qu'il ait tendance à sous-estimer la pénalité immédiate à court terme tout en générant un effet plus persistant à moyen et long terme par rapport aux données empiriques.
• Moment de la Retraite : Le modèle reproduit l'effet du mois de naissance sur l'âge de la retraite (les individus nés en janvier prennent leur retraite plus tard que ceux nés en décembre). La précision de cet effet est sensible à l'horizon de conditionnement ; un conditionnement quatre ans avant la retraite produit des résultats plus proches des benchmarks empiriques qu'un conditionnement un an auparavant.

Génération Hors-Échantillon

Lors de la génération de trajectoires au-delà de la période d'entraînement (post-2015), le modèle maintient une cohérence structurelle pendant environ 7 à 8 ans en moyenne. Bien que 5 % des séquences restent structurellement valides après 20 ans, la probabilité de défaillance structurelle augmente exponentiellement avec l'horizon de génération.

Signification et Revendications

L'article affirme démontrer la faisabilité de la modélisation générative pour les trajectoires socio-économiques. En s'entraînant sur des données administratives à grande échelle, le modèle peut générer des parcours de vie synthétiques cohérents qui reflètent des relations causales connues sans nécessiter de groupes de contrôle externes.

Les auteurs positionnent ce travail comme un outil pour la recherche orientée vers les politiques publiques, particulièrement pour la génération de contrefactuels. La capacité de simuler des scénarios « et si » (par exemple, comment un parcours de carrière pourrait différer sans un événement spécifique) offre un cadre évolutif pour construire des contrefactuels. Cependant, les auteurs restent modestes, notant que le modèle lisse les discontinuités rares dictées par des règles et que la définition des contrefactuels (par exemple, le moment du traitement, la sélection du groupe de contrôle) influence considérablement les résultats. Ils soulignent que bien que le modèle s'aligne sur les conclusions empiriques, il comporte des risques éthiques concernant les biais structurels et nécessite une supervision humaine pour les applications de prise de décision automatisée.