Sintesi Tecnica: Life Sequence Transformer

Definizione del Problema

I registri amministrativi longitudinali contengono informazioni ricche sulle traiettorie degli individui attraverso i mercati del lavoro, della salute, dell'istruzione e altri domini socio-economici. Tuttavia, questi dati sono raramente trattati come strutture sequenziali adatte alla modellazione generativa. Sebbene i modelli generativi basati su Transformer abbiano avuto successo nella simulazione di sistemi dinamici in fisica, chimica e salute (ad esempio, predire gli esiti delle malattie), la loro applicazione alle storie di vita socio-economiche rimane poco esplorata. Altri modelli come Life2Vec (Savcisens et al., 2024) eccellono nei compiti predittivi (ad esempio, la previsione della mortalità) ma mancano di capacità generative per simulare sequenze future. Altri modelli, come CAREER (Vafa et al., 2024) e TransformEHR (Yang et al., 2023), mancano invece di una risoluzione temporale fine o richiedono tempistiche degli eventi predefinite, impedendo la simulazione di percorsi di vita flessibili e controfattuali dove il modello determina quando e per quanto tempo avvengono gli eventi.

Metodologia

Fonte dei Dati e Preprocessamento

Il modello è addestrato sul Work History Italian Panel (WHIP), un campione 1:15 di individui provenienti dall'amministrazione della sicurezza sociale italiana (INPS). Il dataset copre il periodo 1990–2015 e include oltre 4 milioni di individui. Gli autori applicano criteri di selezione rigorosi per trattenere circa 1,65 milioni di traiettorie di vita, garantendo informazioni complete fino al 2015, periodi di osservazione sufficienti e un plausibile attaccamento al mercato del lavoro.

Schema di Codifica Innovativo

Un contributo centrale è un nuovo metodo di codifica che trasforma i dati amministrativi tabulari in una sequenza strutturata di stati socio-economici. A differenza di approcci precedenti che trattano il tempo come una griglia fissa o un attributo ausiliario, questo metodo impone una struttura esplicita di tipo calendariale:

• Struttura Temporale: La storia è divisa in segmenti annuali, ulteriormente suddivisi in 12 intervalli mensili.
• Rappresentazione degli Eventi: Ogni evento lavorativo è codificato come un'unità discreta contenente:
  • Mese di Inizio: <MONTH_X> (1–12).
  • Tipo di Evento: <TYPE_X> (es. occupazione, disoccupazione).
  • Modificatori: Token opzionali per settore (<ATECO_X>), qualifica professionale (<WRK_TITLE_X>) e intensità.
  • Durata: <DUR_X> (in mesi), consentendo lunghezze variabili degli eventi all'interno di un anno.
  • Reddito: Discretizzato in 100 quantili.
• Marker di Sequenza: Token speciali denotano l'inizio della vita (<BOL>), la fine dell'anno (<EOY>) e la fine della vita (<EOL>).
• Attributi Statici: Il background demografico (sesso, anno di nascita, regione) è codificato come token all'inizio della sequenza.
• Embedding Posizionali: Il modello utilizza la posizione assoluta (anno), la posizione relativa (età) e gli standard token position embeddings.

Architettura del Modello

Gli autori propongono un Transformer decoder-only addestrato in modo autoregressivo per predire il token successivo nella sequenza. Le principali modifiche architettoniche includono:

1. Performer Attention: Sostituisce l'attenzione standard per ridurre i parametri addestrabili e migliorare l'efficienza computazionale tramite complessità lineare.
2. Rotary Position Embeddings (RoPE): Adattati per lavorare con la Performer attention per catturare meglio i pattern temporali.
3. Normalizzazione RMS: Applicata prima dei livelli di attenzione e feed-forward per stabilizzare l'addestramento.
4. Time Embeddings: Utilizza un approccio Time2Vec modificato. Crucialmente, gli autori adattano le componenti lineari e periodiche di Time2Vec: allocano più capacità lineare all'embedding dell' "anno" (breve intervallo di 25 anni) e più capacità periodica all'embedding dell' "età" (intervallo di 70 anni) per evitare che il modello perda coerenza quando estrapola oltre il periodo di addestramento.

Il modello consiste in 10 strati di decoder, 8 teste di attenzione (6 locali, 2 globali) e circa 10,1 milioni di parametri.

Contributi Chiave

1. Codifica Innovativa: Un metodo per rappresentare eventi socio-economici sovrapposti come una sequenza di token concettuali con risoluzione temporale flessibile (mese di inizio e durata), consentendo la modellazione di storie di vita che vanno oltre le diagnosi istantanee.
2. Adattamento Generativo: Adattare le tecniche di modellazione generativa per simulare traiettorie di vita alternative plausibili condizionate dalle storie passate, abilitando specificamente la generazione di scenari controfattuali "what-if".
3. Scalabilità dell'Addestramento: Dimostrare la fattibilità dell'addestramento di un Transformer su 1,6 milioni di storie individuali da dati amministrativi per riprodurre pattern realistici del mercato del lavoro.

Risultati Empirici

Predizione del Next-Token

Il modello raggiunge un'accuratezza macro-mediata di 0,7039 e un punteggio F1 di 0,713 sul set di test quando condizionato su 10 anni di storia passata. Le prestazioni migliorano con un contesto storico più lungo, in linea con la stabilità dei pattern di vita nel tempo.

Benchmark Causali

Gli autori valutano la capacità del modello di riprodurre relazioni causali consolidate dalla l'economia del lavoro:

• Indennità di Disoccupazione (Indennità di Mobilità): Il modello cattura la generale relazione positiva tra età e durata del beneficio. Tuttavia, non riesce a riprodurre la netta discontinuità al cutoff politico (età 40) a causa della scarsità di dati (<1% delle sequenze). In ampiezze di banda più larghe (±144 mesi), l'Average Treatment Effect (ATE) del modello si allinea strettamente con le stime empiriche (differenza < 1 mese).
• Penalità della Maternità: Il modello replica con successo i rallentamenti di carriera a lungo termine e la riduzione dei redditi per le donne dopo la nascita di un figlio. Cattura le caratteristiche chiave della dinamica del reddito, sebbene tenda a sottostimare la penalità immediata a breve termine generando un effetto più persistente nel medio-lungo periodo rispetto ai dati empirici.
• Tempistiche di Pensionamento: Il modello riproduce l'effetto del mese di nascita sull'età del pensionamento (gli individui nati a gennaio ritirano la pensione più tardi di quelli nati a dicembre). L'accuratezza di questo effetto è sensibile all'orizzonte di condizionamento; condizionare quattro anni prima del pensionamento produce risultati più vicini ai benchmark empirici rispetto al condizionamento un anno prima.

Generazione Out-of-Sample

Quando genera traiettorie oltre il periodo di addestramento (post-2015), il modello mantiene la coerenza strutturale per circa 7-8 anni in media. Sebbene il 5% delle sequenze rimanga strutturalmente valido dopo 20 anni, la probabilità di fallimento strutturale aumenta esponenzialmente con l'orizzonte di generazione.

Significato e Rivendicazioni

Il paper sostiene di dimostrare la fattibilità della modellazione generativa per le traiettorie socio-economiche. Addestrando il modello su dati amministrativi su larga scala, è possibile generare percorsi di vita sintetici coerenti che riflettono le note relazioni causali senza la necessità di gruppi di controllo esterni.

Gli autori posizionano questo lavoro come uno strumento per la ricerca orientata alle politiche, in particolare per la generazione controfattuale. La capacità di simulare scenari "what-if" (ad esempio, come un percorso di carriera potrebbe differire senza un evento specifico) offre un framework scalabile per la costruzione di controfattuali. Tuttavia, gli autori rimangono modesti, osservando che il modello appiattisce le discontinuità rare guidate da regole e che la definizione di controfattuali (ad esempio, tempistica del trattamento, selezione del gruppo di controllo) influenza significamente i risultati. Essi sottolineano che, sebbene il modello sia in linea con i risultati empirici, esso comporta rischi etici riguardanti i bias strutturali e richiede la supervisione umana per le applicazioni nel processo decisionale automatizzato.