Technische Samenvatting: Life Sequence Transformer

Probleemstelling

Longitudinale administratieve gegevens bevatten rijke informatie over de trajecten van individuen door arbeidsmarkten, gezondheid, onderwijs en andere sociaaleconomische domeinen. Deze gegevens worden echter zelden behandeld als sequentiële structuren die geschikt zijn voor generatieve modellering. Hoewel Transformer-gebaseerde generatieve modellen succesvol dynamische systemen hebben gesimuleerd in de natuurkunde, chemie en gezondheidszorg (bijv. het voorspellen van ziekteuitkomsten), blijft hun toepassing op sociaaleconomische levensgeschiedenissen onderbelicht. Bestaande modellen zoals Life2Vec (Savcisens et al., 2024) blinken uit in predictieve taken (bijv. mortaliteitspredictie), maar missen de generatieve capaciteiten om toekomstige sequenties te simuleren. Andere modellen, zoals CAREER (Vafa et al., 2024) en TransformEHR (Yang et al., 2023), missen ofwel een fijnmazige temporele resolutie of vereisen vooraf gedefinieerde gebeidstijden, wat de simulatie van flexibele, contrafeitelijke levenspaden verhindert waarbij het model bepaalt wanneer en hoe lang gebeurtenissen plaatsvinden.

Methodologie

Databron en Preprocessing

Het model wordt getraind op de Work History Italian Panel (WHIP), een 1:15 steekproef van individuen uit de Italiaanse sociale zekerheidsadministratie (INPS). De dataset beslaat 1990–2015 en bevat meer dan 4 miljoen individuen. De auteurs passen strikte selectiecriteria toe om ongeveer 1,65 miljoen levenstrajecten te behouden, wat zorgt voor volledige informatie tot 2015, voldoende observatieperioden en een plausibele betrokkenheid bij de arbeidsmarkt.

Nieuw Encoding-schema

Een kernbijdrage is een nieuw encoding-methode die tabulaire administratieve gegevens transformeert naar een gestructureerde sequentie van sociaaleconomische staten. In tegen tegenstelling tot eerdere benaderingen die tijd behandelen als een vast raster of een hulpattribuut, legt deze methode een expliciete kalenderachtige structuur op:

• Temporele Structuur: De geschiedenis is verdeeld in jaarlijkse segmenten, die verder zijn onderverdeeld in 12 maandelijkheden.
• Representatie van Gebeurtenissen: Elke arbeid gebeurtenis wordt gecodeerd als een discrete eenheid die het volgende bevat:
  • Startmaand: <MONTH_X> (1–12).
  • Type Gebeurtenis: <TYPE_X> (bijv. werkzaam, werkloosheid).
  • Modifiers: Optionele tokens voor sector (<ATECO_X), functietitel (<WRK_TITLE_X) en intensiteit.
  • Duur: <DUR_X> (in maanden), waardoor variabele gebeurtenislengtes binnen een jaar mogelijk zijn.
  • Inkomen: Gediscretiseerd in 100 kwantielen.
• Sequentie-markers: Speciale tokens duiden het begin van het leven (<BOL>), het einde van het jaar (<EOY>) en het einde van het leven (<EOL>) aan.
• Statische Attributen: Demografische achtergrond (geslacht, geboortejaar, regio) wordt gecodeerd als tokens aan het begin van de sequentie.
• Positional Embeddings: Het model maakt gebruik van absolute positie (jaar), relatieve positie (leeftijd) en standaard token-positie-embeddings.

Modelarchitectuur

De auteurs stellen een decoder-only Transformer voor die autoregressief wordt getraind om het volgende token in de sequentie te voorspellen. Belangrijke architecturale wijzigingen zijn:

1. Performer Attention: Vervangt standaard aandacht om het aantal trainbare parameters te verminderen en de computationele efficiëntie te verbeteren via lineaire complexiteit.
2. Rotary Position Embeddings (RoPE): Aangepast om te werken met Performer attention om temporele patronen beter te vangen.
3. RMS Normalisatie: Toegepast vóór de attention- en feed-forward lagen om de training te stabiliseren.
4. Time Embeddings: Gebruikt een aangepaste Time2Vec-benadering. Cruciaal is dat de auteurs de lineaire en periodieke componenten van Time2Vec hebben aangepast: ze wijzen meer lineaire capaciteit toe aan de "jaar"-embedding (korte 25-jarige range) en meer periodieke capaciteit aan de "leeftijd"-embedding (70-jarige range) om te voorkomen dat het model de coherentie verliest bij extrapolatie buiten de trainingsperiode.

Het model bestaat uit 10 decoderlagen, 8 attention heads (6 lokaal, 2 globaal) en ongeveer 10,1 miljoen parameters.

Belangrijkste Bijdragen

1. Nieuwe Encoding: Een methode om overlappende sociaaleconomische gebeurtenissen te representeren als een sequentie van concept-tokens met een flexibele temporele resolutie (startmaand en duur), wat het modelleren van levensgeschieden die verder gaan dan instantane diagnoses mogelijk maakt.
2. Generatieve Adaptatie: Het aanpassen van generatieve modelleringstechnieken om plausibele alternatieve levenspaden te simuleren, geconditioneerd op eerdere geschiedenissen, wat specifiek de generatie van contrafeitelijke "wat-als" scenario's mogelijk maakt.
3. Schaalbare Training: Het aantonen van de haalbaarheid van het trainen van een Transformer op 1,6 miljoen individuele geschiedenissen uit administratieve gegevens om realistische arbeidsmarktpatronen te reproduceren.

Empirische Resultaten

Next-Token Predictie

Het model bereikt een macro-gemiddelde nauwkeurigheid van 0,7039 en een F1-score van 0,713 op de testset wanneer het geconditioneerd is op 10 jaar aan historische context. De prestaties verbeteren met een langere historische context, wat consistent is met de stabiliteit van levenspatronen over de tijd.

Causale Benchmarks

De auteurs evalueren het vermogen van het model om gevestigde causale relaties uit de arbeidseconomie te reproduceren:

• Werkloosheidsuitkeringen (Mobiliteitsvergoeding): Het model vangt de algemene positieve relatie tussen leeftijd en de duur van de uitkering op. Het slaagt er echter niet in de scherpe discontinuïteit bij de beleidsgrens (leeftijd 40) te reproduceren vanwege gegevensschaarste (<1% van de sequenties). In bredere bandbreedtes (±144 maanden) komt het Average Treatment Effect (ATE) van het model nauw overeen met empirische schattingen (verschil < 1 maand).
• Moederschapspenalty (Motherhood Penalty): Het model reproduceert succesvol de langetermijnachteruitgang in carrière en verminderde inkomsten voor vrouwen na de geboorte van een kind. Het vangt de belangrijkste kenmerken van inkomensdynamiek op, hoewel het de directe kortetermijnstraf de neiging heeft te onderschatten terwijl het een meer persistente effect genereert in het midden- tot langetermijnvergelijking met empirische data.
• Pensioenleeftijd: Het model reproduceert het effect van de geboortemaand op de pensioenleeftijd (personen geboren in januari gaan later met pensioen dan personen geboren in december). De nauwkeurigheid van dit effect is gevoelig voor de conditioneringshorizon; conditionering vier jaar vóór het pensioen levert resultaten op die dichter bij de empirische benchmarks liggen dan conditionering één jaar van tevoren.

Out-of-Sample Generatie

Bij het genereren van trajecten buiten de trainingsperiode (post-2015), behoudt het model de structurele coherentie voor gemiddeld ongeveer 7–8 jaar. Hoewel 5% van de sequenties na 20 jaar nog steeds structureel geldig blijft, neemt de waarschijnlijkheid van structureel falen exponentieel toe met de generatiehorizon.

Betekenis en Claims

Het artikel beweert aan te tonen dat generatieve modellering voor sociaaleconomische trajecten haalbaar is. Door te trainen op grootschalige administratieve gegevens kan het model coherente, synthetische levenspaden genereren die bekende causale relaties reflecteren zonder de noodzaak van externe controlegroepen.

De auteurs positioneren dit werk als een instrument voor beleidsgericht onderzoek, met name voor contrafeitelijke generatie. Het vermogen om "wat-als" scenario's te simuleren (bijv. hoe een carrièrepad zou verschillen zonder een specifieke gebeurtenis) biedt een schaalbaar kader voor het construeren van contrafeitelijken. De auteurs blijven echter bescheiden en merken op dat het model zeldzame, door regels gedreven discontinuïteiten gladstrijkt en dat de definitie van contrafeitelijken (bijv. timing van de behandeling, selectie van de controlegroep) de resultaten aanzienlijk beïnvloedt. Ze benadrukken dat hoewel het model overeenkomt met empirische bevindingen, het structurele vooroordelen met zich meebrengt en menselijk toezicht vereist voor toepassingen in geautomatiseerde besluitvorming.