Technische Samenvatting: LifeSentence

Probleemstelling

Het voorspellen van menselijke levenslooptrajecten is cruciaal voor het begrijpen van hoe individuen een lang en gezond leven leiden, maar conventionele statistische benaderingen leveren beperkte nauwkeurigheid op. Deze beperkingen komen voort uit de neiging van traditionele modellen om de sequentiële structuur van levenslopen te verwerpen, waarbij rijke temporele dynamiek wordt platgeslagen tot statische momentopnames. Hoewel moderne transformer-architecturen een potentiële oplossing bieden door sequentiële data te modelleren, vereisen ze doorgaans enorme trainingsdatasets (miljoenen deelnemers) die de meeste longitudinale panelstudies missen. Bestaande grootschalige studies, zoals life2vec, vertrouwen op registerdata die miljoenen burgers beslaat, terwijl grote panelstudies (bijv. de Duitse Socio-Economic Panel) vaak slechts tienduizenden mensen volgen. Deze dataschaarste creëert een knelpunt voor het toepassen van state-of-the-art deep learning voor het begrijpen van levenslopen.

Methodologie

De auteurs introduceren LifeSentence, een foundation model ontworpen om large language models (LLMs) te verbinden met longitudinale paneldata. De kerninnovatie ligt in het representeren van individuele levens niet als categorische indices, maar als gestructureerde natuurlijke taalrecords ("LifeSentences").

Datarepresentatie

• Bron: Het model is getraind op ongeveer 6is 65.000 individuen uit de Duitse Socio-Economic Panel (SOEP), verspreid over de periode 1984–2020.
• Event Codering: Discrete levensgebeurtenissen (onderwijs, werk, familie, gezondheid) worden omgezet in natuurlijke taalbeschrijvingen die semantische details bevatten (bijv. specifieke functienamen, certificaattypen, diagnose-termen) naast de leeftijd van het individu en het kalenderjaar.
• Continue Staten: Periodieke metingen van continue variabelen (inkomen, levenstevredenheid, gezondheidstevredenheid, beroepsprestidigie) worden opgenomen als aanvullende staatshistorie.

Modelarchitectuur en Training

• Basismodel: De auteurs finetunen Mistral Small 3.1, een pretrained taalmodel met 24 miljard parameters.
• Trainingsstrategie: In plaats van een transformer vanaf nul te trainen (wat zou vereisen dat zowel de conceptuele semantiek als de biografische structuur tegelijkertijd geleerd worden), maakt LifeSentence gebruik van de distributieve kennis die al in het pretrained model is gecodeerd met betrekking tot concepten zoals onderwijs, beroepen en gezondheid.
• Finetuning: Het model wordt via instructie-tuning getraind met behulp van Low-Rank Adaptation (LoRA) over een taxonomie van 18 taken.
• Input/Output: Een gestructureerde levensgeschiedenis, taakspecifieke instructie en een systeemprompt worden samengevoegd tot één natuurlijke taalinput. Het model genereert gestructureerde JSON-voorspellingen die worden geëvalueerd tegen de grondwaarheid-trajecten.

Evaluatietaxonomie

Het model wordt geëvalueerd over drie families van taken:

1. Voorspellingstaken: Het beoordelen van het voorspellend vermogen (bijv. voorspelling van het volgende event, volledige trajectgeneratie, voorspellen tot een specifiek jaar).
2. Robuustheidstaken: Het testen van veerkracht bij incomplete informatie via gemaskeerde gebeurtenissen, geredigeerde perioden en stille verwijderingen.
3. Redeneringstaken: Het onderzoeken van structureel begrip, inclusief anomaliedetectie, het imputeren van stil verwijderde gebeurtenissen en het reconstrueren van de chronologische volgorde vanuit verschoven, van tijdstempels ontkende event-sets.

Belangrijkste Resultaten

Voorspellende Prestaties

LifeSentence presteert beter dan klassieke baselines (Logistische Regressie, XGBoost) en deep learning modellen (LSTM, GRU, Transformer) over alle metrieken, ondanks dat het getraind is op ongeveer 45 keer minder individuen dan eerdere transformer-gebaseerde benaderingen.

• Next-Event Voorspelling: Bereikt een gezamenlijke nauwkeurigheid van 35,3% (het correct voorspellen van zowel het type event als de leeftijd), een driedubbele verbetering ten opzichte van de beste deep learning baseline.
• Temporele Precisie: Wanneer het type event correct is, voorspelt het model de timing binnen 1,15 jaar van de werkelijke leeftijd, vergeleken met 1,78+ jaar voor baselines.
• Sterftevoorspelling: Voorspelt de dood als het volgende event met 29,8% nauwkeurigheid, bijna driedubbel zo hoog als de op één na beste baseline (10,3%).

Trajectgeneratie en Structurele Getrouwheid

• Generatie op Lange Termijn: LifeSentence genereert coherente narratieve bogen over 20+ jaar, waarbij een Jaccard-gelijkenis van 0,627 wordt bereikt voor de overlap in event-types. Baseline modellen lijden vaak aan mode collapse (repetitieve loops) of temporele mismatch.
• Distributionele Nauwkeurigheid: Het model reproduceert accuraat de niet-uniforme temporele distributie van levensgebeurtenissen (bijv. pieken in event-densiteit tussen de leeftijden 25–30) en kernel density schattingen voor geboorte, huwelijk en overlijden.

Redenering en Robuustheid

• Chronologische Herordening: Zonder toegang tot tijdstempels reconstrueert het model de chronologische volgorde van verschoven levensgebeurtenissen met een Kendall's tau van 91,2%.
• Anomaliedetectie: Identificeert vreemde gebeurtenissen die in een traject zijn ingevoegd met een nauwkeurigheid van 93,9%.
• Robuustheid: Behoudt een hoge nauwkeurigheid, zelfs wanneer historische gebeurtenissen gemaskeerd of stil verwijderd zijn, waarbij het alle baselines overtreft onder condities van ontbrekende data.

Opkomende Sociodemografische Patronen

Cruciaal is dat LifeSentence gedocumenteerde patronen van sociale stratificatie herstelt zonder expliciete supervisie die demografie aan uitkomsten koppelt.

• Onderwijspremie: De gegenereerde inkomens-trajecten tonen een steilere groei voor hoogopgeleiden, waarbij het gat in de loop der tijd groter wordt.
• Gender loonkloof & Moederschapspenalty: Het model reproduceert de asymmetrie waarbij het inkomen van mannen na de geboorte van een kind blijft stijgen, terwijl het inkomen van vrouwen scherp daalt en traag herstelt, ondanks het feit dat het nooit getraind is op expliciete gendered arbeidsmarktregels.
• State Imputatie: Het model vertaalt discrete event-sequenties succesvol naar continue sociaaleconomische trajecten (inkomen, welzijn) die overeenkomen met empirische distributies.

Betekenis en Claims

Het artikel beweert dat LifeSentence een nieuw paradigma voor de levensloop-onderzoek vestigt door aan te tonen dat pretrained taalmodellen een kleinere steekproefomvang kunnen compenseren in longitudinale studies. Door de paneldata aan te vullen met de distributieve kennis verworven tijdens de pretraining, leert het model hoe concepten binnen een biografie met elkaar interageren zonder de semantiek van die concepten vanaf nul te hoeven leren.

De auteurs positioneren LifeSentence zowel als een voorspellend instrument als een instrument voor contrafactuele exploratie. De natuurlijke taalinterface maakt kwalitatief nieuwe onderzoeksvragen mogelijk, zoals het verbinden van een vroege levensgeschiedenis aan een specifiek eindpunt in de latere levensfase, of het genereren van trajecten onder specifieke restricties (bijv. "voorspel tot aan het pensioen").

De studie concludeert dat de sequentiële structuur van menselijke levens significante informatie bevat over sociale stratificatie, die alleen uit discrete event-sequenties kan worden hersteld. De auteurs merken echter ook beperkingen op, waaronder de afhankelijkheid van de LifeSentence van een enkele panelstudie (SOEP), de compressie van de menselijke ervaring in een vocabulaire van 20 categorieën, en het gebrek aan gekalibreerde onzekerheidsschattingen. Ze benadrukken dat hoewel het model patronen zoals de gender loonkloof herstelt, het onduidelijk blijft in welke mate dit de empirische data reflecteert versus de biases die zijn overgenomen uit de pretraining corpus.