LifeSentence: Language models can encode human life course trajectories from longitudinal panel data

Resumen Técnico: LifeSentence

Planteamiento del Problema

La previsión de las trayectorias del curso de vida humano es fundamental para comprender cómo los individuos logran vidas largas y saludables; sin embargo, los enfoques estadísticos convencionales ofrecen una precisión limitada. Estas limitaciones surgen de la tendencia de los modelos tradicionales a descartar la estructura secuencial de los cursos de vida, aplanando la rica dinámica temporal en instantáneas estáticas. Si bien las arquitecturas de transformadores modernos ofrecen una solución potencial al modelar datos secuenciales, estas requieren típicamente conjuntos de datos de entrenamiento masivos (millones de participantes) de los que carecen la mayoría de los estudios de panel longitudinales. Los estudios a gran escala existentes, como life2vec, dependen de datos de registros que cubren millones de ciudadanos, mientras que los principales estudios de panel (por ejemplo, el Panel Socioeconómico Alemán) suelen rastrear solo decenas de miles. Esta escasez de datos crea un cuello de botella para la aplicación del aprendizaje profundo de vanguardia al razonamiento del curso de vida.

Metodología

Los autores presentan LifeSentence, un modelo fundacional diseñado para cerrar la brecha entre los modelos de lenguaje extensos (LLMs) y los datos de panel longitudinales. La innovación central radica en representar las vidas individuales no como índices categóricos, sino como registros de lenguaje natural estructurados ("LifeSentences").

Representación de Datos

• Fuente: El modelo es entrenado con aproximadamente 6 500 individuos del Panel Socioeconómico Alemán (SOEP), que abarca desde 1984 hasta 2020.
• Codificación de Eventos: Los eventos discretos de la vida (educación, empleo, familia, salud) se convierten en descripciones de lenguaje natural que contienen detalles semánticos (por ejemplo, nombres de ocupaciones específicas, tipos de certificados, términos de diagnóstico) junto con la edad del individuo y el año del calendario.
• Estados Continuos: Las mediciones periódicas de variables continuas (ingresos, satisfacción con la vida, satisfacción con la salud, prestigio ocupacional) se incluyen como un historial de estado complementario.

Arquitectura del Modelo y Entrenamiento

• Modelo Base: Los autores realizan un ajuste fino (fine-tuning) de Mistral Small 3.1, un modelo de lenguaje preentrenado de 24 mil millones de parámetros.
• Estrategia de Entrenamiento: En lugar de entrenar un transformador desde cero (lo que requeriría aprender simultáneamente la semántica de los conceptos y la estructura biográfica), LifeSentence aprovecha el conocimiento de la distribución ya codificado en el modelo preentrenado con respecto a conceptos como educación, ocupaciones y salud.
• Ajuste Fino: El modelo es ajustado mediante instrucciones utilizando Adaptación de Bajo Rango (LoRA) a través de una taxonomía de evaluación de 18 tareas.
• Entrada/Salida: Una historia de vida estructurada, una instrucción específica de la tarea y un prompt de sistema se concatenan en una única entrada de lenguaje natural. El modelo genera predicciones en formato JSON estructurado que se evalúan contra las trayectorias de la verdad de referencia (ground-truth).

Taxonomía de Evaluación

El modelo se evalúa a través de tres familias de tareas:

1. Tareas de Predicción: Evalúan la capacidad de previsión (por ejemplo, predicción del siguiente evento, generación de la trayectoria completa, previsión hasta un año específico).
2. Tareas de Robustez: Prueban la resiliencia ante información incompleta mediante eventos enmascarados, periodos redactados y eliminaciones silenciosas.
3. Tareas de Razonamiento: Indagan en la comprensión estructural, incluyendo la detección de anomalías, la imputación de eventos eliminados silenciosamente y la reconstrucción del orden cronológico a partir de conjuntos de eventos desordenados y sin marcas de tiempo.

Resultados Clave

Rendimiento Predictivo

LifeSentence supera a los baselines clásicos (Regresión Logística, XGBoost) y a los modelos de aprendizaje profundo (LSTM, GRU, Transformer) en todas las métricas, a pesar de haber sido entrenado con aproximadamente 45 veces menos individuos que los enfoques previos basados en transformadores.

• Predicción del Siguiente Evento: Alcanza una precisión conjunta del 35,3% (predicción correcta tanto del tipo de evento como de la edad), lo que representa una mejora de tres veces respecto al mejor baseline de aprendizaje profundo.
• Precisión Temporal: Cuando el tipo de evento es correcto, el modelo predice el momento con un margen de 1,15 años respecto a la edad real, en comparación con los más de 1,78 años de los modelos base.
• Predicción de Mortalidad: Predice la muerte como el siguiente evento con una precisión del 29,8%, casi tres veces superior al siguiente mejor modelo base (10,3%).

Generación de Trayectorias y Fidelidad Estructural

• Generación de Largo Horizonte: LifeSentence genera arcos narrativos coherentes durante más de 20 años, logrando una similitud de Jaccard de 0,627 para la superposición de tipos de eventos. Los modelos base suelen sufrir de colapso de modo (mode collapse - bucles repetitivos) o desalineación temporal.
• Precisión Distribucional: El modelo reproduce con precisión la distribución temporal no uniforme de los eventos de la vida (por ejemplo, picos en la densidad de eventos entre los 25 y 30 años) y las estimaciones de densidad de núcleo para el nacimiento, el matrimonio y la muerte.

Razonamiento y Robustez

• Reordenamiento Cronológico: Sin acceso a marcas de tiempo, el modelo reconstruye el orden cronológico de los eventos de vida desordenados con una tau de Kendall del 91,2%.
• Detección de Anomalías: Identifica eventos ajenos insertados en una trayectoria con una precisión del 93,9%.
• Robustez: Mantiene una alta precisión incluso cuando los eventos históricos están enmascarados o han sido eliminados silenciosamente, superando a todos los modelos base bajo condiciones de datos faltantes.

Patrones Sociodemográficos Emergentes

Crucialmente, LifeSentence recupera patrones documentados de estratificación social sin supervisión explícita que vincule la demografía con los resultados.

• Prima Educativa: Las trayectorias de ingresos generadas muestran un crecimiento más pronunciado para individuos con educación universitaria, con una brecha que se amplía con el tiempo.
• Brecha Salarial de Género y Penalización por Maternidad: El modelo reproduce la asimetría donde los ingresos masculinos continúan aumentando tras el nacimiento de los hijos, mientras que los ingresos femeninos caen bruscamente y se recuperan lentamente, a pesar de no haber sido entrenado explícitamente en reglas de mercado laboral de género.
• Imputación de Estado: El modelo traduce con éxito secuencias de eventos discretos en trayectorias socioeconómicas continuas (ingresos, bienestar) que se alinean con las distribuciones empíricas.

Significado y Reivindicaciones

El artículo afirma que LifeSentence establece un nuevo paradigma para la investigación del curso de vida al demostrar que los modelos de lenguaje preentrenados pueden compensar los tamaños de muestra más pequeños en estudios longitudinales. Al complementar los datos de panel con el conocimiento de la distribución adquirido durante el preentrenamiento, el modelo aprende cómo interactúan los conceptos a lo largo de una biografía sin necesidad de aprender la semántica de esos conceptos desde cero.

Los autores posicionan a LifeSentence tanto como una herramienta predictiva como un instrumento para la exploración contrafactual. La interfaz de lenguaje natural permite consultas de investigación cualitativamente nuevas, como conectar una historia de la vida temprana con un punto final específico en la vejez o generar trayectorias bajo restricciones específicas (por ejemplo, "predecir hasta la jubilación").

El estudio concluye que la estructura secuencial de las vidas humanas codifica información significativa sobre la estratificación social, la cual puede recuperarse únicamente a partir de secuencias de eventos discretos. No obstante, los autores señalan limitaciones, incluyendo la dependencia del modelo de un único estudio de panel (SOEP), la compresión de la experiencia humana en un vocabulario de 20 categorías de eventos y la falta de estimaciones de incertidumbre calibradas. Enfatizan que, si bien el modelo recupera patrones como la brecha salarial de género, no está claro hasta qué punto estos reflejan los datos empíricos frente a los sesgos heredados del corpus de preentrenamiento.