Resumen Técnico: Transformador de Secuencia de Vida

Planteamiento del Problema

Los registros administrativos longitudinales contienen información rica sobre las trayectorias de los individuos a través de los mercados laborales, la salud, la educación y otros dominios socioeconómicos. Sin embargo, estos datos rara vez se tratan como estructuras secuenciales aptas para el modelado generativo. Mientras que los modelos generativos basados en Transformers han simulado con éxito sistemas dinámicos en física, química y salud (por ejemplo, prediciendo resultados de enfermedades), su aplicación a las historias de vida socioeconómicas sigue siendo poco explorada. Otros modelos, como Life2Vec (Savcisens et al., 2024), destacan en tareas predictivas (por ejemplo, la predicción de la mortalidad) pero carecen de capacidades generativas para simular secuencias futuras. Otros modelos, como CAREER (Vafa et al., 2024) y TransformEHR (Yang et al., 2023), carecen de una resolución temporal detallada o requieren tiempos de eventos predefinidos, lo que impide la simulación de trayectorias de vida flexibles y contrafactuales donde el modelo determina cuándo y durante cuánto tiempo ocurren los eventos.

Metodología

Fuente de Datos y Preprocesamiento

El modelo se entrena con el Work History Italian Panel (WHIP), una muestra de 1:15 de individuos de la administración de la seguridad social italiana (INPS). El conjunto de datos cubre el periodo 1990–2015 e incluye más de 4 millones de individuos. Los autores aplican criterios de selección estrictos para retener aproximadamente 1,65 millones de trayectorias de vida, asegurando información completa hasta 2015, periodos de observación suficientes y una vinculación plausible al mercado laboral.

Esquema de Codificación Novedoso

Una contribución central es un método de codificación novedoso que transforma los datos administrativos tabulares en una secuencia estructurada de estados socioeconómicos. A diferencia de otros enfoques que tratan el tiempo como una cuadrícula fija o un atributo auxiliar, este método impone una estructura explícita similar a un calendario:

• Estructura Temporal: La historia se divide en segmentos anuales, subdivididos además en 12 intervalos mensuales.
• Representación de Eventos: Cada evento laboral se codifica como una unidad discreta que contiene:
  • Mes de Inicio: <MONTH_X> (1–12).
  • Tipo de Evento: <TYPE_X> (por ejemplo, empleo, desempleo).
  • Modificadores: Tokens opcionales para sector (<ATECO_X>), título del puesto (<WRK_TITLE_X>) e intensidad.
  • Duración: <DUR_X> (en meses), permitiendo duraciones de eventos variables dentro de un año.
  • Ingresos: Discretizados en 100 cuantiles.
• Marcadores de Secuencia: Los tokens especiales denotan el inicio de la vida (<BOL>), el fin del año (<EOY>) y el fin de la vida (<EOL>).
• Atributos Estáticos: El trasfondo demográfico (sexo, año de nacimiento, región) se codifica como tokens al inicio de la secuencia.
• Embeddings de Posición: El modelo utiliza posición absoluta (año), posición relativa (edad) y embeddings de posición de tokens estándar.

Arquitectura del Modelo

Los autores proponen un Transformer de solo decodificador (decoder-only) entrenado de forma autorregresiva para predecir el siguiente token en la secuencia. Modificaciones arquitectónicas clave incluyen:

1. Atención Performer: Reemplaza la atención estándar para reducir los parámetros entrenables y mejorar la eficiencia computacional mediante complejidad lineal.
2. Embeddings de Posición Rotatorios (RoPE): Adaptados para trabajar con la atención Performer para capturar mejor los patrones temporales.
3. Normalización RMS: Aplicada antes de las capas de atención y de alimentación hacia adelante (feed-forward) para estabilizar el entrenamiento.
4. Embeddings de Tiempo: Utiliza un enfoque Time2Vec modificado. Crucialmente, los autores adaptan los componentes lineales y periódicos de Time2Vec: asignan más capacidad lineal al embedding del "año" (rango corto de 25 años) y más capacidad periódica al embedding de la "edad" (rango de 70 años) para evitar que el modelo pierda coherencia al extrapolar más allá del periodo de entrenamiento.

El modelo consta de 10 capas de decodificador, 8 cabezales de atención (6 locales, 2 globales) y aproximadamente 10,1 millones de parámetros.

Contribuciones Clave

1. Codificación Novedosa: Un método para representar eventos socioeconómicos superpuestos como una secuencia de tokens de concepto con resolución temporal flexible (mes de inicio y duración), permitiendo el modelado de historias de vida que se extienden más allá de diagnósticos instantáneos.
2. Adaptación Generativa: Adaptar las técnicas de modelado generativo para simular trayectorias de vida alternativas plausibles condicionadas por historias pasadas, permitiendo específicamente la generación de escenarios contrafactuales de "qué pasaría si".
3. Entrenamiento Escalable: Demostrar la viabilidad de entrenar un Transformer con 1,6 millones de historias individuales de datos administrativos para reproducir patrones realistas del mercado laboral.

Resultados Empíricos

Predicción del Siguiente Token

El modelo logra una precisión promedio macro de 0,7039 y una puntuación F1 de 0,713 en el conjunto de prueba cuando se condiciona con 10 años de historia previa. El rendimiento mejora con un contexto histórico más largo, lo cual es consistente con la estabilidad de los patrones de vida a lo largo del tiempo.

Benchmarks Causales

Los autores evalúan la capacidad del modelo para reproducir relaciones causales establecidas de la economía laboral:

• Subsidio de Desempleo (Asignación de Movilidad): El modelo captura la relación positiva general entre la edad y la duración del beneficio. Sin embargo, no logra reproducir la brusca discontinuidad en el punto de corte de la política (edad 40) debido a la escasez de datos (<1% de las secuencias). En bandas de ancho mayor (±144 meses), el Efecto de Tratamiento Promedio (ATE) del modelo se alinea estrechamente con las estimaciones empíricas (diferencia < 1 mes).
• Penalización por Maternidad: El modelo replica con éxito los retrocesos profesionales a largo plazo y la reducción de ingresos para las mujeres tras el parto. Captura las características clave de la dinámica de ingresos, aunque tiende a subestimar la penalización inmediata a corto plazo mientras genera un efecto más persistente en el medio y largo plazo en comparación con los datos empíricos.
• Momento de la Jubilación: El modelo reproduce el efecto del mes de nacimiento en la edad de jubilación (individuos nacidos en enero se jubilan más tarde que los nacidos en diciembre). La precisión de este efecto es sensible al horizonte de condicionamiento; condicionar cuatro años antes de la jubilación arroja resultados más cercanos a los referentes empíricos que condicionar un año antes.

Generación Fuera de la Muestra

Al generar trayectorias más allá del periodo de entrenamiento (post-2015), el modelo mantiene la coherencia estructural durante aproximadamente 7–8 años en promedio. Aunque el 5% de las secuencias permanecen estructuralmente válidas después de 20 años, la probabilidad de fallo estructural aumenta exponencialmente con el horizonte de generación.

Significado y Reivindicaciones

El artículo afirma demostrar la viabilidad del modelado generativo para trayectorias socioeconómicas. Al entrenarse con datos administrativos a gran escala, el modelo puede generar trayectorias de vida sintéticas coherentes que reflejan relaciones causales conocidas sin necesidad de grupos de control externos.

Los autores posicionan este trabajo como una herramienta para la investigación orientada a políticas, particularmente para la generación de contrafactuales. La capacidad de simular escenarios de "qué pasaría si" (por ejemplo, cómo podría diferir un camino profesional sin un evento específico) ofrece un marco escalable para la construcción de contrafactuales. Sin embargo, los autores mantienen la modestia, señalando que el modelo suaviza las discontinuidades raras impulsadas por reglas, y que la definición de los contrafactuales (por ejemplo, el tiempo del tratamiento, la selección del grupo de control) influye significamente en los resultados. Enfatizan que, si bien el modelo se alinea con los hallazgos empíricos, conlleva riesgos éticos respecto a los sesgos estructurales y requiere supervisión humana para aplicaciones en la toma de decisiones automatizada.