Resumo Técnico: Life Sequence Transformer

Definição do Problema

Registros administrativos longitudinais contêm informações ricas sobre as trajetórias de indivíduos através de domínios do mercado de trabalho, saúde, educação e outros domínios socioeconômicos. No entanto, esses dados raramente são tratados como estruturas sequenciais adequadas para modelagem generativa. Embora modelos generativos baseados em Transformer tenham tido sucesso na simulação de sistemas dinâmicos em física, química e saúde (por exemplo, prevendo desfechos de doenças), sua aplicação a histórias de vida socioeconômicas permanece subexplorada. Modelos existentes como o Life2Vec (Savcisens et al., 2024) destacam-se em tarefas preditivas (por exemplo, previsão de mortalidade), mas carecem de capacidades generativas para simular sequências futuras. Outros modelos, como o CAREER (Vafa et al., 2024) e o TransformEHR (Yang et al., 2023), ou carecem de resolução temporal refinada ou exigem tempos de eventos predefinidos, impedindo a simulação de caminhos de vida flexíveis e contrafatuais onde o modelo determina quando e por quanto tempo os eventos ocorrem.

Metodologia

Fonte de Dados e Pré-processamento

O modelo é treinado no Work History Italian Panel (WHIP), uma amostra de 1:15 de indivíduos da administração de seguridade social italiana (INPS). O conjunto de dados cobre 1990–2015 e inclui mais de 4 milhões de indivíduos. Os autores aplicam critérios de seleção rigorosos para reter aproximadamente 1,65 milhão de trajetórias de vida, garantindo informações completas até 2015, períodos de observação suficientes e uma adesão plausível à força de trabalho.

Esquema de Codificação Inovador

Uma contribuição central é um novo método de codificação que transforma dados administrativos tabulares em uma sequência estruturada de estados socioeconômicos. Diferente de abordagens anteriores que tratam o tempo como uma grade fixa ou atributo auxiliar, este método impõe uma estrutura explícita de tipo calendário:

• Estrutura Temporal: A história é dividida em segmentos anuais, subdivididos posteriormente em 12 intervalos mensais.
• Representação de Eventos: Cada evento laboral é codificado como uma unidade discreta contendo:
  • Mês de Início: <MONTH_X> (1–12).
  • Tipo de Evento: <TYPE_X> (ex: emprego, desemprego).
  • Modificadores: Tokens opcionais para setor (<ATECO_X>), cargo (<WRK_TITLE_X>) e intensidade.
  • Duração: <DUR_X> (em meses), permitindo comprimentos de eventos variáveis dentro de um ano.
  • Renda: Discretizada em 100 quantis.
• Marcadores de Sequência: Tokens especiais denotam o início da vida (<BOL>), fim do ano (<EOY>) e fim da vida (<EOL>).
• Atributos Estáticos: O contexto demográfico (sexo, ano de nascimento, região) é codificado como tokens no início da sequência.
• Embeddings de Posição: O modelo utiliza posição absoluta (ano), posição relativa (idade) e embeddings de posição padrão de tokens.

Arquitetura do Modelo

Os autores propõem um Transformer apenas decodificador (decoder-only) treinado de forma autorregressiva para prever o próximo token na sequência. Modificações arquitetônicas principais incluem:

1. Atenção Performer: Substitui a atenção padrão para reduzir parâmetros treináveis e melhorar a eficiência computacional via complexidade linear.
2. Embeddings de Posição Rotativos (RoPE): Adaptados para trabalhar com a atenção Performer para capturar melhor os padrões temporais.
3. Normalização RMS: Aplicada antes das camadas de atenção e de feed-forward para estabilizar o treinamento.
4. Embeddings de Tempo: Utiliza uma abordagem modificada de Time2Vec. Crucialmente, os autores adaptam os componentes lineares e periódicos do Time2Vec: eles alocam mais capacidade linear para o embedding de "ano" (curto intervalo de 25 anos) e mais capacidade periódica para o embedding de "idade" (intervalo de 70 anos) para evitar que o modelo perca a coerência ao extrapolar além do período de treinamento.

O modelo consiste em 10 camadas de decodificador, 8 cabeças de atenção (6 locais, 2 globais) e aproximadamente 10,1 milhões de parâmetros.

Principais Contribuições

1. Codificação Inovadora: Um método para representar eventos socioeconômicos sobrepostos como uma sequência de tokens de conceito com resolução temporal flexível (mês de início e duração), permitindo a modelagem de histórias de vida que se estendem além de diagnósticos instantâneos.
2. Adaptação Generativa: Adaptar técnicas de modelagem generativa para simular trajetórias de vida alternativas plausíveis condicionadas a históricos passados, permitindo especificamente a geração de cenários contrafatuais de "e se".
3. Treinamento Escalável: Demonstrar a viabilidade de treinar um Transformer em 1,6 milhão de histórias individuais de dados administrativos para reproduzir padrões realistas do mercado de trabalho.

Resultados Empíricos

Predição do Próximo Token

O modelo alcança uma acurácia média macro de 0,7039 e um F1 score de 0,713 no conjunto de teste quando condicionado a 10 anos de histórico passado. O desempenho melhora com contextos históricos mais longos, consistente com a estabilidade dos padrões de vida ao longo do tempo.

Benchmarks Causais

Os autores avaliam a capacidade do modelo de reproduzir relações causais estabelecidas da economia do trabalho:

• Subsídio de Desemprego (Auxílio Mobilidade): O modelo captura a relação positiva geral entre idade e duração do benefício. No entanto, falha em reproduzir a descontinuidade aguda no corte de política (idade 40) devido à escassez de dados (<1% das sequências). Em bandas mais largas (±144 meses), o Efeito de Tratamento Médio (ATE) do modelo alinha-se de perto com estimativas empíricas (diferença < 1 mês).
• Penalidade da Maternidade: O modelo replica com sucesso os retrocessos na carreira a longo prazo e a redução de ganhos para mulheres após o parto. Ele captura as principais características da dinâmica de renda, embora tenda a subestimar a penalidade imediata de curto prazo enquanto gera um efeito mais persistente no médio/longo prazo em comparação aos dados empíricos.
• Tempo de Aposentadoria: O modelo reproduz o efeito do mês de nascimento na idade de aposentadoria (indivíduos nascidos em janeiro aposentam-se mais tarde do que os de dezembro). A precisão deste efeito é sensível ao horizonte de condicionamento; condicionar quatro anos antes da aposentadoria produz resultados mais próximos dos benchmarks empíricos do que condicionar um ano antes.

Geração Fora da Amostra (Out-of-Sample)

Ao gerar trajetórias além do período de treinamento (pós-2015), o modelo mantém a coerência estrutural por aproximadamente 7–8 anos em média. Embora 5% das sequências permaneçam estruturalmente válidas após 20 anos, a probabilidade de falha estrutural aumenta exponencialmente com o horizonte de geração.

Significância e Alegações

O artigo afirma demonstrar a viabilidade da modelagem generativa para trajetórias socioeconômicas. Ao treinar em dados administrativos de larga escala, o modelo pode gerar caminhos de vida sintéticos coerentes que refletem relações causais conhecidas sem a necessidade de grupos de controle externos.

Os autores posicionam este trabalho como uma ferramenta para pesquisa orientada a políticas, particularmente para a geração contrafatual. A capacidade de simular cenários de "e se" (por exemplo, como um caminho de carreira poderia diferir sem um evento específico) oferece um framework escalável para construir contrafatuais. No entanto, os autores mantêm-se modestos, observando que o modelo suaviza descontinuidades raras e baseadas em regras, e que a definição de contrafatuais (ex: tempo de tratamento, seleção de grupo de controle) influencia significativamente os resultados. Eles enfatizam que, embora o modelo se alinhe com achados empíricos, ele carrega riscos éticos relativos a vieses estruturais e requer supervisão humana para aplicações em tomada de decisão automatizada.