Resumo Técnico: STEP – Recomendação de Trajetória de Carreira via Modelagem de Trajetória Temporal e Educacional

1. Formulação do Problema

O artigo aborda o desafio da predição do próximo emprego dentro de trajetórias de carreira. Embora os currículos contenham informações ricas relativas ao histórico de trabalho, educação e habilidades, sua natureza não estruturada, heterogênea e multilíngue historicamente dificultou a análise sistemática em larga escala. Os autores formulam a recomendação de trajetória de carreira como uma tarefa de predição de sequência de muitos-para-um: dada uma sequência observada de empregos $(j_1, \dots, j_{t-1})$ e sinais auxiliares (intervalos de tempo entre empregos $\delta$ e nível de escolaridade $e$), o objetivo é prever a próxima ocupação $j_t$ a partir de um conjunto finito de candidatos (tipicamente os 3.007 nós folha das ocupações da taxonomia ESCO).

O problema é complicado por três fatores:

1. Escassez de Dados: Os benchmarks públicos existentes são pequenos, carecem de metadados temporais/educacionais ou dependem de dados proprietários (ex: LinkedIn) que impedem a replicação independente.
2. Representação: Codificadores de sentenças padrão frequentemente falham em capturar a semântica composicional do texto de carreira ou as relações específicas entre títulos de cargos e a taxonomia ESCO.
3. Dinâmicas Temporais e Educacionais: As transições de carreira não são uniformes no tempo (variando de meses a décadas) e são fortemente influenciadas pelo nível de escolaridade, mas poucos modelos integram conjuntamente esses sinais em uma arquitetura sequencial baseada em recuperação (retrieval).

2. Metodologia

A solução proposta consiste em dois componentes primários: ROUTE (para aprendizado de representação) e STEP (para predição sequencial).

2.1 ROUTE: Representação de Trajetórias de Carreira Únicas como Embeddings

O ROUTE é um procedimento de aprendizado contrastivo de dois estágios projetado para produzir embeddings ocupacionais de alta qualidade que servem como entrada para o preditor.

• Estágio 1: Adaptação de Domínio Não Supervisionada (TSDAE): Um codificador multilíngue pré-treinado (especificamente o multilingual-e5-base) é adaptado para o domínio de carreira usando Autoencoding de Denoising Sequencial baseado em Transformer (TSDAE). O modelo reconstrói o texto da carreira a partir de entradas com tokens deletados, forçando o codificador a capturar o conteúdo semântico completo de descrições de currículos heterogêneos.
• Estágio 2: Ajuste Fino Contrastivo Guiado (GISTEmbedLoss): O codificador adaptado passa por um ajuste fino contrastivo supervisionado em pares (histórico, próximo emprego). Para abordar o problema de "falsos negativos" (onde a amostragem aleatória de lotes seleciona ocupações semanticamente similares como negativas), os autores utilizam o GISTEmbedLoss. Este utiliza um modelo guia congelado para computar similaridades par a par, filtrando falsos negativos e enfatizando negativos difíceis para produzir um sinal de gradiente mais limpo.

2.2 STEP: Predição Sequencial de Trajetória de Emprego

O STEP é um modelo de predição sequencial que opera sobre os embeddings gerados pelo ROUTE. Ele integra quatro componentes arquiteturais específicos para modelar a dinâmica de carreira:

1. Célula GRU com Decaimento Temporal: Diferente das RNNs padrão que assumem passos de tempo uniformes, o STEP incorpora um mecanismo de decaimento exponencial na atualização do estado oculto do GRU. Antes de processar um novo emprego, o estado oculto anterior $h_{t-1}$ é decaído por um fator aprendível $\exp(-\lambda \cdot \delta_t)$, onde $\delta_t$ é o intervalo de tempo entre empregos. Isso permite que o modelo aprenda que certos atributos de carreira (ex: expertise de domínio) decaem mais lentamente que outros (ex: habilidades técnicas específicas).
2. Condicionamento de Grau via FiLM: Em vez de concatenar o nível de escolaridade como um simples recurso de entrada, o STEP utiliza Modulação Linear por Função de Características (FiLM). O nível de escolaridade é codificado e projetado em parâmetros de escala ($\gamma$) e deslocamento ($\beta$) que modulam o estado oculto em cada passo de tempo ($h'_t = \tanh(\gamma) \odot h_t + \beta$). Isso permite que o modelo condicione os padrões de progressão de carreira diretamente na escolaridade alcançada.
3. Agrupamento de Sequência Baseado em Atenção: Em vez de depender apenas do estado oculto final, o modelo utiliza um mecanismo de atenção aprendível para agregar a sequência de estados ocultos condicionados pelo grau em uma única representação de trajetória. Isso pondera as etapas de carreira pela sua relevância preditiva.
4. Escalonamento de Temperatura Aprendível: O embedding final da trajetória é comparado contra todas as ocupações candidatas da ESCO via similaridade de cosseno. Um parâmetro de temperatura aprendível $\tau$ escala os logits antes do softmax, controlando a nitidez da distribuição de probabilidade sobre o grande conjunto de candidatos ($K=3.007$).

O modelo é treinado de ponta a ponta usando perda de entropia cruzada com suavização de rótulos (label smoothing).

3. Principais Contribuições

1. O Modelo STEP: Uma nova arquitetura sequencial que modela conjuntamente intervalos temporais e escolaridade para a predição do próximo emprego. Alcança o estado da arte em performance em quatro benchmarks.
2. O Procedimento ROUTE: Um pipeline de embedding de dois estágios (TSDAE + GISTEmbedLoss) que melhora significativamente a qualidade da representação ocupacional, particularmente para tarefas de recuperação, ao adaptar codificadores multilíngues para o domínio de carreira e mitigar falsos negativos no aprendizado contrastivo.
3. Dataset JobHop v2: Uma versão melhorada do dataset JobHop anterior dos autores. Apresenta extração de maior qualidade via LLMs controlados por raciocínio, um esquema mais rico (incluindo tipos de contrato e habilidades) e uma taxonomia de escolaridade de cinco níveis (Nenhum, Secundário, Bacharelado, Mestrado, Doutorado), substituando a flag binária anterior.
4. Avaliação Abrangente: O trabalho é avaliado em quatro conjuntos de dados distintos (Decorte, Karrierewege, JobHop, e JobHop v2), demonstrando robustez em diferentes escalas, idiomas (Inglês, Holandês, Francês, Alemão) e riqueza de anotação.

4. Resultados

Os autores relatam a performance utilizando Mean Reciprocal Rank (MRR), Recall@5 e Recall@10.

• Performance Geral: O STEP supera todos os baselines (incluindo Markov, Linear, MLP, BiLSTM e recuperação direta) em todos os quatro datasets.
  • No Decorte, o STEP alcança 46,6% R@10, superando o melhor anterior (43,01%) e o baseline de recuperação direta (46,1%).
  • No Karrierewege, o STEP atinge 70,3% R@10, um ganho de 1,4 ponto percentual sobre o baseline BiLSTM reimplementado.
  • No JobHop v2, o STEP alcança 41,1% R@10, superando BiLSTM (38,2%) e MLP (38,5%).
• Estudos de Ablação:
  • Escalonamento de Temperatura: Remover este componente causa uma degradação catastrófica (R@10 cai de 41,24% para 24,69% no JobHop v2), destacando seu papel crítico na calibração de probabilidades sobre o grande espaço de rótulos ESCO.
  • FiLM vs. Concatenação: O condicionamento via FiLM fornece uma melhoria marginal, mas consistente, sobre a simples concatenação, confirmando que a modulação multiplicativa captura melhor as interações entre grau e carreira.
  • Embedding vs. Preditor: Embora o ROUTE melhore significativamente a performance de recuperação direta, o próprio preditor STEP é o principal motor dos ganhos de ponta a ponta. O preditor reaprende a função de pontuação, tornando-o robusto a variações no stack de embeddings, embora o pipeline completo do ROUTE permaneça como a opção mais segura por padrão.
• Diversidade e Novidade: A análise revela um compromisso (trade-off) entre acurácia e exploração. Embora o STEP alcance alta acurácia, ele tende a recomendar ocupações próximas ao cargo atual (scores de "Novidade" mais baixos) em comparação com as transições reais, que costumam ser mais exploratórias. No entanto, o STEP oferece um melhor equilíbrio entre diversidade e acurácia do que os baselines de pura recuperação.
• Predição Multi-passo: Na avaliação autoregressiva de múltiplos passos (horizontes até 5), a performance degrada gradualmente em vez de catastroficamente, mantendo um recall significativo (ex: 28,7% R@10 no horizonte 5 no JobHop v2).

5. Significância e Alegações

O artigo afirma que o STEP representa um avanço significativo na recomendação de trajetória de carreira ao aproveitar com sucesso a "riqueza" dos dados de currículos não estruturados através de Large Language Models (LLMs) para extração e modelagem temporal/educacional.

• Acessibilidade de Dados: Ao lançar o JobHop v2 e o código, os autores abordam a falta crítica de datasets de trajetórias de carreira anotados ricamente e disponíveis publicamente em larga escala, permitindo pesquisa reprodutível neste domínio.
• Integração Metodológica: O trabalho demonstra que integrar intervalos temporais de valores reais e escolaridade em uma arquitetura sequencial baseada em recuperação produz resultados superiores em comparação com modelos sequenciais padrão (LSTM/MLP) ou métodos de pura recuperação.
• Adaptação de Domínio: O estudo valida que o pré-treinamento de adaptação de domínio (TSDAE) e o aprendizado contrastivo guiado (GISTEmbedLoss) são essenciais para criar embeddings ocupacionais que generalizam bem, particularmente ao lidar com dados de currículos multilíngues e ruidosos.
• Modéstia sobre Limitações: Os autores reconhecem explicitamente que seus modelos são treinados em dados históricos e podem refletir vieses existentes no mercado de trabalho (ex: segregação ocupacional). Eles alertam que alta acurácia não equivale a aconselhamento de carreira ideal, pois os modelos tendem a ser conservadores e podem sub-recomendar movimentos de carreira exploratórios. Eles enfatizam que a avaliação de justiça (fairness) é um pré-requisito necessário para qualquer implantação no mundo real.

Em resumo, o artigo estabelece um novo estado da arte para a predição do próximo emprego ao combinar aprendizado de representação avançado com um modelo sequencial consciente do tempo e da educação, fornecendo à comunidade os dados e ferramentas necessários para construir sobre este trabalho.