Breaking the HISCO Barrier: Automatic Occupational Standardization with OccCANINE

Resumo Técnico: Quebrando a Barreira do HISCO com OccCANINE

1. O Problema

O estudo de resultados ocupacionais históricos (como mobilidade social, efeitos de ferrovias ou o papel das mulheres na economia) depende de dados padronizados sobre as profissões das pessoas. O sistema HISCO (Historical International Standard Classification of Occupations) é o padrão global para categorizar dados ocupacionais históricos.

No entanto, a conversão de descrições ocupacionais brutas (ex: "servo de fazenda", "pescador e lavrador") em códigos HISCO padronizados é um gargalo crítico:

• Trabalho Manual Intensivo: A codificação manual é lenta (aprox. 10 segundos por descrição) e propensa a erros. Codificar 10.000 descrições exigiria cerca de 28 horas de trabalho humano.
• Limitações de Métodos Anteriores: Abordagens tradicionais baseadas em correspondência de strings (regex) e limpeza de dados são frágeis. Elas falham diante de variações ortográficas, erros de digitação, negações e diversidade linguística, exigindo pipelines específicos para cada fonte de dados e não generalizando bem.

2. Metodologia: OccCANINE

Os autores apresentam o OccCANINE, uma ferramenta de código aberto que utiliza aprendizado de máquina para automatizar a padronização ocupacional.

• Arquitetura: O modelo é baseado no CANINE (a arquitetura Character-level Neural Network de Clark et al., 2022), um modelo de linguagem transformador de tamanho moderado (127 milhões de parâmetros).
  • Tokenização por Caracteres: Diferente de modelos que usam "subpalavras" (wordpieces), o CANINE opera em nível de caracteres. Isso torna o modelo robusto a erros de digitação, abreviações e variações ortográficas comuns em dados históricos (ex: "frmter" em vez de "farmer").
  • Multilinguismo: Pré-treinado em dados da Wikipedia em 104 idiomas, permitindo lidar com descrições em 13 idiomas diferentes sem necessidade de tradução prévia.
• Estrutura Encoder-Decoder:
  • Encoder: O CANINE codifica a descrição ocupacional (e opcionalmente o idioma) em uma representação numérica densa.
  • Decodificadores: O sistema oferece duas opções de decodificação:
    1. Flat Decoder ("Fast"): Um cabeçalho de classificação linear que prevê probabilidades para todos os 1.919 códigos HISCO possíveis simultaneamente. Requer ajuste de um limiar de confiança.
    2. Sequential Decoder ("Good"): Prevê o código HISCO dígito por dígito (sequencialmente). É mais robusto a ambiguidades e descrições com múltiplas ocupações, não exigindo ajuste manual de limiares.
• Dados de Treinamento:
  • O modelo foi fine-tuned (ajustado) em 15,8 milhões de pares de (descrição, código HISCO).
  • Os dados provêm de 29 fontes distintas (censos, registros de casamento, listas de navios, etc.) cobrindo 13 idiomas.
  • Augmentation: Os autores aplicaram técnicas de aumento de dados, como a criação de frases com múltiplas ocupações usando conjunções (ex: "pescador e agricultor") e perturbações aleatórias de texto para melhorar a robustez.
• Função de Perda Inovadora: Para lidar com a inconsistência na ordem dos códigos nas anotações de treinamento (ex: [A, B] vs [B, A] para a mesma descrição), os autores desenvolveram uma função de perda invariante à ordem (order-invariant loss), que penaliza o modelo apenas se os códigos previstos não corresponderem ao conjunto de códigos verdadeiros, independentemente da sequência.

3. Contribuições Principais

1. Democratização do Acesso: Transforma semanas de trabalho manual em minutos de processamento automático, permitindo que pesquisadores com recursos computacionais limitados (até em laptops com GPU) realizem codificação em larga escala.
2. Generalização e Transferência: O método não se limita ao HISCO. Os autores demonstram que a mesma abordagem pode ser adaptada para outros sistemas de classificação, incluindo OCC1950 (EUA), OCCICEM (Reino Unido) e ISCO-68, com alto desempenho.
3. Código Aberto e Reprodutibilidade: Todo o código, modelos e guias estão disponíveis no GitHub, garantindo reprodutibilidade total (o mesmo input gera o mesmo output, eliminando a variância humana).
4. Abordagem Semântica: Ao contrário de métodos baseados em regras, o modelo entende o significado semântico da ocupação, lidando nativamente com erros de digitação e variações linguísticas sem necessidade de limpeza prévia de dados.

4. Resultados de Desempenho

O modelo foi avaliado em um conjunto de teste de 931.474 observações (não visto durante o treinamento):

• Precisão Geral: O Sequential Decoder alcançou 96,1% de precisão, 96,1% de recall e 96,3% de F1-score no nível de 5 dígitos do código HISCO.
• Velocidade: Em um laptop com GPU (NVIDIA Quadro T2000), o modelo codifica 10.000 observações em menos de 9 minutos (vs. ~27,5 horas para um humano).
• Desempenho Out-of-Distribution (OOD):
  • O modelo manteve alta acurácia em dados de fontes não vistas no treinamento (ex: registros de enterros de Copenhague, biografias norueguesas).
  • Em casos onde o desempenho inicial foi menor (devido a convenções de codificação locais ou dados de baixa qualidade), a estratégia de Top-k Decoding (onde o modelo sugere os $k$ códigos mais prováveis e um humano seleciona) recuperou a maioria dos erros. Por exemplo, permitir 2 sugestões aumentou a acurácia para mais de 98% em muitos casos.
• Robustez a Viés SES: A análise mostrou que a queda de desempenho para ocupações raras não está correlacionada sistematicamente com o status socioeconômico (SES) quando controlada pela quantidade de dados de treinamento, indicando que o viés é principalmente devido à escassez de dados, e não a um viés intrínseco do modelo.

5. Significância e Impacto

O OccCANINE representa um avanço significativo na economia histórica e ciências sociais quantitativas:

• Escalabilidade: Permite a análise de conjuntos de dados históricos massivos (milhões de registros) que antes eram inviáveis de codificar manualmente.
• Qualidade de Dados: Ao reduzir o erro humano e a variabilidade entre codificadores, aumenta a confiabilidade dos dados históricos.
• Aplicabilidade Ampliada: A metodologia serve como um "receituário" para outros problemas de padronização de texto não estruturado em história, como codificação de registros de comércio, educação ou doenças médicas.

Em suma, o artigo quebra a "barreira do HISCO", substituindo processos manuais lentos e propensos a erros por uma solução automatizada, rápida, precisa e acessível, abrindo novas fronteiras para a pesquisa em história econômica e sociologia.