Breaking the HISCO Barrier: Automatic Occupational Standardization with OccCANINE

1. El Problema: La Barrera de la Codificación Manual

El estudio de los resultados ocupacionales en historia económica y sociología requiere datos sistemáticos sobre las ocupaciones de las personas. El sistema estándar para categorizar datos históricos es HISCO (Historical International Standard Classification of Occupations).

• Cuello de botella: La clasificación manual de grandes conjuntos de datos (como registros censales o certificados de matrimonio) es lenta, propensa a errores y costosa. Se estima que codificar manualmente 10.000 descripciones únicas tomaría unas 28 horas de trabajo intensivo.
• Limitaciones de métodos anteriores: Los enfoques tradicionales se basan en coincidencia de cadenas (string matching), expresiones regulares y limpieza de datos manual. Estos métodos fallan ante la diversidad de descripciones, errores tipográficos, variaciones ortográficas históricas y negaciones, careciendo de generalización entre diferentes fuentes de datos.

2. Metodología: OccCANINE

Los autores presentan OccCANINE, una herramienta de código abierto que automatiza la asignación de códigos HISCO utilizando modelos de lenguaje transformer.

• Arquitectura del Modelo:

  • Se basa en CANINE (J. H. Clark et al., 2022), un modelo transformer preentrenado con 127 millones de parámetros.
  • Ventajas de CANINE: Utiliza tokenización a nivel de caracteres (no a nivel de palabras), lo que lo hace robusto ante errores tipográficos y variaciones ortográficas comunes en datos históricos. Además, fue preentrenado en Wikipedia en 104 idiomas, lo que le otorga capacidades multilingües nativas.
  • Diseño Encoder-Decoder:
    • Encoder: CANINE convierte la descripción ocupacional (y opcionalmente el idioma) en una representación numérica (embedding).
    • Decodificadores: Se implementan dos módulos de decodificación:
      1. Flat Decoder (Rápido): Un clasificador lineal que predice probabilidades para todos los 1,919 códigos HISCO posibles en una sola pasada. Requiere ajustar un umbral de confianza.
      2. Sequential Decoder (Bueno): Predice el código dígito por dígito. Es más robusto ante ambigüedades y descripciones con múltiples ocupaciones, y no requiere ajuste manual de umbrales.

• Datos de Entrenamiento:

  • El modelo se fine-tuneó con 15.8 millones de pares de descripción-código.
  • Los datos provienen de 29 fuentes diversas (censos, registros de matrimonio, listas de barcos, etc.) en 13 idiomas (incluyendo danés, inglés, sueco, neerlandés, alemán, francés, etc.).
  • Se aplicó una pipeline de procesamiento para normalizar caracteres y validar códigos.
  • Augmentation: Se generaron frases de múltiples ocupaciones combinando descripciones simples con conjunciones para enseñar al modelo a identificar varios roles simultáneamente.

• Función de Pérdida Innovadora:

  • Dado que el orden de los códigos en las etiquetas de entrenamiento no es consistente (ej. "agricultor y pescador" puede estar codificado como [Agricultor, Pescador] o [Pescador, Agricultor]), los autores desarrollaron una función de pérdida invariante al orden. Esto permite que el modelo aprenda a detectar todas las ocupaciones presentes independientemente del orden de salida.

3. Contribuciones Clave

1. Automatización de Alta Precisión: Transforma un proceso que tomaba semanas en uno que se completa en minutos o horas, manteniendo una calidad comparable o superior a la humana.
2. Generalización Multilingüe y Multifuente: El modelo funciona eficazmente en 13 idiomas y se generaliza a fuentes de datos no vistas durante el entrenamiento (fuera de distribución).
3. Versatilidad de Sistemas: Además de HISCO, los autores demostraron que la metodología se puede transferir a otros sistemas de clasificación como OCC1950 (EE. UU.), OCCICEM (Reino Unido) e ISCO-68.
4. Código Abierto y Accesibilidad: Se libera el código completo en GitHub, permitiendo que investigadores sin grandes recursos computacionales utilicen o fine-tuneen el modelo en laptops estándar.

4. Resultados y Rendimiento

El modelo fue evaluado en un conjunto de prueba retenido de 931,474 observaciones:

• Precisión General: El Sequential Decoder alcanzó un 96.1% de precisión, 96.1% de recall y 96.3% de puntuación F1 a nivel de 5 dígitos (el nivel más granular).
• Velocidad: En una laptop con GPU, el modelo predice 10,000 códigos en menos de 9 minutos (vs. ~27.5 horas para un humano).
• Validación Fuera de Distribución (OOD):
  • En conjuntos de datos no incluidos en el entrenamiento (ej. registros de entierros de Copenhague, biografías de estudiantes noruegos), el modelo mantuvo una precisión entre 87% y 96%.
  • En casos donde la precisión bajó (ej. datos de las Indias Occidentales danesas), se identificó que el problema radicaba en etiquetas de referencia defectuosas (generadas por regex) y no en el modelo.
• Robustez: El modelo es resistente a errores ortográficos y no requiere limpieza previa de datos (stop-words, corrección de typos).
• Decodificación Top-k: Al permitir que el modelo sugiera los 2 mejores códigos candidatos en lugar de uno solo, la tasa de acierto supera el 98%, lo que facilita la codificación asistida por humanos.

5. Significado e Impacto

• Democratización de la Investigación: Al eliminar la barrera del tiempo y el esfuerzo en la codificación, OccCANINE permite a los economistas, historiadores y sociólogos trabajar con conjuntos de datos históricos mucho más grandes y diversos.
• Calidad de Datos: Libera a los investigadores para dedicar más tiempo a la validación de calidad y al análisis sustantivo en lugar de tareas mecánicas de codificación.
• Reproducibilidad: Garantiza que el mismo input siempre produzca el mismo output, eliminando la variabilidad introducida por codificadores humanos.
• Aplicabilidad Amplia: La metodología propuesta sirve como una "receta" general para mapear texto no estructurado a sistemas estandarizados, aplicable a registros de aduanas históricas, descripciones educativas o registros médicos.

En conclusión, OccCANINE representa un avance significativo en el procesamiento de datos históricos, rompiendo la barrera de la codificación manual y abriendo nuevas posibilidades para el análisis de tendencias ocupacionales a largo plazo en múltiples disciplinas.