ICE-ID: A Novel Historical Census Dataset for Longitudinal Identity Resolution

Resumen Técnico: ICE-ID

1. El Problema

La vinculación de registros de censos históricos es fundamental para investigar la movilidad social, el cambio demográfico, la migración y la epidemiología. Sin embargo, esta tarea presenta desafíos únicos que los conjuntos de datos de referencia (benchmarks) actuales no capturan adecuadamente:

• Deriva Temporal: Los nombres cambian, los campos faltan y las fronteras administrativas se modifican a lo largo de décadas o siglos.
• Limitaciones de los Benchmarks Actuales: La mayoría de los benchmarks clásicos de Resolución de Entidades (ER) se centran en coincidencias de productos o bibliografías (ej. Abt-Buy, DBLP). Son "instantáneas estáticas" (un solo momento en el tiempo), carecen de estructura temporal, no incluyen relaciones de parentesco y tratan la geografía como texto plano en lugar de una jerarquía.
• Complejidad de Datos Históricos: Los censos históricos presentan colisiones de nombres sistemáticas (debido a convenciones patronímicas), ruido en los atributos demográficos y una estructura de parentesco (kinship) muy dispersa.

2. Metodología y Diseño del Dataset

Los autores presentan ICE-ID, un conjunto de datos de referencia (benchmark) abierto y a gran escala diseñado específicamente para la resolución de identidad longitudinal en una población nacional.

• Origen y Escala: El dataset contiene 984,028 registros procedentes de 16 oleadas de censos islandeses que abarcan 220 años (1703–1920).
• Identificadores: Incluye 226,864 identificadores de personas curados por expertos, que actúan como etiquetas de verdad fundamental (ground truth).
• Estructura de Datos:
  • Geografía Jerárquica: La ubicación no es texto plano, sino una jerarquía evolutiva: Granja $\rightarrow$ Parroquia $\rightarrow$ Distrito $\rightarrow$ Condado.
  • Convenciones de Nombres: Utiliza el sistema patronímico islandés, lo que genera colisiones de nombres masivas (ej. "Jón Jónsson" aparece 15,599 veces).
  • Vínculos de Parentesco: Incluye enlaces a pareja, padre y madre, aunque están muy dispersos (92.9% de valores faltantes), reflejando las prácticas de registro histórico.
  • Atributos: Incluye componentes de nombre, año de nacimiento, sexo, estado civil y metadatos de procedencia.
• Protocolo de Evaluación Temporal (OOD): Se define un protocolo de "fuera de distribución temporal" (Temporal OOD) para simular escenarios de despliegue real:
  • Entrenamiento: Censos anteriores a 1870.
  • Validación: 1871–1890.
  • Prueba: 1891–1920.
  • Esto obliga a los modelos a generalizar desde censos antiguos a modernos, enfrentando cambios en la ortografía, fronteras y demografía.

3. Contribuciones Clave

El artículo ofrece cuatro contribuciones principales:

1. Dataset Longitudinal Único: El primer benchmark abierto a gran escala para la coincidencia de personas a largo plazo, que integra geografía jerárquica, estructura genealógica y deriva temporal.
2. Protocolos de Evaluación Robustos: Definición de tareas de enlace "dentro de la oleada" (intra-censo) y "entre oleadas" (inter-censo), junto con métricas para evaluación por pares y por agrupamiento (clustering) que respetan la transitividad.
3. Análisis de Diagnóstico del Dataset: Un conjunto de métricas generadas a partir de artefactos publicados que analizan la cobertura temporal, la tasa de datos faltantes, la ambigüedad de los identificadores y la eficiencia de la generación de candidatos (blocking).
4. Reproducibilidad Total: Liberación del dataset, scripts de regeneración, tablas, figuras y un dashboard interactivo (basado en Streamlit) para la exploración de datos, depuración de modelos y visualización de redes de coincidencia.

4. Resultados y Análisis Estadístico

El paper presenta un análisis exhaustivo de las propiedades del dataset que lo diferencian de los benchmarks clásicos:

• Complejidad de Agrupamiento: La distribución del tamaño de los clusters muestra una cola larga. La mediana es 1 (personas que aparecen en un solo censo), pero el 95% de las personas aparecen en hasta 6 censos, con un máximo de 22 apariciones. Esto desafía a los algoritmos de clustering que deben mantener la transitividad a lo largo de muchas predicciones.
• Ambigüedad de Nombres: El sistema patronímico crea una alta ambigüedad. Aunque la entropía de los tokens es comparable a los datos de productos, la colisión de nombres es sistemática. El análisis de bloqueo (blocking) muestra que el bloqueo puramente geográfico es insuficiente (0.59 de recuperación), mientras que una estrategia híbrida (Nombre + Parroquia) logra un 0.97 de recuperación con menos de 100 candidatos por registro.
• Datos Faltantes:
  • Geografía: Casi completa (0.5% faltante).
  • Demografía: Muy baja tasa de faltantes (1.4%).
  • Parentesco: Extremadamente dispersa (92.9% faltante), lo que exige que los métodos sean robustos ante la falta de evidencia relacional.
• Comparación con Benchmarks Clásicos: A diferencia de datasets como Abt-Buy o Amazon-Google (que son estáticos, sin datos demográficos ni parentesco), ICE-ID es el único que combina cobertura temporal, geografía jerárquica y señales de parentesco.

5. Significado e Impacto

ICE-ID llena un vacío crítico entre los benchmarks estáticos de resolución de entidades y las grandes colecciones de censos que no son redistribuibles (como IPUMS).

• Avance Científico: Permite investigar la resolución de identidad en condiciones realistas de "deriva no estacionaria", algo que los modelos actuales de IA no han sido evaluados adecuadamente para manejar.
• Reproducibilidad: Al proporcionar datos abiertos, protocolos estrictos y herramientas de visualización, facilita la investigación reproducible en historia digital, demografía y aprendizaje automático.
• Aplicaciones: Es fundamental para estudios de movilidad social a largo plazo, epidemiología histórica y mejora de algoritmos de vinculación de registros que deben operar en entornos con datos incompletos y cambiantes.

En conclusión, ICE-ID no es solo un conjunto de datos, sino un marco completo para evaluar y desarrollar la próxima generación de sistemas de identidad que deben operar a través de décadas o siglos, superando las limitaciones de los enfoques actuales basados en instantáneas estáticas.