DELICATE: Diachronic Entity LInking using Classes And Temporal Evidence

Resumen Técnico: DELICATE – Enlazado de Entidades Diacrónico utilizando Clases y Evidencia Temporal

Planteamiento del Problema
El Enlazado de Entidades (EE) en el campo de las Humanidades Digitales (HD) y el procesamiento de textos históricos enfrenta desafíos significativos que los modelos de última generación (SoTA) de propósito general no abordan adecuadamente. Estos desafíos incluyen las variaciones lingüísticas a lo largo del tiempo, la necesidad de un contexto cronológico preciso y la prevalencia de entidades de "cola larga" subrepresentadas en las Bases de Conocimiento (BK). Los métodos específicos de dominio existentes a menudo dependen de reglas rígidas y elaboradas manualmente para el filtrado temporal y de tipo, las cuales carecen de generalización. Además, existe una escasez de conjuntos de datos de referencia en italiano para entrenar modelos de EE históricos, y los enfoques actuales que utilizan Modelos de Lenguaje Grandes (LLM) suelen sufrir altos costos computacionales, riesgos de alucinación y una falta de interpretabilidad en sus procesos de toma de decisiones.

Metodología
El artículo introduce DELICATE, una arquitectura supervisada novedosa diseñada para realizar la Desambiguación de Entidades (DE) en textos históricos italianos. El sistema opera mediante una tubería de dos etapas:

1. Recuperación de Candidatos (Bi-Encoder): El sistema utiliza un bi-encoder basado en BERT congelado (específicamente el modelo BLINKITA) para codificar los contextos de las menciones y las descripciones de entidades de Wikipedia en un espacio latente compartido. Se realiza una búsqueda de k-Vecinos Más Cercanos (k-NN) contra un índice de vectores densos (FAISS) que contiene incrustaciones de aproximadamente 1,5 millones de entidades de Wikipedia en italiano para recuperar una lista de los k mejores candidatos.
2. Reordenamiento de Candidatos (Árboles de Impulso Gradual): A diferencia de los enfoques estándar que dependen únicamente de la similitud de incrustaciones, DELICATE emplea un clasificador supervisado de Árboles de Impulso Gradual (GBTs) para reordenar los candidatos recuperados. Este clasificador ingiere un conjunto de características de similitud por pares derivadas tanto de la etapa de recuperación como de BK externas (Wikidata):
   • Similitud Vectorial: Distancias L2 entre las incrustaciones de la mención y la entidad.
   • Similitud de Cadena: Distancias de Levenshtein y Jaccard entre las formas superficiales.
   • Similitud de Tipo: Una coincidencia binaria entre el tipo de entidad de la mención (Persona, Lugar, Organización, Obra) y la clase de Wikidata del candidato.
   • Intervalo Temporal: La diferencia de tiempo entre la fecha de publicación del documento y la fecha más temprana asociada a la entidad en Wikidata (por ejemplo, fecha de nacimiento, inicio).

El modelo GBTs se entrena para predecir la probabilidad de una coincidencia correcta, permitiendo una evaluación dinámica de la relevancia contextual. El sistema también soporta una variante, DELICATE +LLM, donde un LLM de código abierto ajustado con instrucciones (Mistral-Small-24B) es solicitado para seleccionar el candidato final de entre las 10 entidades reordenadas, reemplazando efectivamente el umbral fijo para la predicción NIL (Sin Enlace).

Contribuciones Clave

1. La Arquitectura DELICATE: Un enfoque híbrido que combina la eficiencia de la recuperación neuronal con la explicabilidad y la sensibilidad a las características del aprendizaje supervisado basado en árboles. Incorpora explícitamente la plausibilidad temporal y la consistencia del tipo de entidad de Wikidata como características aprendibles en lugar de filtros rígidos.
2. El Corpus ENEIDE: Los autores presentan ENEIDE (Entidades Nombradas Extraídas de Ediciones Digitales Italianas), un corpus de EE multi-domino para el italiano histórico. Extraído semi-automáticamente de dos Ediciones Digitales Académicas (Digital Zibaldone y Aldo Moro Digitale) que abarcan los siglos XIX y XX, incluye textos literarios y políticos con anotaciones vinculadas a Wikidata.
3. Análisis de Explicabilidad: El estudio demuestra que el enfoque basado en GBTs produce puntuaciones de confianza con una correlación más alta con la corrección en comparación con los métodos puramente neuronales o generativos, ofreciendo una mayor interpretabilidad para la verificación con intervención humana.

Resultados Experimentales
Los autores evaluaron DELICATE en el corpus ENEIDE y en el conjunto de datos fuera de dominio MHERCL-ITA (periódicos musicales históricos), comparándolo con líneas base que incluyen BLINKITA, mGENRE y ChatEL (un enfoque basado en LLM).

• Rendimiento en ENEIDE: Las variantes de DELICATE superaron a todas las líneas base tanto en Desambiguación de Entidades (DE) como en tareas de EE de extremo a extremo. Específicamente, DELICATE +LLM logró la mayor precisión micro-promediada (63,05% en Digital Zibaldone y 72,67% en Aldo Moro Digitale). El modelo mostró una fuerza particular en la desambiguación de entidades de persona aprovechando las pistas temporales.
• Rendimiento en MHERCL-ITA: En este conjunto de datos con desplazamiento de dominio y una alta proporción de entidades NIL (28,67%), DELICATE +LLM logró una precisión micro-promediada del 70,44%, superando significativamente a la variante solo GBT y a las líneas base genéricas. Esto sugiere que el componente LLM maneja eficazmente escenarios de alto NIL donde los umbrales fijos fallan.
• Explicabilidad: Las pruebas de permutación revelaron que la similitud vectorial y la similitud de cadena fueron las características más importantes, pero los intervalos temporales permanecieron altamente relevantes (quinta más importante). Las pruebas de correlación punto-biserial mostraron que DELICATE (sin LLM) produjo puntuaciones de confianza fuertemente correlacionadas con la corrección (0,79 en Digital Zibaldone), mientras que los métodos basados en LLM mostraron una correlación más baja, indicando una menor interpretabilidad de sus medidas de confianza.

Significado y Afirmaciones
El artículo afirma que DELICATE ofrece una alternativa computacionalmente eficiente y ambientalmente sostenible a los sistemas de EE basados en LLM pesados, particularmente para instituciones del Patrimonio Cultural con recursos limitados. Al congelar el bi-encoder y entrenar solo un clasificador GBT ligero, el sistema logra una adaptación rápida con requisitos mínimos de datos.

Los autores afirman que su enfoque complementa en lugar de competir con las arquitecturas basadas en LLM. La integración de información estructurada de BK (fechas y clases) mediante un reordenador supervisado proporciona un mecanismo robusto para manejar variaciones diacrónicas y entidades de cola larga. Además, la publicación del corpus ENEIDE aborda una brecha crítica en el PLN histórico italiano, proporcionando un estándar de referencia para futuras investigaciones. El estudio concluye que, aunque los LLM pueden mejorar la selección de candidatos, especialmente para la predicción NIL, combinarlos con un reordenamiento supervisado e interpretable produce los resultados más robustos y explicables para el enlazado de entidades históricas.