Auditable AI Assisted Semantic Completion Supports Metadata Enhancement in Digital Cultural Heritage Collections

Resumen Técnico: Completitud Semántica Asistida por IA Auditables para Metadatos de Patrimonio Cultural Digital

Planteamiento del Problema
Las colecciones de patrimonio cultural digital están cada vez más disponibles como datos computacionales, pero su capacidad de descubrimiento se ve obstaculada por metadatos que suelen estar incompletos, estructurados de manera desigual y carecen de riqueza semántica. Aunque la Inteligencia Artificial (IA) se propone frecuentemente como una solución para la generación de metadatos, su adopción en contextos de patrimonio cultural plantea preocupaciones significativas respecto a la autoridad interpretativa, el sesgo cultural y la naturaleza de "caja negra" de los modelos generativos. El desafío central no es meramente si la IA puede generar etiquetas, sino cómo crear un flujo de trabajo de mejora de metadatos que sea transparente, reproducible y auditable por catalogadores profesionales. Los registros existentes suelen contener información densa en algunos aspectos (p. ej., tipo de objeto, material) pero son dispersos en otros (p. ej., sujeto, clasificación), lo que genera la necesidad de un sistema que pueda recomendar términos de vocabulario controlado faltantes sin inventar nuevos o desdibujar la procedencia.

Metodología
El estudio redefine la mejora de metadatos como una tarea de completitud semántica restringida en lugar de una generativa. En lugar de pedir a un modelo que produzca descripciones fluidas, el sistema utiliza etiquetas de vocabulario controlado observadas dentro de un registro para recomendar etiquetas candidatas para los aspectos faltantes.

• Conjunto de Datos: La investigación utiliza el benchmark EUFCC-340K, un conjunto de datos jerárquico facetado derivado de Europeana que contiene más de 340,000 registros. El estudio emplea un subconjunto de entrenamiento fijo de 25,000 registros para garantizar la reproducibilidad en hardware ordinario.
• Diseño Experimental: Se utiliza un protocolo de evaluación de etiqueta enmascarada. Para cada registro elegible, se oculta una etiqueta existente de una faceta objetivo (tipo de objeto, material, sujeto o clasificación). El modelo debe clasificar las etiquetas candidatas para esa faceta utilizando las etiquetas de contexto observadas restantes. El éxito se mide por si la etiqueta oculta aparece en los k mejores candidatos (Recall@k).
• Modelos Evaluados:
  1. Línea Base de Frecuencia: Clasifica los candidatos basándose en la frecuencia global de entrenamiento dentro de la faceta objetivo.
  2. Coocurrencia Directa: Construye una matriz de coocurrencia etiqueta-etiqueta a partir de los registros de entrenamiento. Las puntuaciones se derivan de la probabilidad media de que un candidato aparezca dado el contexto de etiquetas observadas.
  3. Propagación de Grafo de Dos Saltos: Extiende la evidencia directa mediante la propagación de puntuaciones a través del grafo de etiquetas (p. ej., Objeto $\to$ Material $\to$ Clasificación) para capturar relaciones indirectas.
  4. Clasificación Híbrida: Una combinación ponderada de la puntuación directa, la puntuación de dos saltos y el prior de frecuencia.
• Restricciones: El vocabulario se limita a 600 etiquetas de hoja (aquellas que aparecen $\ge$10 veces en el entrenamiento) para asegurar la auditabilidad y la eficiencia. El flujo de trabajo prioriza la clasificación determinista y reproducible sobre la novedad generativa.

Resultados Clave

• Asimetría de Metadatos: El análisis del conjunto de datos EUFCC-340K revela una asimetría significativa en la cobertura de metadatos. Los campos de tipo de objeto y material son densos (cobertura aprox. del 77–93%), mientras que los campos de sujeto y clasificación son dispersos (6.7% y 12.9% de cobertura en la división de entrenamiento, respectivamente).
• Desempeño de la Coocurrencia: En la división de prueba interna, el modelo de coocurrencia directa superó sustancialmente a la línea base de frecuencia en todas las facetas.
  • Tipos de Objeto: El Recall@5 mejoró de 0.190 (frecuencia) a 0.732 (coocurrencia).
  • Materiales: El Recall@5 mejoró de 0.379 a 0.790.
  • Clasificaciones: El Recall@5 mejoró de 0.450 a 0.986.
  • Sujetos: Aunque el conjunto de prueba para sujetos era pequeño (228 casos), la línea base de frecuencia logró un Recall@5 de 1.000, que fue igualado por el modelo de coocurrencia (también 1.000); sin embargo, la coocurrencia superó significativamente a la línea base de frecuencia en Recall@1 (0.934 vs. 0.272) y Recall@3 (1.000 vs. 0.781), demostrando una precisión superior en la clasificación de la etiqueta correcta en la parte superior de la lista.
• Complejidad del Modelo: El modelo híbrido no superó consistentemente al modelo de coocurrencia directa más simple. El estudio encontró que el método más simple y transparente era a menudo el más fuerte, sugiriendo que la propagación de grafos compleja o los priors híbridos pueden no ser necesarios cuando las relaciones de etiquetas directas son fuertes.
• Cambio de Distribución: La división de prueba externa (que representa diferentes composiciones de colecciones) mostró que las líneas base de frecuencia pueden parecer engañosamente fuertes en distribuciones de baja entropía, mientras que la coocurrencia directa sigue siendo sensible a los cambios relacionales. Esto destaca la necesidad de una evaluación específica por división en lugar de puntuaciones agregadas.

Significancia y Reivindicaciones
El artículo afirma que su contribución principal es un flujo de trabajo de organización de la información reproducible que trata la mejora de metadatos asistida por IA como un problema de clasificación auditable.

• Auditabilidad y Gobernanza: El estudio argumenta que la IA de alto valor en el patrimonio cultural debe juzgarse por su reproducibilidad, interpretabilidad y preservación de la procedencia, no solo por su precisión predictiva. Al utilizar la coocurrencia observada, cada recomendación puede rastrearse hasta relaciones específicas de los datos de entrenamiento, permitiendo que los catalogadores profesionales inspeccionen, validen o rechacen las sugerencias.
• Diseño con Humano en el Bucle: El flujo de trabajo posiciona a la IA no como un reemplazo de los catalogadores, sino como una capa de apoyo a la decisión. Proporciona candidatos clasificados para la validación humana, reduciendo el costo de la revisión mientras se preserva el juicio profesional.
• Implementación Práctica: El enfoque requiere recursos técnicos modestos (sin redes neuronales grandes, procesamiento de imágenes o APIs propietarias), lo que lo hace accesible para instituciones más pequeñas. Soporta una vía de implementación por etapas: perfilado de metadatos, normalización de vocabulario, construcción de grafos, sugerencia de candidatos y registro de procedencia.
• Limitaciones: El autor reconoce explícitamente que el método hereda los sesgos del conjunto de datos (amplificando los desequilibrios de catalogación existentes) y no evalúa la adecuación cultural ni la necesidad de añadir etiquetas faltantes en escenarios del mundo real. El estudio se centra en la recuperación de etiquetas existentes dentro de un vocabulario controlado, no en la generación de nuevas interpretaciones culturales.

En conclusión, el artículo demuestra que la clasificación transparente basada en la coocurrencia puede apoyar eficazmente el enriquecimiento de los metadatos del patrimonio cultural digital, ofreciendo una alternativa conservadora pero escalable a los modelos de IA generativa opacos.