Resumen Técnico: Extensión de Grafos de Conocimiento del Patrimonio Cultural Multimodal con Modelos de Lenguaje y Visión

Enunciado del Problema

La preservación e interpretación del patrimonio cultural dependen cada vez más de Grafos de Conocimiento (KG) para estructurar grandes volúmenes de datos. Sin embargo, la construcción y expansión de estos KG enfrentan desafíos significativos debido a la naturaleza diversa, compleja y a menudo no estructurada de la información del patrimonio cultural (por ejemplo, descripciones textuales e imágenes encontradas en archivos de museos o en Wikipedia).

Los KG existentes, incluso los de gran escala como DBpedia o Freebase, son inherentemente incompletos. Esta incompletitud se ve exacerbada en el dominio del patrimonio cultural, donde los datos históricos a menudo permanecen ocultos detrás de recursos no estructurados. Los métodos tradicionales de Completación de Grafos de Conocimiento (KGC), que son predominantemente basados en incrustaciones (por ejemplo, TransE, RESCAL), operan bajo la Suposición de Mundo Cerrado (CWA). Esta suposición limita las predicciones a conjuntos predefinidos de entidades, lo que hace que estos métodos sean insuficientes para introducir nuevo conocimiento o entidades que no estén ya presentes en el grafo. Además, las referencias existentes a menudo carecen de la complejidad operativa, la ambigüedad y la riqueza multimodal (texto e imágenes) características de las colecciones reales de patrimonio cultural.

Metodología

Los autores proponen un enfoque integral que implica la creación de un nuevo conjunto de datos y un marco novedoso para extender KG bajo la Suposición de Mundo Abierto (OWA).

1. El Conjunto de Datos WJoconde

Los autores presentan WJoconde, un nuevo grafo de conocimiento multimodal centrado en el patrimonio cultural francés, derivado de la base de datos Joconde (una base de datos de referencia de colecciones de museos franceses) y Wikidata.

• Construcción: El proceso implica extraer un grafo de contexto de Wikidata utilizando entidades vinculadas al ID de Joconde (P347), limpiar redundancias y enriquecer las entidades con texto e imágenes externos de fuentes de patrimonio abierto, Wikimedia Commons y Wikipedia.
• Variantes: Se crearon tres variantes para facilitar la investigación:
  • WJoconde (Raw): Contiene 28,524 entidades y 483,938 tripletes.
  • WJoconde_cleaned: Una versión filtrada que elimina relaciones inversas, redundantes y dispersas para evitar la inflación artificial del rendimiento en tareas de KGC.
  • WJocondeMM: Un subconjunto multimodal completo donde las entidades poseen tanto descripciones textuales como imágenes visuales.
• Evaluación: El conjunto de datos sirve como una nueva referencia para KGC, evaluado frente a varios modelos de incrustación (TransE, ComplEx, TuckER, etc.). Los resultados indican que los modelos basados en traducción luchan con la complejidad del conjunto de datos, mientras que los modelos de redes neuronales profundas como TuckER obtienen el mejor rendimiento.

2. Marco de KGC Multimodal bajo OWA

Para extender el KG con nuevas entidades, los autores proponen un proceso que aprovecha los Modelos de Lenguaje Grande (LLM) y los Modelos de Lenguaje-Visión (VLM) de manera zero-shot. El proceso consta de tres etapas:

1. Recopilación de Información: Para un triplete dado con una entidad faltante, el sistema recupera descripciones textuales no estructuradas e imágenes visuales asociadas a las entidades o relaciones conocidas.
2. Extracción de Entidades:
   • LLM (por ejemplo, LLaMA 2): Procesa las entradas de texto utilizando plantillas de prompts diseñadas para definir la tarea del KG, asignar un rol y forzar el formato de salida JSON.
   • VLM (por ejemplo, BLIP): Procesa las entradas de imágenes de manera similar para extraer conceptos visuales.
   • Ambos modelos generan listas de entidades candidatas sin entrenamiento previo en el conjunto de datos específico.
3. Validación y Anclaje Conjuntos: Para garantizar la fiabilidad y la novedad, se aplica un proceso de validación riguroso:
   • Coincidencia de Entidades: Un modelo Word2Vec calcula la similitud entre las candidatas generadas y las entidades existentes del KG. Las candidatas con alta similitud (sinónimos) o las entidades existentes se filtran utilizando un umbral ($\tau=0.4$).
   • Validación Cruzada: El VLM se utiliza para verificar si las entidades generadas por el LLM están presentes visualmente en la imagen (y viceversa), reduciendo las alucinaciones.
   • Validación del Modelo: Los modelos se prueban en su capacidad para reconocer entidades existentes del contexto proporcionado para establecer una línea base de credibilidad.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Conjunto de Datos WJoconde: Un grafo de conocimiento multimodal novedoso y de alta calidad para el patrimonio cultural francés que contiene más de 483k tripletes. Integra texto e imágenes, sirviendo como recurso para investigación multimodal y como una nueva referencia para KGC.
2. Proceso de Extensión OWA: Un marco novedoso para extender KG bajo la Suposición de Mundo Abierto. Al combinar LLM y VLM con un proceso especializado de anclaje y validación, el método introduce exitosamente nuevas entidades fiables al grafo sin requerir ajuste fino del modelo.
3. Evaluación y Referencias: Evaluación extensa de modelos KGC existentes en WJoconde y sus variantes, junto con una nueva metodología de evaluación para escenarios OWA que depende de la evaluación humana y la validación cruzada de modelos en lugar de las métricas de clasificación tradicionales.

Resultados

El proceso propuesto se aplicó al conjunto de datos WJocondeMM_en:

• Expansión de Entidades: El método introdujo exitosamente un 61.36% más de entidades al conjunto de datos. Específicamente, se añadieron 4,394 nuevas entidades finales, expandiendo la cuenta de entidades de 7,749 a 12,143.
• Fiabilidad:
  • Credibilidad del Modelo: El proceso combinado de LLM y VLM logró un 90.2% de recuperación y una puntuación F1 de 94.8% en la recuperación de entidades de verdad fundamental (existentes), demostrando una alta fiabilidad en el reconocimiento de entidades.
  • Evaluación Humana: Dos anotadores revisaron las entidades generadas para la relación "representa". El enfoque combinado logró una precisión del 92.0%, indicando que la mayoría de las entidades añadidas eran correctas y significativas.
• Calidad Semántica: El análisis de las entidades añadidas mostró un cambio desde categorías "desconocidas" (55.4% en el original) hacia categorías semánticamente ricas y ancladas visualmente como "Objeto" (22.5%), "Naturaleza" (17.5%) y "Persona" (15.6%). Las entidades añadidas capturaron conceptos interpretables (por ejemplo, "justas", "arco", "armadura") relevantes para historiadores del arte.

Significado

El artículo afirma que este trabajo representa la primera creación de un conjunto de datos de referencia multimodal integral en el dominio del patrimonio cultural francés que combina información textual y visual. Su significado radica en:

• Avanzar la OWA en el Patrimonio Cultural: Demostrar que los modelos de IA multimodal pueden extender eficazmente los KG con nuevo conocimiento, superando las limitaciones de la Suposición de Mundo Cerrado que restringen los métodos tradicionales de KGC.
• Utilidad Específica del Dominio: Proporcionar un recurso estructurado y multimodal que facilita consultas sofisticadas, análisis e investigación en patrimonio cultural, abordando la complejidad de gestionar extensas colecciones de museos.
• Robustez Metodológica: Establecer un proceso de validación que garantiza la fiabilidad del conocimiento generado por IA, haciendo viable automatizar el enriquecimiento de datos de patrimonio cultural con alta confianza.

Los autores señalan que, aunque el proceso es efectivo, el trabajo futuro podría explorar modelos avanzados, aprendizaje few-shot y escenarios de ajuste fino más sofisticados. Todo el código, los conjuntos de datos y los puntos de acceso interactivos son de código abierto para facilitar la investigación futura.