Resumen Técnico: MuseKG – Un Grafo de Conocimiento Interactivo sobre Colecciones Museísticas

Enunciado del Problema

El sector del patrimonio cultural ha generado vastos repositorios de datos de colecciones museísticas mediante esfuerzos de digitalización. Sin embargo, estos repositorios suelen estar fragmentados, consistiendo en fuentes heterogéneas como registros de catálogo estructurados, archivos de imágenes y descripciones no estructuradas. Los sistemas de información museística existentes luchan por integrar estas fuentes en una representación unificada y consultable que apoye la exploración consciente de las relaciones. Los obstáculos principales no son meramente la escala de los datos, sino la desconexión semántica entre las descripciones de los objetos, las relaciones y los metadatos contextuales. Aunque los avances recientes en Modelos de Lenguaje Grandes (LLM) y Grafos de Conocimiento (KG) ofrecen soluciones potenciales, los enfoques existentes a menudo no logran cerrar la brecha entre las tuberías de extremo a extremo. Específicamente, los esfuerzos centrados en estándares asumen el uso experto de SPARQL, mientras que los métodos de construcción automatizada a menudo carecen de experiencias de consulta explicables para los usuarios finales. Además, las técnicas actuales de NL2SPARQL pueden ser frágiles bajo esquemas complejos, y las herramientas interactivas de KG rara vez se integran con artefactos museísticos multimodales.

Metodología

Los autores presentan MuseKG, un sistema interactivo diseñado para organizar datos museísticos heterogéneos en un grafo de propiedades tipado y proporcionar una interfaz de lenguaje natural (NL) para la consulta y la exploración.

1. Arquitectura del Sistema

MuseKG opera a través de dos módulos principales:

• Módulo 1: Constructor de KG: Este componente transforma registros brutos de colecciones museísticas (formato JSON) en un grafo de propiedades tipado $G = (V, E, \tau, \rho, A)$.

  • Procesamiento de Datos: El sistema ingiere registros que contienen metadatos de objetos (títulos, materiales, fechas) y campos relacionales (personas, organizaciones, objetos relacionados, etiquetas de imágenes).
  • Pasos de Construcción:
    1. Normalización: Los campos de texto se estandarizan (minúsculas, espacios en blanco colapsados) para ayudar a la resolución de entidades.
    2. Identificación de Entidades: Se crean nodos para IDs de objetos, entidades referenciadas (personas, organizaciones), IDs de imágenes y entidades nombradas extraídas del texto.
    3. Asignación de Tipos: Los nodos se asignan tipos (por ejemplo, objeto, persona, imagen, entidad semántica).
    4. Etiquetado de Relaciones: Los identificadores de relaciones brutos se mapean a un vocabulario fijo de siete tipos de relaciones en cuatro categorías: procedencia, inter-objeto, visual y semántica.
    5. Deduplicación: Los nodos y aristas duplicados se fusionan o eliminan basándose en identificadores canónicos y tripletes.
    6. Validación de Esquema: Los atributos se restringen a un esquema predefinido.
  • Salida: El grafo construido vincula objetos, personas, organizaciones, imágenes, etiquetas derivadas de imágenes y entidades semánticas. En la demostración, esto resultó en un grafo con 23,263 nodos y 75,375 aristas derivados de 15,829 registros de objetos.

• Módulo 2: Interfaz de Consulta en Lenguaje Natural: Este módulo utiliza un enfoque de Generación Aumentada por Recuperación (RAG) para responder a las consultas de los usuarios.

  • Recuperación de Contexto: Al recibir una consulta en NL, un LLM extrae las entidades clave. El sistema luego recupera un contexto textual del KG, que comprende los atributos de la entidad identificada y sus vecinos de un salto (relaciones y nodos conectados).
  • Generación de Respuesta: El contexto recuperado y la consulta original se alimentan a un LLM, que se instruye para sintetizar una respuesta concisa utilizando solo la evidencia del KG proporcionada. Este diseño tiene como objetivo mitigar las alucinaciones comunes en los sistemas que solo usan LLM.

2. Flujo de Interacción

El sistema proporciona una interfaz visual donde los usuarios pueden escribir preguntas de forma libre o seleccionar indicaciones. El sistema:

1. Fundamenta la consulta en menciones específicas de entidades.
2. Recupera un vecindario compacto del KG como evidencia.
3. Visualiza el subgrafo para su inspección.
4. Muestra una tarjeta de detalles de la entidad con metadatos e imágenes.
5. Genera una respuesta en lenguaje natural fundamentada en los hechos recuperados.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Sistema MuseKG: Un sistema de KG interactivo que permite la construcción y consulta de colecciones museísticas mediante lenguaje natural, integrando registros estructurados con etiquetas derivadas de medios.
2. Tubería e Interfaz Ligera: Una tubería de construcción de KG simplificada e interfaz de consulta en NL que soporta tres tareas específicas: búsqueda de atributos, exploración de relaciones y recuperación consciente de relaciones.
3. Demostración y Referencia: Una demostración en colecciones museísticas reales que muestra respuestas interpretables y fundamentadas en evidencia, respaldada por una referencia de 150 preguntas generadas mediante métodos fundamentados en KG y guiados por LLM.

Resultados y Evaluación

Los autores evaluaron MuseKG frente a varias líneas base utilizando una referencia personalizada de 150 preguntas categorizadas en:

• C1: Búsqueda de atributos (por ejemplo, recuperar medidas).
• C2: Exploración de relaciones (recuperar entidades vinculadas como productores).
• C3: Recuperación de atributos consciente de relaciones (atravesar una relación para encontrar un atributo de la entidad conectada).

Rendimiento Comparativo:
MuseKG se comparó con líneas base que solo usan LLM (Zero-shot, Few-shot) y una tubería de indicación NL2SPARQL a través de tres LLM de respaldo diferentes (Gemma-3-4B, Gemma-3-12B y gpt-oss-20b).

• Precisión: MuseKG logró consistentemente la mayor precisión en todas las categorías y tamaños de modelo. Por ejemplo, en el modelo Gemma-3-12B, MuseKG alcanzó una precisión de 0.84 en C1, 0.42 en C2 y 0.36 en C3.
• Comparación con Líneas Base: Si bien la línea base NL2SPARQL fue competitiva en la búsqueda de atributos (C1), se desempeñó significativamente peor en tareas centradas en relaciones (C2 y C3). La ejecución explícita fundamentada en KG de MuseKG proporcionó las mayores ganancias en estos escenarios complejos de recorrido de relaciones.
• Indicación: A diferencia de las líneas base que requerían ingeniería de indicaciones específica por categoría (few-shot o indicación SPARQL), MuseKG utilizó una sola indicación genérica KG-RAG mientras mantenía un rendimiento superior.

Significado y Afirmaciones

El artículo afirma que MuseKG cierra exitosamente la brecha entre los registros museísticos fragmentados y la consulta accesible en lenguaje natural. Su significado radica en demostrar cómo combinar la precisión estructural de un grafo de conocimiento con la flexibilidad de los LLM puede proporcionar respuestas inspeccionables y fundamentadas en evidencia.

Los autores enfatizan que el sistema permite a los usuarios verificar la procedencia de las respuestas inspeccionando las estructuras y relaciones explícitas del grafo utilizadas para generarlas. Señalan que MuseKG supera a las líneas base específicamente en tareas centradas en relaciones, abordando la fragilidad de la generación directa de NL a SPARQL en esquemas complejos.

El artículo mantiene un alcance modesto, reconociendo limitaciones actuales: el sistema actualmente resuelve solo una entidad principal por consulta, lo que limita su capacidad para manejar preguntas comparativas entre múltiples entidades o preguntas abiertas sin referencias específicas a objetos. Se propone trabajo futuro para escalar la tubería para el descubrimiento entre colecciones y evolucionar el sistema hacia un marco basado en agentes para la investigación autónoma a través de redes heterogéneas.