GeMi: A Graph-based, Multimodal Recommendation System for Narrative Scroll Paintings

Este trabajo presenta GeMi, un sistema de recomendación basado en redes neuronales de grafos y datos multimodales diseñado específicamente para preservar y promover pinturas narrativas en rollo, una forma de arte en peligro de extinción, mediante la sugerencia de obras similares para su visualización y compra.

Lo esencial

¡Hola! Imagina que tienes un tesoro antiguo: pinturas en rollos narrativos. Estas no son cuadros normales en un museo; son largas tiras de tela donde artistas itinerantes de la India pintan historias épicas, mitos y la vida cotidiana. Pero hay un problema: estos artistas y sus canciones están desapareciendo, y muchas de estas obras están en cajas polvorientas o en papel manuscrito que se está rompiendo.

Los autores de este paper, GeMi, han creado un "guardián digital" para salvar este arte. Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: Un Archivo Desordenado

Imagina que tienes una biblioteca gigante llena de estos rollos. Algunos tienen el texto de la canción, otros solo la imagen, y muchos están mezclados. Además, los textos están escritos en un dialecto antiguo y desordenado. Si intentas buscar algo, es como buscar una aguja en un pajar donde la aguja es de oro y el pajar es de paja mojada.

Además, hay muy pocos expertos (o "usuarios") que saben qué rollos les gustan, lo que hace que los sistemas de recomendación normales (como los de Netflix o Amazon) fallen porque no tienen suficientes datos para aprender.

2. La Solución: GeMi (El Bibliotecario Inteligente)

GeMi es un sistema de recomendación diseñado específicamente para este arte. No es un simple buscador; es como un bibliotecario mágico que entiende tanto las imágenes como las historias.

Funciona en tres pasos principales:

A. Traducir el Caos (Los "Traductores" o Modelos de IA)

Primero, GeMi necesita entender qué hay en cada rollo.

• El Traductor de Textos (LLM): Imagina que tienes un texto antiguo lleno de errores de ortografía y palabras raras. GeMi usa una Inteligencia Artificial (como un traductor experto) que reescribe esas historias en un lenguaje claro y moderno, extrayendo los conceptos clave (ej: "hay un dios", "hay un árbol", "hay un animal").
• El Ojo que Ve (Visión por Computadora): Al mismo tiempo, GeMi "mira" la pintura. No solo ve colores, sino que entiende que si hay un tigre pintado, eso es importante.
• La Fusión: GeMi combina lo que "leyó" con lo que "vio". Es como si un experto en literatura y un experto en arte se sentaran juntos para describir un cuadro en una sola frase perfecta.

B. El Mapa de Conexiones (La Red Neuronal o GNN)

Aquí viene la parte más genial. En lugar de tratar cada rollo como un objeto aislado, GeMi construye un mapa gigante (un grafo).

• Imagina que cada rollo es una isla.
• GeMi construye puentes entre las islas que se parecen. Si dos rollos tienen el mismo dios o el mismo tipo de árbol, GeMi construye un puente fuerte entre ellos.
• Si un rollo es muy raro (poca gente lo ha visto), GeMi usa los puentes para "pedir prestada" información de sus vecinos. Es como si un vecino solitario aprendiera a cocinar mirando lo que cocina su vecino más popular.

C. Aprender de los Gustos (El Sistema de Recomendación)

Finalmente, GeMi aprende qué te gusta a ti.

• Si te gustan los rollos con "dioses mitológicos", GeMi no solo te buscará más dioses, sino que mirará el mapa, cruzará los puentes y te dirá: "Oye, este rollo que tiene un árbol también tiene un dios muy parecido al que te gusta, ¡te va a encantar!".
• Incluso si no tienes muchos datos sobre ti, el sistema usa la estructura del mapa para adivinar tus gustos basándose en lo que le gusta a personas con gustos similares.

3. ¿Por qué es especial?

• Salva el arte: Ayuda a preservar una cultura que está en peligro de extinción.
• Funciona con poco: A diferencia de otros sistemas que necesitan millones de datos, GeMi está diseñado para funcionar bien incluso cuando hay pocos rollos o pocos usuarios.
• Es flexible: Puede aprender de nuevos rollos que se descubran en el futuro sin tener que empezar de cero (esto se llama aprendizaje "inductivo").

En resumen

GeMi es como tener un curador de museo personal que es un genio en historia, arte y tecnología. Toma un arte antiguo y desordenado, lo organiza, entiende sus secretos visuales y literarios, y te recomienda las historias perfectas para ti, asegurando que estas bellas tradiciones no se olviden nunca.

Es una mezcla de magia tecnológica (Inteligencia Artificial) y amor por la cultura, diseñado para que el pasado pueda ser disfrutado por el futuro.

Resumen técnico

Resumen Técnico: GeMi - Sistema de Recomendación Multimodal para Pinturas en Rollos Narrativos

1. Planteamiento del Problema

El artículo aborda la preservación y promoción de una forma de arte performático en peligro de extinción en el este de la India: las pinturas en rollos narrativos (conocidas como Patua o "pintores cantantes"). Estos artistas viajan contando historias épicas y folclóricas mediante la exhibición de rollos pintados y cantando canciones que describen las imágenes.

Los desafíos principales identificados son:

• Falta de digitalización y sistemas de recomendación: No existen sistemas diseñados específicamente para este tipo de arte multimodal (texto + imagen). Los esfuerzos de conservación han sido esporádicos y no digitales.
• Escasez de datos y desalineación multimodal: Los datos recolectados en campo a menudo presentan desalineación entre las imágenes de los paneles y los textos de las canciones (letras), o carecen de uno de los dos modales.
• Ruido y desequilibrio de clases: Los datos de campo contienen ruido (imágenes borrosas, ortografía inconsistente) y conceptos visuales específicos (como "árboles" o "personajes mitológicos") son escasos en comparación con otros, lo que genera problemas de desequilibrio de clases en el aprendizaje automático.
• Limitaciones de los sistemas actuales: Los sistemas de recomendación tradicionales (filtrado colaborativo o basado en contenido) no capturan eficazmente las relaciones semánticas complejas entre usuarios y artículos en conjuntos de datos pequeños y heterogéneos.

2. Metodología: Arquitectura de GeMi

GeMi es un sistema de recomendación basado en contenido que utiliza Redes Neuronales de Grafos (GNN) y modelos de visión-idioma avanzados. Su arquitectura se divide en cuatro componentes principales:

A. Extracción de Características Multimodales (Modelos de Visión-Lenguaje Ajustados)
Para superar la insuficiencia de las representaciones unimodales, el sistema emplea una estrategia de codificación modular:

1. Canonicalización Semántica con LLM: Se utiliza un modelo de lenguaje grande (TinyLlama) para reescribir y estandarizar las descripciones textuales crudas de las canciones, reduciendo el ruido léxico y normalizando entidades y motivos simbólicos antes de la fusión.
2. Alineación Imagen-Texto (CLIP): Se utilizan variantes de modelos CLIP (Contrastive Language-Image Pre-training), incluyendo versiones ajustadas con funciones de pérdida Softmax y Sigmoid, para alinear las representaciones de las imágenes de los paneles con sus textos correspondientes en un espacio latente compartido.
3. Fusión Probabilística (VAE): Se emplea un Autoencoder Variacional Multimodal (VAE) para fusionar la información visual y lingüística. Este enfoque modela la incertidumbre de cada modalidad, permitiendo que la fusión sea consciente de la confianza (las modalidades con menor varianza tienen más peso).

B. Aprendizaje de Estructura de Grafos (Graph Structure Learning - GSL)
El sistema construye grafos para capturar relaciones latentes entre los paneles:

• Se generan matrices de similitud basadas en las características multimodales.
• Se utiliza un enfoque de k-vecinos más cercanos (kNN) simétrico para construir el grafo, evitando la sobreconexión de regiones densas y asegurando que los conceptos minoritarios tengan vecinos informativos.
• Se implementan tres variantes de codificadores de grafos para estudiar diferentes sesgos inductivos:
  • GCN (Graph Convolutional Network): Para propagación supervisada directa.
  • GAE (Graph Auto-Encoder): Para reconstrucción no supervisada de la estructura.
  • VGAE (Variational Graph Auto-Encoder): Para aprender representaciones latentes probabilísticas, crucial para manejar la incertidumbre en datos ruidosos y pequeños.

C. Estrategias para el Desequilibrio de Clases
Dado que conceptos como "árboles" son escasos, GeMi emplea:

• Aumento de bordes minoritarios: Conexiones adicionales específicas entre nodos que contienen el concepto minoritario.
• Pérdida Focal (Focal Loss) y reponderación: Para dar más peso a los ejemplos difíciles y minoritarios durante el entrenamiento.
• Dropout de bordes: Para prevenir el sobreajuste a conexiones dominantes.

D. Integración de Preferencias del Usuario
El sistema separa la extracción de características del módulo de interacción usuario-artículo. Utiliza un enfoque de filtrado colaborativo (CF) como módulo "plug-and-play", donde se simulan perfiles de usuarios basados en etiquetas semánticas para evaluar la relevancia.

3. Contribuciones Clave

1. Nuevo Dataset Multimodal: Creación y curación de un conjunto de datos único recolectado mediante estudios de campo, que incluye imágenes de rollos, transcripciones de canciones y alineación de conceptos (animales, árboles, personajes mitológicos).
2. Sistema GeMi: Un motor de recomendación que combina:
   • Modelos de visión-lenguaje de última generación (LLM + CLIP + VAE).
   • Aprendizaje de estructura de grafos (GSL) para inferir relaciones semánticas.
   • Módulos de filtrado colaborativo para incorporar preferencias de usuarios.
3. Análisis Comparativo Exhaustivo: Evaluación de GeMi frente a sistemas de referencia (baselines) de vanguardia en configuraciones transductivas (acceso a datos de prueba durante el entrenamiento) e inductivas (generalización a datos no vistos), tanto en grafos homogéneos (artículo-artículo) como heterogéneos (usuario-artículo).

4. Resultados Empíricos

Los experimentos se realizaron en un entorno de computación de alto rendimiento comparando GeMi con algoritmos como LATTICE, PMGT, GraphSAGE, y otros.

• Rendimiento General: GeMi superó consistentemente a los sistemas de referencia en la mayoría de las métricas, especialmente en la categoría de "Mitología", donde el ajuste fino con LLM y la propagación en grafos demostraron ser superiores.
• Impacto de las Características LLM: La inclusión de la canonicalización de texto mediante LLM mejoró significativamente el rendimiento en comparación con las características base (CLIP o VAE sin LLM), particularmente para conceptos semánticamente ricos.
• Transductivo vs. Inductivo:
  • El entrenamiento transductivo mostró un rendimiento más robusto y consistente, especialmente en grafos heterogéneos y para etiquetas complejas.
  • El entrenamiento inductivo fue competitivo, demostrando que el sistema puede generalizar a nuevos datos (rollos no vistos), aunque con una ligera pérdida de precisión en conceptos visuales sutiles como "árboles".
• Variantes de Grafos:
  • GeMi-VGAE destacó en la captura de incertidumbre y estructura latente, logrando puntuaciones altas en mitología.
  • GeMi-GCN mostró un rendimiento sólido en la propagación de señales para conceptos estructurales.
• Métricas: Se utilizó Precisión@K (Precision@K) como métrica principal, demostrando que GeMi puede recuperar artículos altamente relevantes en listas cortas de recomendación.

5. Significado e Impacto

• Conservación Cultural: GeMi no es solo un sistema técnico, sino una herramienta vital para la preservación digital de un arte en peligro de extinción, permitiendo su estudio y acceso global.
• Avance en Recomendación Multimodal: El trabajo demuestra que la combinación de modelos generativos (VAE), modelos discriminativos (CLIP/LLM) y aprendizaje de grafos es superior para manejar datos multimodales escasos, ruidosos y desalineados, un escenario común en humanidades digitales pero menos explorado en sistemas de recomendación comerciales.
• Aplicabilidad Futura: El sistema tiene el potencial de integrarse con IA generativa para crear contenido nuevo o mejorar la personalización, y podría extenderse a modelos de precios dinámicos para apoyar económicamente a los artistas marginados.

En conclusión, GeMi establece un nuevo estándar para la recomendación de arte folclórico, demostrando que las técnicas avanzadas de aprendizaje profundo pueden adaptarse exitosamente a dominios de nicho con desafíos de datos únicos.