GeMi: A Graph-based, Multimodal Recommendation System for Narrative Scroll Paintings

Este trabalho apresenta o GeMi, um sistema de recomendação baseado em Redes Neurais em Grafos que utiliza dados multimodais (texto e imagem) de uma pesquisa de campo para sugerir pinturas em rolos narrativas, visando tanto a conservação dessa arte em risco quanto a criação de um repositório digital e uma ferramenta de descoberta para usuários interessados.

O essencial

Imagine que você tem um tesouro cultural em perigo de extinção: os pintores cantores da Índia Oriental. Eles são contadores de histórias ambulantes que desenham longos rolos de pintura (chamados de scroll paintings) e, enquanto mostram as imagens, cantam poemas ou músicas para explicar a história. É uma arte mágica que mistura imagem e som, mas está desaparecendo porque poucos artistas ainda praticam e os registros antigos estão se perdendo.

Os autores deste artigo, liderados por Haimonti Dutta, criaram um "super-ajudante" digital chamado GeMi para salvar essa arte. Pense no GeMi como um curador de museu superinteligente que não apenas guarda essas histórias, mas também as recomenda para você da maneira mais perfeita possível.

Aqui está como o GeMi funciona, explicado de forma simples:

1. O Problema: O Caos dos Dados

Imagine que você tem milhares de fotos de rolos de pintura e milhares de gravações de músicas, mas elas estão bagunçadas. Algumas fotos não têm a música correspondente, algumas músicas não têm a foto certa, e os textos estão escritos em dialetos antigos ou com erros.

• O desafio: Como ensinar um computador a entender que uma foto de um "elefante" em uma pintura combina com a letra de uma música que fala sobre "elefantes", mesmo que a foto esteja meio borrada ou o texto esteja difícil de ler?

2. A Solução: O "Cérebro" do GeMi

O GeMi não é um simples buscador. Ele é construído com três camadas de inteligência, como se fosse uma equipe de especialistas trabalhando juntos:

• O Tradutor (LLM - Modelo de Linguagem): Primeiro, o sistema pega os textos antigos e confusos e os "reescrita" em uma linguagem clara e organizada. É como ter um tradutor que transforma um poema antigo e difícil em uma descrição simples: "Aqui tem um deus, uma árvore e um animal".
• O Olho e o Ouvido (Modelos Visuais e de Áudio): Depois, ele usa tecnologia de ponta para "olhar" a pintura e "ouvir" a música ao mesmo tempo. Ele cria uma representação digital que entende que a imagem de uma árvore e a palavra "árvore" na música são a mesma coisa, mesmo que venham de fontes diferentes.
• O Conector (Redes Neurais em Gráficos): Esta é a parte mais genial. Imagine que cada pintura é um ponto em um mapa gigante. O GeMi desenha linhas conectando pontos que são parecidos.
  • Se você gosta de pinturas com "mitologia", o sistema desenha linhas fortes entre todas as pinturas mitológicas.
  • Se você gosta de "animais", ele conecta as pinturas de animais.
  • O sistema aprende a navegar por esse mapa. Se você curtiu uma pintura de um deus, ele olha para as linhas e diz: "Ei, essa outra pintura aqui também tem um deus e uma árvore, você vai adorar!"

3. Lidando com os "Buracos" na Informação

Às vezes, faltam dados (a música existe, mas a foto não, ou vice-versa). O GeMi usa uma técnica chamada VAE (Autoencoder Variacional).

• A Analogia: Imagine que você vê apenas metade de um quebra-cabeça. Um sistema comum ficaria perdido. O GeMi, no entanto, usa a "intuição" estatística para adivinhar o que falta na outra metade, preenchendo as lacunas com base no que ele já aprendeu sobre o estilo da arte. Ele lida com a incerteza de forma inteligente, em vez de apenas ignorar os dados incompletos.

4. O Resultado: Recomendações Personalizadas

O sistema foi testado e comparado com os melhores sistemas de recomendação do mundo (como os da Netflix ou Amazon, mas adaptados para arte).

• O que ele faz: Se você é um usuário que gosta de ver pinturas com "mitologia", o GeMi vai varrer todo o acervo digital e te mostrar as 5 melhores pinturas mitológicas que você ainda não viu.
• Por que é especial: Diferente de outros sistemas que só olham para o que você clicou antes, o GeMi entende o conteúdo da arte. Ele sabe que você gosta de "árvores" e "animais" e recomenda obras baseadas nesses temas, mesmo que você nunca tenha clicado nelas antes.

Por que isso importa?

O GeMi não é apenas um algoritmo legal; é uma ferramenta de preservação cultural.

1. Salva a Arte: Digitaliza e organiza obras que poderiam ser esquecidas.
2. Ajuda os Artistas: Ao recomendar essas obras para pessoas interessadas, cria uma chance de venda e valorização para os artistas que ainda praticam essa arte.
3. Educação: Permite que qualquer pessoa, em qualquer lugar do mundo, explore essa rica tradição cultural de forma fácil e intuitiva.

Em resumo: O GeMi é como um mago digital que pega um acervo de arte antiga, confusa e fragmentada, organiza tudo em um mapa mágico de conexões e usa esse mapa para te contar as histórias mais bonitas que você gostaria de ouvir, garantindo que essa arte nunca morra.

Resumo técnico

Visão Geral e Problema

O artigo apresenta o GeMi, um sistema de recomendação baseado em grafos e multimodal, projetado especificamente para um domínio de nicho e culturalmente rico: as pinturas em rolos narrativos (narrative scroll paintings) da Índia Oriental.

• Contexto: As pinturas em rolos são uma forma de arte performática em perigo de extinção, onde pintores-cantores itinerantes contam histórias épicas e folclóricas através de rolos pintados e canções.
• O Problema: Existe uma escassez crítica de sistemas de recomendação para este tipo de arte. Os desafios principais incluem:
  1. Dados Multimodais Complexos: A arte combina imagens (pinturas) e texto (letras de canções/poemas), muitas vezes com alinhamento imperfeito ou dados ausentes (ex: imagem sem texto correspondente).
  2. Ruído e Esparsidade: Os dados de campo contêm ruído (imagens borradas, erros de ortografia, descrições inconsistentes) e sofrem de esparsidade de interações usuário-item (falta de histórico de cliques ou avaliações).
  3. Falta de Dados Padronizados: Diferente de conjuntos de dados de benchmark (como Amazon ou MovieLens), não existia um conjunto de dados estruturado e anotado para pinturas em rolos narrativos.
  4. Desafio de Conservação: A necessidade de preservar e tornar acessível essa arte ameaçada, servindo tanto para conservação quanto para venda/compra.

Metodologia (Arquitetura GeMi)

O sistema GeMi é uma arquitetura híbrida que integra extração de características multimodais avançadas com aprendizado de estrutura de grafos. A arquitetura é composta por quatro componentes principais:

1. Extração de Características Multimodais (Fine-tuned Vision-Language Models)

Para lidar com a densidade simbólica e a especificidade cultural das pinturas, o sistema não usa representações unimodais simples. Em vez disso, emprega uma estratégia de codificação modular:

• Canonicalização Semântica com LLM: Utiliza o modelo TinyLlama para reescrever e normalizar as descrições textuais das pinturas. Isso reduz a variância lexical e o ruído, transformando textos brutos em representações concisas centradas em conceitos (entidades, ações, motivos simbólicos).
• Alinhamento Imagem-Texto (Contrastive Learning): Utiliza variantes do modelo SigCLIP (Sigmoid-Contrastive Language Image Pretraining) para aprender um espaço de embedding conjunto. Diferente do CLIP padrão (softmax), o SigCLIP trata pares imagem-texto como problemas de classificação binária independente, o que é mais robusto a desequilíbrios de classe.
• Fusão Probabilística (VAE): Um Autoencoder Variacional Multimodal (VAE) é utilizado para fundir as informações visuais e linguísticas em uma distribuição latente probabilística. Isso permite que o sistema modele a incerteza inerente aos dados (ex: quando o texto é ambíguo ou a imagem é de baixa qualidade).

2. Aprendizado de Estrutura de Grafos (Graph Structure Learning - GSL)

O sistema constrói grafos onde os nós são os painéis das pinturas.

• Aprendizado Homogêneo vs. Heterogêneo: O sistema explora tanto grafos homogêneos (item-item) quanto heterogêneos (usuário-item).
• Aprendizado Indutivo vs. Transduzido: O sistema é testado em ambos os cenários. O aprendizado indutivo é crucial para lidar com novos dados de campo que chegam continuamente, permitindo que o modelo generalize para itens não vistos durante o treinamento.
• Variantes de Codificadores: O GeMi compara três arquiteturas de codificadores de grafos:
  • GCN (Graph Convolutional Network): Para propagação supervisionada direta de sinais de rótulo.
  • GAE (Graph Auto-Encoder): Para aprendizado não supervisionado de reconstrução da estrutura.
  • VGAE (Variational Graph Auto-Encoder): Introduz um espaço latente probabilístico, essencial para modelar a incerteza em um conjunto de dados pequeno e ruidoso.

3. Estratégias para Desequilíbrio de Classes

Como certos conceitos (ex: "árvores") são raros nas pinturas, o sistema emprega técnicas avançadas para evitar viés para as classes majoritárias:

• Aumento de Arestas Minoritárias: Adição de conexões extras entre nós que contêm a classe minoritária.
• Dropout de Arestas: Remoção aleatória de arestas durante o treinamento para evitar overfitting em conexões dominantes.
• Reponderação e Focal Loss: Uso de pesos nas classes e Focal Loss para focar o treinamento em exemplos difíceis e minoritários.

4. Incorporação de Preferências do Usuário

O sistema integra preferências do usuário (simuladas ou coletadas via ferramenta UPFAR) através de módulos de plug-and-play estilo filtragem colaborativa, permitindo que a recomendação final seja baseada na consistência semântica entre as preferências inferidas do usuário e os itens candidatos.

Principais Contribuições

1. Conjunto de Dados Único: Criação e curadoria de um novo conjunto de dados multimodal (imagens e textos alinhados) coletado através de pesquisas de campo extensivas na Índia Oriental, focado em arte popular ameaçada.
2. Sistema GeMi: Desenvolvimento de um motor de recomendação baseado em conteúdo que utiliza modelos de visão-linguagem de última geração (LLMs e VLMs) combinados com aprendizado de grafos.
3. Abordagem Multimodal Robusta: Demonstração de que a fusão de LLMs para normalização de texto, modelos contrastivos (SigCLIP) e VAEs para fusão probabilística supera métodos tradicionais em dados artísticos complexos e ruidosos.
4. Análise de Aprendizado de Grafos: Estudo comparativo rigoroso entre aprendizado transduzido e indutivo, e entre diferentes arquiteturas de grafos (GCN, GAE, VGAE) em um contexto de dados escassos.

Resultados Empíricos

Os resultados foram avaliados usando a métrica Precision@K em três categorias de rótulos: Animais, Mitologia e Árvores.

• Desempenho Geral: O GeMi superou consistentemente os sistemas de base (baselines) de última geração (como LATTICE, PMGT, HUIGN, MambaRec, etc.) em cenários transduzidos e indutivos.
• Impacto dos LLMs: A utilização de características aprimoradas por LLMs (TinyLlama) resultou em ganhos significativos de desempenho, especialmente para a categoria "Mitologia", onde a desambiguação semântica é crítica.
• Melhor Arquitetura:
  • Para dados transduzidos, o GeMi-GAE com características LLM-VAE alcançou o melhor desempenho geral (Precision@5 de 0.78 para Mitologia).
  • Para dados indutivos, o GeMi-VGAE demonstrou maior robustez, especialmente em grafos homogêneos, alcançando 0.70 para Mitologia.
• Desafios: A categoria "Árvores" permaneceu a mais difícil de recomendar devido à sua natureza visualmente sutil e descrição textual inconsistente, embora o GeMi ainda tenha superado as linhas de base.
• Comparação: O sistema mostrou que a combinação de representações ricas (LLM + VLM) com aprendizado de grafos é superior a métodos puramente baseados em filtragem colaborativa ou fusão simples de características.

Significância e Impacto

• Preservação Cultural: O sistema oferece uma ferramenta prática para a conservação digital de uma forma de arte em perigo, permitindo que curadores e o público descubram e compreendam obras relacionadas.
• Viabilidade Econômica: Ao permitir a recomendação e potencial venda de pinturas, o sistema pode gerar renda para os artistas marginalizados, ajudando a sustentar a tradição.
• Avanço Técnico: O trabalho demonstra a eficácia de integrar LLMs para pré-processamento de texto em sistemas de recomendação multimodal, especialmente em cenários com dados escassos e ruidosos, onde métodos tradicionais falham.
• Escalabilidade: A abordagem indutiva do GeMi permite que o sistema cresça com novos dados de campo sem a necessidade de retreinamento completo, tornando-o viável para aplicações contínuas de longo prazo.

Em suma, o GeMi não é apenas um sistema de recomendação, mas uma solução tecnológica integrada para a preservação, estudo e valorização econômica de um patrimônio cultural ameaçado, validando a eficácia de técnicas avançadas de IA (GNNs, LLMs, VAEs) em domínios de dados não convencionais.