Resumo Técnico: Extensão de Grafos de Conhecimento do Patrimônio Cultural Multimodal com Modelos de Linguagem e Visão

Declaração do Problema

A preservação e a interpretação do patrimônio cultural dependem cada vez mais de Grafos de Conhecimento (KGs) para estruturar grandes volumes de dados. No entanto, a construção e a expansão desses KGs enfrentam desafios significativos devido à natureza diversa, complexa e frequentemente não estruturada das informações do patrimônio cultural (por exemplo, descrições textuais e imagens encontradas em arquivos de museus ou na Wikipedia).

Os KGs existentes, mesmo os de grande escala como DBpedia ou Freebase, são inerentemente incompletos. Essa incompletude é exacerbada no domínio do patrimônio cultural, onde dados históricos estão frequentemente ocultos atrás de recursos não estruturados. Os métodos tradicionais de Conclusão de Grafos de Conhecimento (KGC), que são predominantemente baseados em incorporações (embeddings) (por exemplo, TransE, RESCAL), operam sob a Hipótese de Mundo Fechado (CWA). Essa hipótese limita as previsões a conjuntos predefinidos de entidades, tornando esses métodos insuficientes para introduzir novos conhecimentos ou entidades que ainda não estejam presentes no grafo. Além disso, os benchmarks existentes frequentemente carecem da complexidade operacional, ambiguidade e riqueza multimodal (texto e imagens) características de coleções reais de patrimônio cultural.

Metodologia

Os autores propõem uma abordagem abrangente envolvendo a criação de um novo conjunto de dados e um novo framework para extensão de KGs sob a Hipótese de Mundo Aberto (OWA).

1. O Conjunto de Dados WJoconde

Os autores introduzem o WJoconde, um novo grafo de conhecimento multimodal focado no patrimônio cultural francês, derivado do banco de dados Joconde (um banco de dados de referência das coleções de museus franceses) e do Wikidata.

• Construção: O pipeline envolve a extração de um grafo de contexto do Wikidata usando entidades vinculadas ao ID do Joconde (P347), limpeza de redundâncias e enriquecimento de entidades com texto externo e imagens de fontes abertas de patrimônio, Wikimedia Commons e Wikipedia.
• Variantes: Três variantes foram criadas para facilitar a pesquisa:
  • WJoconde (Raw): Contém 28.524 entidades e 483.938 triplas.
  • WJoconde_cleaned: Uma versão filtrada que remove relações inversas, redundantes e esparsas para evitar inflação artificial de desempenho em tarefas de KGC.
  • WJocondeMM: Um subconjunto multimodal completo onde as entidades possuem tanto descrições textuais quanto imagens visuais.
• Benchmarking: O conjunto de dados serve como um novo benchmark para KGC, avaliado contra vários modelos de incorporação (TransE, ComplEx, TuckER, etc.). Os resultados indicam que modelos baseados em tradução lutam com a complexidade do conjunto de dados, enquanto modelos de redes neurais profundas como o TuckER apresentam o melhor desempenho.

2. Framework de KGC Multimodal sob OWA

Para expandir o KG com novas entidades, os autores propõem um pipeline que aproveita Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Visão-Linguagem (VLMs) de maneira zero-shot. O processo consiste em três etapas:

1. Coleta de Informações: Para uma tripla dada com uma entidade faltante, o sistema recupera descrições textuais não estruturadas e imagens visuais associadas às entidades ou relações conhecidas.
2. Extração de Entidades:
   • LLM (por exemplo, LLaMA 2): Processa entradas de texto usando modelos de prompt projetados para definir a tarefa do KG, atribuir um papel e impor formatação de saída JSON.
   • VLM (por exemplo, BLIP): Processa entradas de imagem de forma semelhante para extrair conceitos visuais.
   • Ambos os modelos geram listas de entidades candidatas sem treinamento prévio no conjunto de dados específico.
3. Validação e Ancoragem Conjuntas: Para garantir confiabilidade e novidade, um pipeline rigoroso de validação é aplicado:
   • Correspondência de Entidades: Um modelo Word2Vec calcula a similaridade entre candidatos gerados e entidades existentes no KG. Candidatos com alta similaridade (sinônimos) ou entidades existentes são filtrados usando um limiar ($\tau=0,4$).
   • Validação Cruzada: O VLM é usado para verificar se as entidades geradas pelo LLM estão visualmente presentes na imagem (e vice-versa), reduzindo alucinações.
   • Validação do Modelo: Os modelos são testados em sua capacidade de reconhecer existentes entidades a partir do contexto fornecido para estabelecer uma linha de base de credibilidade.

Contribuições Principais

O artigo descreve três contribuições primárias:

1. Conjunto de Dados WJoconde: Um grafo de conhecimento multimodal novo, de alta qualidade, para o patrimônio cultural francês contendo mais de 483 mil triplas. Integra texto e imagens, servindo como recurso para pesquisa multimodal e um novo benchmark para KGC.
2. Pipeline de Extensão OWA: Um novo framework para extensão de KGs sob a Hipótese de Mundo Aberto. Ao combinar LLMs e VLMs com um pipeline especializado de ancoragem e validação, o método introduz com sucesso novas entidades confiáveis ao grafo sem exigir ajuste fino (fine-tuning) do modelo.
3. Benchmarking e Avaliação: Avaliação extensiva de modelos KGC existentes no WJoconde e suas variantes, juntamente com uma nova metodologia de avaliação para cenários OWA que depende de avaliação humana e validação cruzada entre modelos, em vez de métricas tradicionais de classificação.

Resultados

O pipeline proposto foi aplicado ao conjunto de dados WJocondeMM_en:

• Expansão de Entidades: O método introduziu com sucesso 61,36% mais entidades no conjunto de dados. Especificamente, 4.394 novas entidades finais foram adicionadas, expandindo a contagem de entidades de 7.749 para 12.143.
• Confiabilidade:
  • Credibilidade do Modelo: O pipeline combinado de LLM e VLM alcançou um recall de 90,2% e uma pontuação F1 de 94,8% na recuperação de entidades de verdade fundamental (entidades existentes), demonstrando alta confiabilidade no reconhecimento de entidades.
  • Avaliação Humana: Dois anotadores revisaram as entidades geradas para a relação "representa". A abordagem combinada alcançou uma precisão de 92,0%, indicando que a maioria das entidades recém-adicionadas estava correta e significativa.
• Qualidade Semântica: A análise das entidades adicionadas mostrou uma mudança de categorias "desconhecidas" (55,4% no original) para categorias semanticamente ricas e visualmente ancoradas, como "Objeto" (22,5%), "Natureza" (17,5%) e "Pessoa" (15,6%). As entidades adicionadas capturaram conceitos interpretáveis (por exemplo, "justa", "arco", "armadura") relevantes para historiadores da arte.

Significado

O artigo afirma que este trabalho representa a primeira criação de um conjunto de dados abrangente de benchmarking multimodal no domínio do patrimônio cultural francês que combina informações textuais e visuais. Seu significado reside em:

• Avanço da OWA no Patrimônio Cultural: Demonstrar que modelos de IA multimodal podem expandir efetivamente KGs com novos conhecimentos, superando as limitações da Hipótese de Mundo Fechado que restringem os métodos tradicionais de KGC.
• Utilidade Específica do Domínio: Fornecer um recurso estruturado e multimodal que facilita consultas sofisticadas, análises e pesquisa em patrimônio cultural, abordando a complexidade de gerenciar extensas coleções de museus.
• Robustez Metodológica: Estabelecer um pipeline de validação que garante a confiabilidade do conhecimento gerado por IA, tornando viável automatizar o enriquecimento de dados de patrimônio cultural com alta confiança.

Os autores observam que, embora o pipeline seja eficaz, trabalhos futuros poderiam explorar modelos avançados, aprendizado com poucos exemplos (few-shot learning) e cenários de ajuste fino mais sofisticados. Todo o código, conjuntos de dados e pontos de acesso interativos são de código aberto para facilitar pesquisas adicionais.