Are a Thousand Words Better Than a Single Picture? Beyond Images -- A Framework for Multi-Modal Knowledge Graph Dataset Enrichment

1. Problema Identificado

O artigo aborda duas limitações críticas na construção e utilização de Grafos de Conhecimento Multimodal (MMKGs):

1. Falta de Escalabilidade na Coleta de Imagens: A maioria dos conjuntos de dados MMKG existentes depende de curadoria manual para selecionar imagens. Esse processo é lento, difícil de escalar para grandes grafos e tende a excluir imagens que, embora relevantes, podem ser ambíguas (como logotipos, símbolos ou cenas abstratas).
2. Imagens Ambíguas, mas Relevantes, são Subutilizadas: Curadores humanos frequentemente descartam imagens com semântica visual ambígua (ex: logotipos de empresas, pinturas abstratas, símbolos culturais) para evitar ruído. No entanto, essas imagens contêm informações valiosas para a entidade. Quando inseridas diretamente como vetores visuais em modelos de aprendizado profundo, elas muitas vezes geram ruído em vez de sinal útil, degradando o desempenho do modelo.

O trabalho questiona se "mil palavras valem mais que uma única imagem" no contexto de MMKGs, propondo que converter essas imagens ambíguas em texto pode ser mais eficaz do que usá-las diretamente como features visuais.

---

2. Metodologia: A Framework "Beyond Images"

Os autores propõem um pipeline de enriquecimento de dados centrado em dados, chamado Beyond Images, que opera em três etapas principais. O objetivo é expandir a cobertura visual e converter semântica visual ambígua em descrições textuais alinhadas à entidade, sem alterar a arquitetura dos modelos de MMKG existentes.

Etapas do Pipeline:

1. Módulo de Extensão de Modalidade (Modality Extension Module):

   • Realiza a recuperação em larga escala de imagens adicionais relacionadas às entidades a partir da web (ex: Wikipedia, motores de busca).
   • Aumenta significativamente o número de imagens por entidade, incluindo aquelas que seriam normalmente descartadas por curadores humanos (logos, símbolos).

2. Módulo de Geração Semântica (Semantic Generation Module):

   • Converte todas as imagens (originais e novas) em descrições textuais.
   • Utiliza modelos state-of-the-art de imagem-para-texto (Image-to-Text), especificamente: blip2-flan-t5-xxl, git-large-coco e llava-v1.5-7b.
   • O uso de prompts fixos garante que cada imagem receba uma descrição detalhada de cena, objetos e cores.

3. Módulo de Fusão Semântica Baseado em LLM (LLM-based Semantic Fusion Module):

   • Consolida as múltiplas descrições geradas (originais + novas) em um único resumo coerente e alinhado à entidade.
   • Utiliza Grandes Modelos de Linguagem (LLMs) como Mistral-7b, LLaMA-3.1 e Flan-T5 para filtrar ruído, redundância e informações irrelevantes.
   • O resultado é um parágrafo de resumo rico que substitui ou complementa a descrição textual padrão no MMKG.

Integração com Modelos Existentes:

• O framework é agnóstico ao modelo. Os resumos textuais gerados são usados como entrada de modalidade textual em modelos padrão de MMKG (como MMRNS, MyGO, NativE, AdaMF).
• Não há necessidade de modificar arquiteturas ou funções de perda dos modelos de link prediction.

Auditoria Humana:

• Foi desenvolvida uma interface leve de Verificação de Consistência Texto-Imagem para permitir auditorias humanas opcionais, garantindo a qualidade das descrições geradas.

---

3. Principais Contribuições

1. Paradigma de Enriquecimento de Dados: Proposta de um método reutilizável que converte visuais ambíguos (logos, símbolos) em representações textuais alinhadas à entidade, realizando fusão semântica em nível de entidade sem alterar modelos downstream.
2. Interface de Auditoria: Desenvolvimento de uma interface leve para verificação humana da consistência entre texto e imagem, melhorando a confiabilidade do conjunto de dados.
3. Recursos Abertos: Liberação de conjuntos de dados enriquecidos, código e protocolos de avaliação.
4. Estudo Sistemático: Avaliação abrangente em três conjuntos de dados públicos (MKG-W, MKG-Y, DB15K) e quatro modelos de MMKG.

---

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados públicos utilizando quatro modelos de MMKG. As métricas principais foram MRR (Mean Reciprocal Rank) e Hits@K.

• Desempenho Geral:

  • O uso do conjunto de dados enriquecido resultou em ganhos consistentes em todos os modelos e métricas.
  • O ganho máximo observado foi de +7% em Hits@1 globalmente.
  • A configuração de "Fusão" (LLM Summary) superou consistentemente a simples concatenação de descrições, demonstrando que a síntese semântica reduz o ruído.

• Subconjunto de Imagens Ambíguas (Logos e Símbolos):

  • Em um teste específico com 20 entidades contendo apenas logos ou símbolos (que possuem baixa informação visual discriminativa), a conversão para texto gerou melhorias dramáticas:
    • +201,35% em MRR.
    • +333,33% em Hits@1.
  • Isso confirma que a semântica latente em imagens ambíguas é melhor capturada e alinhada quando convertida para texto.

• Análise de Modalidades:

  • A combinação de todas as modalidades (Imagem + Texto Original + Texto Gerado por Imagem) produziu os melhores resultados.
  • Modelos que dependem fortemente de embeddings globais de imagem (como MMRNS) mostraram-se mais sensíveis à qualidade da descrição textual gerada.

• Qualidade das Descrições:

  • Auditoria manual em 100 casos mostrou que as resumos gerados capturam corretamente a semântica visual principal na maioria dos casos, com poucas inconsistências.

---

5. Significado e Conclusão

O artigo demonstra que a escala na cobertura de imagens e a conversão de visuais ambíguos em texto constituem um caminho prático e eficaz para fortalecer a conclusão de Grafos de Conhecimento Multimodal.

• Mudança de Paradigma: Em vez de tentar melhorar a extração de features visuais para lidar com imagens complexas ou simbólicas, o trabalho sugere que transformar essas imagens em texto (usando LLMs) é uma estratégia superior para alinhar a semântica visual com a estrutura do grafo de conhecimento.
• Eficiência: O método é eficiente em termos computacionais, pois o processamento pesado (geração de texto e fusão) ocorre offline. O treinamento dos modelos de MMKG não sofre sobrecarga significativa (aumento de apenas 7-30 minutos no tempo de treinamento).
• Impacto: A framework permite que modelos existentes aproveitem dados visuais que antes eram descartados, melhorando a representação de entidades e a precisão na previsão de links, especialmente em casos onde a informação visual é simbólica ou abstrata.

Em suma, o trabalho valida a hipótese de que, para MMKGs, "mil palavras" (descrições textuais geradas a partir de imagens) podem ser superiores a uma única imagem, especialmente quando essa imagem é ambígua.