Resumo Técnico: CANVAS – Aprendizado Contrastivo Informado por Sheaves para Representações Multirelacionais

Declaração do Problema

Os atuais Modelos de Visão-Linguagem (VLMs), como o CLIP, aprendem um espaço de incorporação (embedding) único e compartilhado que impõe um alinhamento homogêneo entre imagens e textos. Essa abordagem assume uma relação fixa e singular entre as modalidades visual e textual. No entanto, no domínio da história da arte, uma única obra de arte suporta múltiplas e distintas interpretações não intercambiáveis (ex: contexto histórico, interpretação estilística, análise conceitual). Os VLMs padrão colapsam essa riqueza em um único vetor, perdendo a estrutura multirelacional essencial para um raciocínio historiográfico matizado.

Abordagens baseadas em grafos existentes tentam capturar esses múltiplos aspectos, mas sofrem de limitações significativas: elas tipicamente operam em um cenário transdutivo, exigindo que a estrutura completa do grafo (incluindo os índices de arestas das anotações do conjunto de teste) esteja disponível no momento da inferência. Isso impede sua aplicação a entidades não vistas em cenários indutivos, um requisito comum em implantações do mundo real.

Metodologia: CANVAS

Os autores propõem o CANVAS (Contrastive Art-aware Network for Vision-Language Alignment with Sheaves), um framework que aprende representações multimodais conscientes de relações sem depender da conectividade de um grafo externo durante a inferência. O método é inspirado na teoria de sheaves celulares, que permite que dados sejam representados consistentemente em diferentes quadros locais.

Componentes Principais

1. Construção de Grafo Bipartido:
   O conjunto de dados é modelado como um grafo bipartido $G = (U \cup V, E)$, onde $U$ representa nós de imagem, $V$ representa nós de texto, e as arestas $E$ codificam relações semânticas tipadas (ex: "estilo", "autor", "contexto histórico").

2. Camada Condicionada por Relação Informada por Sheaf:
   Em vez de aprender um único embedding global, o CANVAS projeta as representações dos nós em subespaços específicos de cada relação usando mapas de restrição.

   • Inicialização: As características dos nós (imagens e textos) e das arestas (descrições de relações) são inicializadas usando um modelo CLIP pré-treinado.
   • Modulação: Para cada aresta $e=(u,v)$ com o embedding da relação $h_{r_e}$, os embeddings dos nós são concatenados com o embedding da relação. Um "Aprendiz de Sheaf" (Sheaf Learner) treinável (um MLP de três camadas) processa essa concatenação para gerar parâmetros de escala ($\gamma_e$) e deslocamento ($\beta_e$) por característica.
   • Transformação: Esses parâmetros modulam os embeddings dos nós via Modulação Linear por Característica (Feature-wise Linear Modulation - FiLM): $\tilde{h}_{e,u} = \gamma_e \otimes h_u + \beta_e$. Isso efetivamente deforma o espaço de embedding para alinhar-se com o tipo de relação específica, permitindo que a mesma imagem tenha representações distintas dependendo do contexto (ex: estilístico vs. histórico).

3. Similaridade Suave Baseada em Grafo e Perda Contrastiva:
   Para capturar dependências de ordem superior entre relações, o método constrói um grafo de linha $G' = L(G)$, onde os nós representam as arestas originais (pares imagem-texto).

   • Difusão de Kernel de Calor: Um prior estrutural suave é computado usando o kernel de calor no Laplaciano do grafo de linha. Isso cria uma matriz de alvo suave $\tilde{W}$ onde pares que compartilham itens comuns (mesma imagem ou mesmo texto) recebem maior afinidade.
   • Função de Perda: O objetivo de treinamento combina a perda InfoNCE simétrica padrão (perda CLIP) com uma perda KL regularizada por Grafo. A perda KL minimiza a divergência entre a matriz de similaridade prevista pelo modelo e a matriz de alvo suave derivada da estrutura do grafo. Isso suaviza a penalidade para pares "negativos" que são semanticamente próximos devido à topologia compartilhada do grafo, abordando o problema dos negativos difíceis (hard-negatives) no aprendizado contrastivo padrão.

4. Inferência Indutiva:
   Ao contrário dos GNNs transdutivos, o CANVAS processa cada aresta imagem-texto de forma independente durante o treinamento. Na inferência, o modelo requer apenas a imagem, o texto e, opcionalmente, o tipo de relação. Ele não precisa de acesso ao grafo completo ou às conexões de entidades não vistas, tornando-o totalmente indutivo.

Principais Contribuições

• Framework Teórico: Introduz a aplicação da teoria de cellular sheaves ao alinhamento visão-linguagem, tratando as relações como "cidadãos de primeira classe" que definem a transformação dos embeddings em vez de serem apenas os próprios embeddings.
• Aprendizado Multirelacional Indutivo: Propõe um método que aprende múltiplos subespaços relacionais sem exigir a estrutura completa do grafo no momento do teste, superando as limitações transdutivas de métodos anteriores de análise de arte baseados em grafos.
• Benchmarks Inovadores: Introduz três novos conjuntos de dados para compreensão artística multirelacional:
  • HertzianaDP: Uma coleção de pinturas e desenhos da Bibliotheca Hertziana (previamente indisponível), servindo como um teste rigoroso para generalização a dados não vistos.
  • WikiArt+: Uma extensão do WikiArt enriquecida com explicações extraídas da Wikipedia.
  • SemArt+: Uma versão refinada do conjunto de dados SemArt com anotações por sentença.
• Validação Empírica: Demonstra que o alinhamento multirelacional é praticamente essencial, superando os baselines tanto em tarefas de recuperação quanto de classificação.

Resultados Experimentais

Os autores avaliaram o CANVAS nos três conjuntos de dados introduzidos contra baselines incluindo CLIP, SigLIP, ArtSAGENet, ColPali e outros modelos conscientes de relação.

• Recuperação Cross-Modal: O CANVAS supera consistentemente os baselines em recuperação de Imagem-para-Texto (I2T) em todos os conjuntos de dados. Notavelmente, no HertzianaDP (que não estava presente nos dados de pré-treinamento do CLIP), o CANVAS alcançou um Recall@10 de I2T de 0,514, superando significativamente o baseline do CLIP ajustado (fine-tuned) de 0,084. Na recuperação de Texto-para-Imagem (T2I), o CANVAS também obteve desempenho superior no HertzianaDP e SemArt+.
• Classificação Consciente de Relação: O CANVAS alcançou a melhor ou a segunda melhor precisão em quase todas as tarefas de classificação (ex: Artista, Período, Estilo, Gênero). Crucialmente, ele manteve a consistência onde outros baselines falharam; por exemplo, superou significativamente métodos de embedding único em atributos complexos como "Estilo" e "Período".
• Estudos de Ablação: Experimentos confirmaram que tanto as perdas InfoNCE quanto a KL são necessárias para o desempenho ideal. Remover a modulação condicionada por relação (a camada sheaf) causou uma queda drástica no desempenho, validando a necessidade de subespaços específicos de relação.
• Análise Qualitativa: Visualizações (t-SNE) demonstraram que o CANVAS organiza obras de arte em vizinhanças distintas e complementares baseadas no tipo de relação (ex: vizinhos temporais para consultas de "data" vs. vizinhos estilísticos para consultas de "estilo"), confirmando que o modelo aprende dimensões historiográficas distintas.

Significância e Alegações

O artigo afirma que o alinhamento multirelacional não é apenas teoricamente motivado, mas praticamente essencial para domínios como a história da arte, onde uma única imagem suporta múltiplas interpretações válidas. Ao ir além de um único espaço de embedding homogêneo, o CANVAS captura a linguagem matizada de estilo, intenção e contexto.

Os autores enfatizam que sua abordagem é agnóstica ao domínio. Embora validado na arte, o framework é adequado para qualquer cenário onde imagens e textos compartilham relações semânticas heterogêneas, como imagens médicas ou patrimônio cultural. O trabalho estabelece que o aprendizado consciente de relação, implementado via aprendizado contrastivo informado por sheaves, fornece uma solução indutiva robusta para tarefas complexas de compreensão multimodal.