Multimodal Representation Learning Conditioned on Semantic Relations

Resumo Técnico: Aprendizado de Representação Multimodal Condicionado a Relações Semânticas

Declaração do Problema
O atual aprendizado de representação multimodal, dominado por modelos contrastivos como o CLIP, tipicamente gera um único embedding, agnóstico a relações, para cada amostra. Embora eficaz para tarefas de propósito geral, essa abordagem assume que a relevância de uma amostra é estática em todos os contextos. No entanto, em aplicações do mundo real (por exemplo, recomendações de comércio eletrônico ou recuperação de informações), a relevância entre duas amostras é inerentemente dependente da relação. Diferentes relações semânticas enfatizam aspectos distintos dos dados multimodais; por exemplo, um travesseiro de amamentação e um esterilizador de mamadeiras podem compartilhar pouca similaridade visual ou textual, mas estão altamente relacionados sob a relação semântica de "interesses em alimentação infantil". Métodos existentes tratam as relações ou como modificações implícitas de prompt (levando a variações descontroladas) ou dependem de cabeças específicas de tarefas que carecem de reutilizabilidade. Há uma falta de frameworks que tratem relações semânticas como condições explícitas do próprio processo de aprendizado de representação.

Metodologia: Aprendizado Multimodal Condicionado a Relações (Rcml)
Os autores propõem o Rcml, um framework que integra relações semânticas diretamente no processo de aprendizado de representação. A metodologia consiste em três componentes principais:

1. Aprendizado Contrastivo Condicionado a Relações:
   Diferentemente do aprendizado contrastivo padrão, que alinha apenas pares imagem-texto correspondidos (positivos diagonais), o Rcml habilita um alinhamento muitos-para-muitos entre amostras com base em relações semânticas. O framework define uma função de perda contrastiva unificada que otimiza conjuntamente:

   • Alinhamento cruzado de modalidades: Alinhamento de representações de texto e imagem sob a mesma relação.
   • Coerência intra-modal: Garantia de consistência entre amostras conectadas pela mesma relação dentro de uma única modalidade (texto-texto ou imagem-imagem).
     A função de perda é definida como:
     $$\mathcal{L} = \frac{1}{2}(\mathcal{L}_{txt-img} + \mathcal{L}_{img-txt}) + \lambda(\mathcal{L}_{txt-txt} + \mathcal{L}_{img-img})$$
     onde pares positivos são definidos pela relação semântica específica $e_{ij}$ e não pela identidade global.

2. Construção de Pares Condicionada a Relações:
   O framework constrói pares de treinamento com base em dois tipos de relações:

   • Relações intra-amostra: Alinhamento do texto e da imagem da mesma amostra.
   • Relações inter-amostras: Construídas a partir do comportamento do usuário (por exemplo, históricos de compra conjunta ou leitura conjunta). Os usuários são agrupados com base em padrões de interação, e amostras frequentemente consumidas em conjunto por um grupo são vinculadas. Essas ligações recebem descrições em linguagem natural (por exemplo, "Comprados conjuntamente por usuários com preferências [específicas do grupo]") que servem como sinal de condicionamento.

3. Módulo de Representação Condicionado a Relações:
   Utilizando uma base CLIP, o Rcml introduz um módulo que adapta embeddings a contextos semânticos específicos. Em vez de um pooling global estático, o modelo emprega um mecanismo de atenção guiado por relação.

   • A descrição da relação semântica $e_{ij}$ é codificada em um embedding global $h^E_{ij}$.
   • Este embedding guia um mecanismo de atenção para agregar representações em nível de token ($H^i_x$) em uma representação condicionada à relação $z^i_x(e_{ij})$.
   • O peso de atenção é um equilíbrio entre atenção contextual consciente da relação (impulsionada por $h^E_{ij}$) e alinhamento não direcionado (preservando a consistência global por meio de tokens especiais como [CLS] ou [EOT]). Um coeficiente $\beta$ controla essa compensação.

Principais Contribuições

1. Framework Rcml: A introdução de um framework de aprendizado multimodal onde relações semânticas atuam como condições explícitas, avançando além de embeddings únicos agnósticos a relações para uma família de embeddings dependentes de contexto.
2. Aprendizado Contrastivo Muitos-para-Muitos: Extensão do aprendizado contrastivo além de pares imagem-texto isolados para modelar dependências inter-amostra complexas sob relações semânticas.
3. Validação Empírica: Demonstração de melhorias consistentes sobre baselines robustas (CLIP, DeCLIP, UniCL, SigLIP, ImageBind) em tarefas de recuperação e classificação em múltiplos conjuntos de dados e configurações (zero-shot, ajuste fino e fora de domínio).

Resultados Experimentais
Os autores avaliaram o Rcml no conjunto de dados Amazon Product (através de 7 domínios: Eletrônicos, Automotivo, Escritório, Bebês, Animais de Estimação, Música, Esportes) e no conjunto de dados Goodreads.

• Recuperação Condicionada a Relações: O Rcml superou significativamente todas as baselines, alcançando os melhores resultados Hit@5 em 36 de 40 métricas. Melhorou o Hit@5 geral em aproximadamente 30,79% em comparação ao CLIP padrão. Notavelmente, generalizou-se bem para o conjunto de dados Goodreads, fora de domínio.
• Previsão do Tipo de Relação: O modelo alcançou alta precisão Top-3 na previsão da relação semântica que conecta um par de produtos, superando baselines aleatórias por margens substanciais (30% na Amazon, 37,5% no Goodreads).
• Previsão de Validade da Relação: Em uma tarefa de classificação binária supervisionada, o Rcml demonstrou robustez e desempenho superior na validação de instâncias específicas de relação em comparação a modelos que carecem de mecanismos explícitos conscientes de relação.
• Eficiência: Apesar de calcular embeddings condicionados a relações, o Rcml manteve-se eficiente (14,32 ms/amostra) com uma contagem de parâmetros (152,33M) comparável ao CLIP, superando significativamente o ImageBind muito maior (mais de 1200M de parâmetros), que ainda assim teve desempenho inferior na maioria das tarefas.
• Estudos de Ablação: A remoção de relações inter-amostras causou a maior queda de desempenho (38,68%), confirmando a necessidade de aprendizado muitos-para-muitos. A remoção do texto semântico das relações também causou um declínio significativo (11,60%), destacando o valor da orientação contextual.

Significado e Alegações
O artigo alega que o Rcml fornece um framework geral e extensível para aprendizado de representação multimodal consciente de relações. Ao tratar relações semânticas como condições explícitas em vez de sinais auxiliares, o framework aprende espaços de embedding que são mais estruturados e flexíveis, organizando amostras de acordo com o contexto relacional específico no qual são comparadas. Os autores afirmam que essa abordagem captura associações funcionais e orientadas por intenção que modelos de similaridade superficial ignoram, oferecendo uma solução mais eficaz para tarefas downstream onde a relevância é dependente de contexto. O trabalho sugere que futuros sistemas multimodais devem avançar além de paradigmas estáticos de embedding único em direção a representações dinâmicas e condicionadas a relações.