Resumo Técnico: Relational Visual Similarity (RelSim)

1. O Problema

A similaridade visual é fundamental para a percepção humana e a interação com o mundo. No entanto, os modelos de estado da arte atuais (como LPIPS, CLIP, DINO) focam quase exclusivamente na similaridade de atributos perceptivos (cor, forma, textura, classe semântica).

O artigo identifica uma lacuna crítica: a incapacidade desses modelos de capturar a similaridade relacional.

• Similaridade de Atributos: Um maçã é similar a um pêssego porque ambos são frutas vermelhas e redondas.
• Similaridade Relacional: A Terra é similar a um pêssego não pela aparência, mas pela estrutura interna (crosta/manto/núcleo correspondem a casca/polpa/pepão). Da mesma forma, o processo de queima de um fósforo é relacionalmente similar ao amadurecimento de uma banana (transformação temporal), embora visualmente sejam objetos distintos.

Os modelos atuais falham em reconhecer essas analogias e lógicas subjacentes, limitando-se ao conteúdo visível superficial. O objetivo do trabalho é preencher essa lacuna, permitindo que sistemas de visão computacional raciocinem sobre estruturas relacionais abstratas, imitando a cognição humana.

2. Metodologia

A abordagem proposta, chamada RelSim, segue um pipeline inspirado em descobertas da ciência cognitiva, utilizando três etapas principais:

A. Definição do Problema

A similaridade relacional é formalizada como a correspondência entre as relações internas ou funções dos elementos visuais de duas imagens, independentemente de seus atributos visuais. O modelo assume que se duas imagens têm alta similaridade relacional, suas legendas anônimas (descrições que abstraem objetos específicos) também devem ser semanticamente similares.

B. Criação do Dataset (114k Imagens)

Como não existiam datasets que capturassem essa lógica, os autores criaram um novo conjunto de dados:

1. Filtragem de Imagens: A partir do corpus LAION-2B, utilizaram um modelo (Qwen2.5-VL-7B) fine-tuned para filtrar e selecionar 114.000 imagens "interessantes" que contêm padrões relacionais transferíveis (ex: transformações, composições criativas), descartando imagens triviais.
2. Geração de Legendas Anônimas:
   • Diferente de legendas comuns que descrevem objetos ("um gato"), as legendas anônimas descrevem a lógica ("{objeto} passando por uma transformação temporal").
   • Para gerar essas legendas com precisão, os autores curaram manualmente 532 grupos de imagens que compartilham a mesma lógica subjacente.
   • Um Modelo de Linguagem Visual (VLM) foi treinado para gerar uma única legenda anônima para todo um grupo de imagens, forçando a abstração dos objetos específicos e a retenção da estrutura relacional.
   • O resultado é um dataset de pares {Imagem, Legenda Anônima}.

C. Treinamento do Modelo RelSim

• Arquitetura: O modelo utiliza um Vision-Language Model (VLM) como extrator de características visuais ($f_V$), em vez de apenas codificadores visuais puros. Isso é crucial porque o raciocínio relacional requer conhecimento de mundo e linguagem.
• Objetivo de Treinamento: O modelo é treinado para alinhar o embedding visual da imagem com o embedding textual da sua legenda anônima correspondente.
• Função de Perda: Utiliza-se a perda InfoNCE (contrastiva), onde o modelo aprende a maximizar a similaridade entre uma imagem e sua própria legenda anônima, enquanto minimiza a similaridade com legendas de outras imagens no batch.
• Base: O modelo base é o Qwen2.5-VL-7B-Instruct, ajustado com LoRA.

3. Principais Contribuições

1. Novo Conceito: Introdução formal da "Similaridade Visual Relacional" como um complemento necessário à similaridade de atributos.
2. Novo Dataset: Criação de um dataset de 114k imagens com legendas anônimas projetadas para capturar lógica e abstração, superando a limitação de datasets existentes focados em atributos.
3. Novo Métrica (RelSim): Um modelo treinado capaz de medir e recuperar imagens baseadas em sua estrutura relacional subjacente.
4. Análise de Limitações: Demonstração empírica de que modelos SOTA (CLIP, DINO, LPIPS) falham em tarefas de similaridade relacional, mesmo quando ajustados.
5. Aplicações: Validação em tarefas de recuperação de imagens e geração de imagens analógicas.

4. Resultados e Avaliação

Os autores avaliaram o RelSim comparando-o com métricas tradicionais (LPIPS, DINO, DreamSim, CLIP) e baselines baseadas em texto.

• Recuperação de Imagens (Image Retrieval):

  • Em um cenário de recuperação onde a query é uma imagem e o objetivo é encontrar imagens com a mesma lógica (mas aparência diferente), o RelSim obteve a pontuação mais alta (6.77 em uma escala de 0-10 avaliada por GPT-4o).
  • Métricas tradicionais tiveram desempenho inferior (ex: LPIPS: 4.56, CLIP-I: 5.91), falhando em capturar a lógica abstrata.
  • Estudo com Usuários: Em testes A/B, os humanos preferiram consistentemente os resultados do RelSim em relação às baselines (taxas de preferência entre 42,5% e 60,7%), confirmando que o modelo alinha-se melhor com a percepção humana de analogia.

• Ablação e Análise:

  • Importância dos Grupos: Gerar legendas anônimas a partir de grupos de imagens (onde o padrão é claro) foi superior a gerar a partir de uma única imagem, que tende a vazar informações semânticas específicas.
  • Necessidade de Conhecimento (VLM): Codificadores visuais puros (como CLIP ou DINO) ajustados com os mesmos dados anônimos melhoraram, mas não alcançaram o desempenho do VLM. Isso prova que o conhecimento de mundo embutido na linguagem é essencial para o raciocínio relacional.

• Aplicações Demonstradas:

  • Recuperação Relacional: Buscar imagens por "ideia" ou "lógica" (ex: encontrar formas criativas de decorar comida com olhos humanos) em vez de por cor ou objeto.
  • Geração Analógica: Transferir estruturas conceituais profundas (ex: um trocadilho visual "ice-cream" chorando) para novos objetos, mantendo a lógica e não apenas a aparência. O RelSim serviu como métrica para avaliar quão bem modelos de geração preservam essa lógica.

5. Significado e Conclusão

O trabalho Relational Visual Similarity representa um avanço significativo ao reconhecer que a similaridade visual humana vai além da percepção de atributos. Ao introduzir a abstração relacional e o uso de legendas anônimas, o paper:

1. Desafia o Paradigma Atual: Mostra que os modelos de visão computacional atuais são "cegos" para analogias complexas e transformações lógicas.
2. Ponte entre Cognição e IA: Alinha a visão computacional com teorias cognitivas (como a Teoria de Mapeamento de Estrutura de Gentner), sugerindo que a IA precisa de raciocínio relacional para atingir um entendimento mais profundo.
3. Abre Novas Frentes: Demonstra aplicações práticas em criatividade, busca por inspiração e edição de imagens baseada em conceitos, onde a lógica é mais importante que a estética superficial.

O artigo conclui que, embora existam limitações (como a necessidade de curadoria manual inicial e potenciais alucinações do modelo de legendas), a direção de modelar a similaridade relacional é essencial para o futuro da compreensão visual e geração de conteúdo por IA.