Resumo Técnico: LLMs de Fronteira vs. Embeddings Multimodais Nativos para Recuperação de Texto-para-Imagem com Hard-Negatives

Declaração do Problema

A recuperação de texto-para-imagem, a tarefa de classificar imagens por relevância a uma consulta de linguagem natural, tradicionalmente dependeu de modelos de codificador duplo (ex: CLIP) que alinham representações visuais e textuais via aprendizado contrastivo. Duas desenvolvimentos recentes desafiam esse paradigma:

1. Large Language Models (LLMs) de Fronteira: Modelos como GPT-4.1 e Claude Sonnet 4.6 possuem fortes capacidades visuais, permitindo um novo paradigma de recuperação onde todas as imagens candidatas e a consulta são apresentadas em um único prompt para classificação direta zero-shot.
2. Embeddings Multimodais Nativos: Modelos como o Gemini Embedding 2 (GE2) do Google projetam texto, imagem, vídeo e áudio em um único espaço de embedding compartilhado, indo além da arquitetura de codificador duplo.

Embora ambos os abordagens mostrem promessa, seu desempenho relativo em precisão de recuperação e latência de classificação — especificamente sob condições desafiadoras — permanece não caracterizado na literatura. Este estudo aborda essa lacuna comparando embeddings multimodais nativos contra LLMs de fronteira como classificadores visuais diretos zero-shot.

Metodologia

Construção do Dataset e dos Candidatos

O estudo utiliza o Flickr30k (Young et al., 2014), um dataset de 31.000 imagens com cinco legendas independentes cada. Para criar uma tarefa de avaliação não trivial, os autores construíram conjuntos de candidatos de hard-negatives:

• Pool: 5.000 imagens foram amostradas, cada uma com cinco legendas.
• Seleção de Consulta: 1.000 legendas foram selecionadas aleatoriamente como consultas.
• Hard Negatives: Para cada consulta, um conjunto de candidatos de 25 imagens foi formado: a imagem real (ground-truth) mais 24 "hard negatives".
• Lógica de Seleção: Os hard negatives foram selecionados com base na similaridade no espaço de legendas, em vez da similaridade no espaço de imagem. Usando sentence-transformers/all-mpnet-base-v2, as 24 legendas semanticamente mais similares à legenda da consulta (excluindo a própria consulta) foram identificadas. As imagens correspondentes a essas legendas formaram o conjunto negativo. Esta abordagem aumenta a ambiguidade, pois as imagens tornam-se difíceis de distinguir dada a legenda da consulta.

Sistemas Avaliados

Quatro sistemas foram avaliados nos mesmos 1.000 queries e conjuntos de candidatos idênticos:

1. Gemini Embedding 2 (GE2): Um modelo de embedding nativamente multimodal. Consultas e imagens foram embedadas separadamente usando tipos de tarefas específicos (RETRIEVAL_QUERY e RETRIEVAL_DOCUMENT), e os candidatos foram classificados por similaridade de cosseno.
2. Amazon Nova 2: Um modelo de embedding multimodal. Semelhante ao GE2, mas utilizou GENERIC_INDEX para fins de embedding.
3. GPT-4.1: Um LLM de fronteira. A legenda da consulta e todas as 25 imagens candidatas foram apresentadas em um único prompt zero-shot. O modelo foi instruído a retornar uma lista classificada de IDs de imagem.
4. Claude Sonnet 4.6: Um LLM de fronteira. Avaliado usando o mesmo prompt e procedimento que o GPT-4.1.

Para mitigar o viés de posição em LLMs, a ordem das imagens no prompt foi randomizada para cada consulta.

Métricas de Avaliação

O desempenho foi medido usando:

• Recall@1 (R@1): Fração de consultas onde a imagem real é classificada em primeiro lugar.
• Recall@3 (R@3): Fração de consultas onde a imagem real está entre os três primeiros.
• Mean Reciprocal Rank (MRR): Média do rank recíproco da imagem real.
• Latência: Tempo de execução para classificar 1.000 consultas, distinguindo entre processamento end-to-end e cenários com embeddings pré-computados.

A significância estatística foi avaliada usando o teste de McNemar para R@1 e o teste de postos sinalizados de Wilcoxon para MRR, com correção de Bonferroni.

Resultados Principais

Precisão de Recuperação

• Melhores Desempenhos: Gemini Embedding 2, GPT-4.1 e Claude Sonnet 4.6 alcançaram desempenho estatisticamente indistinguível em todas as três métricas (R@1, R@3, MRR).
  • Scores de R@1: GE2 (0.804), Claude Sonnet 4.6 (0.796), GPT-4.1 (0.789).
  • Significância: Testes pareados não mostraram diferença significativa entre esses três sistemas (todos $p > 0.09$).
• Desempenho Inferior: O Amazon Nova 2 ficou atrás significativamente, alcançando um R@1 de 0.673. Testes estatísticos confirmaram que seu desempenho era significativamente diferente de todos os outros sistemas ($p < 0.0001$). Os autores atribuem essa lacuna ao uso de GENERIC_INDEX para fins de embedding, que é otimizado para criação de bancos de dados vetoriais gerais em vez de correspondência específica texto-imagem.

Latência e Eficiência

• Vantagem da Pré-computação: Modelos de embedding (GE2 e Nova 2) permitem a pré-computação de embeddings de imagem. Uma vez pré-computados, a classificação de 1.000 consultas com 25 candidatos cada levou menos de 2 segundos (0.66s para GE2, 1.16s para Nova 2).
• Latência de LLM: LLMs processam consultas end-to-end sem pré-computação. A classificação da mesma carga de trabalho levou 6.100 segundos para o GPT-4.1 e 9.415 segundos para o Claude Sonnet 4.6.
• Conclusão: Modelos de embedding oferecem uma aceleração de aproximadamente quatro ordens de magnitude para aplicações de baixa latência envolvendo galerias de imagens fixas.

Contribuições e Significância

O artigo reivindica as seguintes contribuições:

1. Primeira Comparação Direta: Fornece a primeira comparação direta de embeddings multimodais nativos contra LLMs de fronteira como classificadores visuais diretos zero-shot em um dataset de hard-negatives (Flickr30k), sem fine-tuning específico da tarefa ou geração de legendas intermediárias.
2. Paridade de Precisão: O estudo demonstra empiricamente que modelos de embedding multimodais dedicados (especificamente o GE2) e LLMs de fronteira (GPT-4.1, Claude Sonnet 4.6) alcançam precisão de recuperação estatisticamente indistinguível em candidatos de hard-negatives. Isso sugere que LLMs podem servir efetivamente como classificadores zero-shot, igualando o desempenho de espaços de embedding especializados.
3. Trade-offs de Latência: O artigo destaca uma distinção prática crítica: embora a precisão seja comparável, os modelos de embedding são vastamente superiores para aplicações de baixa latência devido às capacidades de pré-computação. Por outro outro lado, LLMs podem ser preferíveis para galerias atualizadas frequentemente ou conjuntos pequenos onde a pré-computação é impraticável.

Limitações

Os autores reconhecem algumas limitações:

• Ground Truth Ambíguo: Em conjuntos de hard-negatives, uma legenda de uma imagem pode descrever plausivelmente outra, criando ambiguidade. No entanto, isso afeta todos os sistemas igualmente.
• Dureza no Espaço de Legendas: Os hard-negatives foram definidos no espaço de legendas, o que pode inerentemente favorecer métodos baseados em embedding otimizados para representações vetoriais densas.
• Condições de Inferência: LLMs se beneficiam do raciocínio entre candidatos (vendo as 25 imagens de uma vez), enquanto modelos de embedding pontuam as imagens de forma independente.
• Acesso Proprietário: Todos os sistemas são acessados via APIs pagas, e os pesos dos modelos podem mudar entre experimentos e tentativas de replicação.
• Escopo: A avaliação usa conjuntos de candidatos de 25 imagens, medindo o desempenho de classificação em vez de recuperação em escala massiva, o que pode não se generalizar para configurações de grande escala.

Conclusão

O estudo conclui que LLMs de fronteira podem igualar a precisão de recuperação de modelos de embedding multimodais nativos em tarefas de recuperação de texto-para-imagem com hard-negatives. No entanto, a escolha do sistema depende das restrições da aplicação: modelos de embedding são a escolha superior para recuperação de baixa latência e larga escala com galerias fixas, enquanto LLMs oferecem uma alternativa zero-shot viável para cenários dinâmicos ou de menor escala onde a pré-computação não é factível.