Resumo Técnico: UniRank

Declaração do Problema

Sistemas de recuperação de informação (RI) multimodais enfrentam cada vez mais o desafio de conjuntos de candidatos híbridos, onde o conjunto de itens a serem reordenados contém uma mistura de documentos apenas de texto e apenas de imagem. Embora os reordenadores apenas de texto sejam maduros, estendê-los para cenários multimodais introduz uma lacuna de modalidade: modelos inerentemente enviesados para o texto lutam para comparar justamente a relevância entre modalidades heterogêneas.

As soluções existentes sofrem de duas limitações primárias:

1. Sobrecarga de Conversão de Modalidade: Abordagens comuns convertem imagens para texto (via legendas ou OCR) ou texto para imagens para forçar um único formato de entrada. Converter texto para imagens (como feito por alguns reordenadores de Modelo de Linguagem-Visão (VLM)) incorre em sobrecarga substancial de armazenamento e inferência, enquanto converter imagens para texto frequentemente perde semânticas visuais de alta granularidade.
2. Incompatibilidade de Domínio: A maioria dos reordenadores multimodais de código aberto é treinada em dados gerais em escala web. Eles frequentemente apresentam desempenho inferior em domínios específicos (por exemplo, literatura científica, patentes de design) onde dados privados e estruturas semânticas únicas predominam.

Há uma falta de frameworks abrangentes, ponta a ponta, capazes de classificar nativamente candidatos híbridos de texto-imagem sem conversão de modalidade, ao mesmo tempo que se adaptam a domínios específicos.

Metodologia: Framework UniRank

Os autores propõem o UniRank, um framework de reordenação baseado em VLM projetado para classificar e ordenar candidatos híbridos de texto-imagem nativamente. O framework emprega um pipeline de adaptação de domínio de duas etapas, ponta a ponta:

1. Formulação do Problema & Interface

O UniRank trata a reordenação como uma tarefa de seguimento de instruções. Dada uma consulta $q$ e um candidato $c$ (que pode ser texto, imagem ou ambos), o VLM é instruído a emitir um rótulo de relevância discreto (por exemplo, "sim" ou "não").

• Classificação Nativa: O modelo processa as entradas em suas modalidades originais.
• Derivação da Pontuação: A pontuação de relevância escalar $s_\theta(q, c)$ é derivada da diferença de logit entre os tokens "sim" e "não":
  $$s_\theta(q, c) = \sigma(\text{logit}_\theta(\text{sim} | q, c) - \text{logit}_\theta(\text{não} | q, c))$$
  Isso permite uma função de pontuação unificada para pares texto-texto, imagem-imagem e cruzados entre modalidades.

2. Etapa 1: Ajuste Fino Supervisionado (SFT) Orientado por Instruções

Para adaptar um VLM de propósito geral à tarefa de reordenação:

• Construção de Dados: Pares consulta-candidato rotulados são serializados em instruções no estilo de chat. O prompt do sistema restringe a saída a um único rótulo, enquanto o prompt do usuário intercala a consulta e o candidato em seus formatos nativos.
• Objetivo: O modelo é ajustado finamente usando perda padrão de modelagem de linguagem nos tokens de resposta do assistente. Esta etapa ensina o modelo a produzir pontuações de relevância cruzada entre modalidades calibradas específicas para o domínio alvo.
• Divisão de Retenção: Um subconjunto de dados é reservado (não usado no SFT) especificamente para a construção de dados de preferência na próxima etapa, a fim de evitar overfitting.

3. Etapa 2: Alinhamento de Preferência Orientado por Negativos Difíceis (RLHF)

Para refinar ainda mais a robustez e a calibração da classificação:

• Mineração de Negativos Difíceis: O modelo SFT é executado nos dados de retenção para identificar "negativos difíceis" — candidatos que o modelo classifica com alta pontuação, mas que são realmente não relevantes.
• Construção de Preferência: Dados de preferência em pares são construídos contrastando o rótulo de verdade fundamental contra o modo de erro do modelo (por exemplo, Escolhido: "não" vs. Rejeitado: "sim" para um negativo difícil).
• Treinamento do Modelo de Recompensa (RM): Um modelo de recompensa é treinado nessas preferências em pares usando uma perda no estilo Bradley-Terry para prever qual resposta é preferida.
• Otimização de Política (RLHF): O reordenador (política) é otimizado usando Otimização de Política Relativa em Grupo (GRPO).
  • Inovação Chave: Em vez de agrupamento padrão ao nível do prompt, o UniRank usa agrupamento ao nível da consulta. Ele contrasta múltiplos candidatos que compartilham a mesma consulta dentro de um grupo. Isso otimiza diretamente o comportamento de ordenação relativa exigido para a reordenação, em vez de apenas julgamentos de relevância individuais.

Contribuições Principais

1. Reordenação VLM de Modalidade Híbrida: O UniRank é o primeiro framework a classificar nativamente candidatos híbridos de texto-imagem sem converter texto em imagens, eliminando assim a sobrecarga de armazenamento e inferência associada a estratégias de homogeneização de imagem.
2. Alinhamento Específico de Domínio Ponta a Ponta: O artigo propõe um pipeline de treinamento completo composto por:
   • SFT orientado por instruções para pontuação calibrada.
   • Mineração de negativos difíceis para capturar modos de falha intra-domínio.
   • RLHF com agrupamento ao nível da consulta para otimizar a robustez da classificação.
3. Validação Empírica: O framework é validado em dois domínios do mundo real distintos: recuperação de literatura científica e busca de patentes de design.

Resultados Experimentais

Os autores avaliaram o UniRank no benchmark MMDocIR (Literatura Científica) e em um conjunto de dados personalizado de Busca de Patentes de Design.

• Desempenho: O UniRank supera consistentemente as linhas de base mais avançadas, incluindo reordenadores apenas de texto fortes (por exemplo, BGE-Reranker, Qwen3-Reranker) e reordenadores existentes baseados em VLM (por exemplo, MM-R5, Qwen3-VL-Reranker).
  • Literatura Científica: Melhoria no Recall@1 de 8,9% sobre a melhor linha de base.
  • Patentes de Design: Melhoria no Recall@1 de 7,3% sobre a melhor linha de base.
• Eficiência: Ao evitar a conversão de texto para imagem, o UniRank reduz significativamente os requisitos de armazenamento (até 6,9$\times$ menos no domínio científico) e a latência de inferência (até 2,8$\times$ mais rápido) em comparação com linhas de base que homogeneizam imagens, como o MM-R5.
• Robustez: O modelo mantém ganhos de desempenho através de diferentes recuperadores de primeira etapa (baseados em texto e baseados em visual) e escala efetivamente com tamanhos de modelos de base (de 2B a 8B parâmetros).
• Estudos de Ablação:
  • A remoção do SFT causa a maior queda de desempenho, confirmando sua necessidade para estabelecer uma interface de pontuação calibrada.
  • A mineração de negativos difíceis é crítica; substituí-la por negativos aleatórios degrada o desempenho.
  • O agrupamento ao nível da consulta no RLHF supera o agrupamento padrão ao nível do prompt, validando a importância de otimizar a ordenação relativa.

Significado e Alegações

O artigo alega que o UniRank aborda uma lacuna crítica na RI multimodal ao fornecer uma solução prática, eficiente e adaptável a domínios para conjuntos de candidatos híbridos.

• Tratamento de Modalidade: Demonstra que a pontuação híbrida nativa é superior à conversão de modalidade, oferecendo tanto maior precisão quanto custos computacionais mais baixos.
• Adaptação de Domínio: Destaca que VLMs de domínio geral são insuficientes para tarefas especializadas e que um processo de alinhamento estruturado de duas etapas (SFT + RLHF com negativos difíceis) é essencial para implantação de alto desempenho em cenários sensíveis à privacidade ou específicos de domínio.
• Escalabilidade: O framework é apresentado como uma receita escalável para construir sistemas de recuperação onde os conjuntos de candidatos são inerentemente heterogêneos, preenchendo a lacuna entre as capacidades teóricas dos VLMs e os requisitos práticos dos sistemas de RI.

Os autores posicionam o UniRank não meramente como uma melhoria de modelo, mas como um framework que permite a implantação de recuperação multimodal de alto desempenho em aplicações do mundo real onde privacidade de dados, eficiência e especificidade de domínio são primordiais.