Efficient and High-Fidelity Omni Modality Retrieval

Título: Recuperação Omnimodal Eficiente e de Alta Fidelidade (OmniRet)

1. O Problema

A recuperação multimodal tradicional e os modelos de última geração (SOTA) são frequentemente limitados a pares de modalidades (principalmente texto e visão). À medida que a demanda por sistemas de recuperação universais cresce, surge a necessidade de lidar com consultas compostas complexas que integram três ou mais modalidades (texto, visão e áudio) simultaneamente.

Os desafios principais para alcançar uma recuperação universal eficiente são:

• Fidelidade de Representação: Comprimir dados multimodais ricos em um único vetor de embedding (embedding único) frequentemente resulta em perda de informações de alta fidelidade e detalhes finos. Métodos comuns como pooling médio ou o uso do token [EOS] descartam nuances críticas. Por outro lado, métodos de interação tardia (como ColBERT) preservam detalhes, mas são computacionalmente proibitivos para sistemas em larga escala.
• Eficiência Computacional: Alimentar sequências massivas de tokens gerados por codificadores de mídia (ex: >500 tokens para uma imagem ou vídeo) diretamente em Grandes Modelos de Linguagem (LLMs) cria um gargalo computacional severo, limitando o tamanho do batch de treinamento e a eficácia do aprendizado contrastivo.
• Falta de Dados e Benchmarks: Existe uma escassez de modelos dedicados e dados de treinamento abrangentes para modalidades como áudio e vídeo, especialmente em cenários de consultas compostas.

2. Metodologia: A Arquitetura OmniRet

O OmniRet é o primeiro modelo de recuperação unificado capaz de processar consultas e alvos compostos por texto, visão e áudio. A arquitetura utiliza um LLM como "compositor universal" e introduz dois módulos inovadores para resolver os desafios de eficiência e fidelidade:

A. Resampler de Mídia Compartilhado (Shared Media Resampler)

• Função: Atua como uma camada intermediária entre os codificadores de mídia específicos (visuais e de áudio) e o LLM.
• Mecanismo: Baseado na arquitetura Perceiver, este módulo comprime sequências longas de tokens de mídia em um conjunto fixo e compacto de vetores latentes (ex: 64 vetores).
• Inovação: Utiliza um mecanismo de atenção compartilhado entre modalidades, mas incorpora latentes específicos da modalidade (adicionados às consultas latentes compartilhadas). Isso permite que o modelo generalize entre modalidades, mantendo a sensibilidade às características únicas de cada uma (ex: áudio vs. vídeo).
• Regularização: Um Loss de Diversidade é aplicado aos tokens ressampleados para garantir ortogonalidade e diversidade de informação, evitando que o módulo colapse para representar apenas informações genéricas.

B. Pooling Sliced Wasserstein com Atenção (ASWP - Attention Sliced Wasserstein Pooling)

• Problema Resolvido: Substitui o pooling médio simples, que borra a estrutura dos tokens, preservando detalhes finos sem sacrificar a eficiência de um sistema de vetor único.
• Mecanismo:
  1. Trata a saída do LLM como uma distribuição de vetores.
  2. Compara essa distribuição com um conjunto de pontos de referência aprendíveis (learnable references) através de múltiplas projeções 1D (inspirado em PSWE).
  3. Calcula o acoplamento de Monge (Monge coupling) em cada projeção para criar um descritor rico e histograma-like.
  4. Utiliza um estimador de Máximo Direto (Straight-Through Maximum - STM) para selecionar os tokens mais relevantes de forma diferenciável, gerando um vetor de embedding final de alta fidelidade.

C. Estratégia de Treinamento

• Dados: Treinado em uma agregação de 6 milhões de pares consulta-alvo provenientes de 30 conjuntos de dados distintos.
• Fases:
  1. Warm-up: Focado em tarefas de recuperação unimodal e ligação textual, congelando o LLM e treinando apenas os projetores e o resampler.
  2. Fine-tuning: Treinamento em todas as tarefas (incluindo vídeo e consultas compostas) utilizando LoRA no LLM e gradientes acumulados para estabilidade.
• Função de Perda: Combinação de InfoNCE (com mineração de negativos duros), Perda de Triângulo (Triplet Loss) e a Perda de Diversidade mencionada acima.

3. Contribuições Principais

1. OmniRet: O primeiro framework universal de recuperação que suporta nativamente texto, visão e áudio em consultas compostas, superando as limitações de modelos bi-modais.
2. Novas Técnicas de Arquitetura:
   • Shared Media Resampler: Resolve o gargalo de eficiência ao reduzir tokens de mídia para o LLM.
   • ASWP: Resolve o problema de fidelidade, permitindo representações ricas em um único vetor, compatível com índices de busca aproximada (ANN) de alta velocidade.
3. Benchmark ACM (Audio-Centric Multimodal):
   • Introdução de um novo benchmark curado a partir do VGG-Sound, gerando descrições e textos de modificação de alta qualidade usando modelos generativos (QwenOmni2.5 e Gemini2.5).
   • Define duas novas tarefas críticas anteriormente ausentes: Recuperação de Áudio Composto (Áudio + Texto -> Áudio) e Recuperação Áudio-Visual (Áudio -> Imagem/Vídeo).
4. Desempenho SOTA: Demonstração de superioridade em tarefas de recuperação composta e desempenho competitivo em tarefas unimodais.

4. Resultados Experimentais

O modelo foi avaliado em 13 tarefas de recuperação (extensão do M-BEIR), um subconjunto do MMEBv2 e no novo benchmark ACM.

• Recuperação Composta e Multimodal: O OmniRet superou significativamente os modelos state-of-the-art em tarefas de recuperação composta (imagem+texto, vídeo+texto) e, crucialmente, nas tarefas de áudio.
• Benchmark ACM:
  • Na tarefa de Recuperação de Áudio Composto (A,T→A), o OmniRet alcançou 23.0% de Recall@5, superando largamente o pipeline multi-etapa baseado em texto (44.6% em uma configuração diferente, mas com custo computacional muito maior) e modelos como CLAP (16.1%) e ImageBind (7.3%).
  • Nas tarefas Áudio-Visual, o modelo manteve desempenho competitivo com ImageBind e ViT-Lens, provando sua capacidade de alinhar áudio e visão sem depender de descrições textuais intermediárias.
• Generalização: No MMEBv2, o modelo obteve resultados SOTA em tarefas de vídeo (Classificação e Recuperação), mesmo sem ter sido totalmente fine-tuned em todos os conjuntos de dados de vídeo, demonstrando forte capacidade de generalização.
• Eficiência: Embora consuma mais memória que codificadores duplos simples (devido aos blocos Perceiver e LLM), o OmniRet é 3.5x mais rápido que o VLM2VecV2 em tarefas de codificação, mantendo a vantagem de ser um sistema de vetor único.

5. Significado e Impacto

O trabalho do OmniRet representa um avanço fundamental na direção de sistemas de recuperação verdadeiramente universais.

• Quebra de Barreiras: Demonstra que é possível integrar áudio, vídeo e texto em um espaço de embedding unificado sem sacrificar a eficiência computacional ou a qualidade da representação.
• Avanço no Áudio: Ao introduzir o benchmark ACM e focar na recuperação de áudio composto, o paper preenche uma lacuna crítica na literatura, onde o áudio era frequentemente negligenciado em favor do texto e da imagem.
• Aplicações Práticas: A arquitetura proposta é diretamente aplicável a sistemas de RAG (Retrieval-Augmented Generation) multimodais, motores de recomendação avançados e buscas em grandes repositórios de mídia, permitindo consultas naturais e complexas (ex: "Encontre um vídeo de um cachorro latindo, mas troque o som por um uivo").

Em resumo, o OmniRet estabelece um novo padrão para a recuperação multimodal, equilibrando a complexidade de entender consultas híbridas com a eficiência necessária para implantação em escala industrial.