Resumo Técnico: Gemini Embedding 2: Um Modelo de Embedding Multimodal Nativo do Gemini

1. Declaração do Problema

Modelos de embedding multimodal existentes, como CLIP, ALIGN e SigLIP 2, tipicamente dependem de abordagens de "fusão tardia". Esses modelos utilizam dados pareados de modalidades cruzadas para treinar codificadores específicos de modalidade (por exemplo, codificadores de imagem e texto separados) que mapeiam para um espaço vetorial unificado. Embora eficazes para tarefas unimodais e de modalidades cruzadas simples, essa arquitetura possui uma limitação crítica: luta para lidar com entradas de modalidade mista (por exemplo, sequências intercaladas de texto, imagens e vídeo) e falha em utilizar plenamente as ricas interações semânticas entre as modalidades. Além disso, pipelines tradicionais para áudio frequentemente exigem transcrição intermediária (ASR) antes do embedding, introduzindo propagação de erros e perdendo nuances acústicas como prosódia e entonação.

O artigo postula que, com o advento dos Modelos de Linguagem Grandes Multimodais (MLLMs), agora é possível criar embeddings multimodais nativos que fundem profundamente as interações de modalidades cruzadas, permitindo que um único modelo processe combinações arbitrárias de texto, imagem, áudio e vídeo em um espaço de representação coerente e unificado.

2. Metodologia

Arquitetura do Modelo

O Gemini Embedding 2 é construído sobre o modelo fundamental Gemini, aproveitando suas capacidades multimodais nativas.

• Processamento de Entrada: Diferentemente de modelos anteriores que exigem codificadores separados, o Gemini Embedding 2 utiliza as capacidades internas do Gemini para converter entradas brutas (imagens, vídeo, áudio, texto) diretamente em sequências de tokens. Isso permite que o modelo aceite nativamente entradas heterogêneas sem modalidades intermediárias (como ASR para áudio).
• Codificador: O modelo emprega um transformer com atenção bidirecional (inicializado a partir do Gemini) para processar a sequência de tokens $T$ de comprimento $L$. Isso supera os limites de atenção unidirecional dos LLMs causais, permitindo raciocínio consciente do contexto em toda a sequência de entrada.
• Agrupamento e Projeção: Os embeddings de tokens são agregados usando pooling médio ao longo do eixo da sequência. Uma camada de projeção linear então escala o resultado para a dimensão alvo. O modelo produz vetores de 3.072 dimensões, com suporte a Perda de Multi-Resolução (MRL) para otimização também nas dimensões 768 e 1.536.

Objetivo de Treinamento

O modelo é treinado usando uma abordagem multitarefa e multietapa para aprender um espaço de embedding unificado:

• Função de Perda: O objetivo principal é Estimação de Contraste de Ruído (NCE) com negativos no lote. A função de perda maximiza a similaridade entre uma consulta $q_i$ e um alvo positivo $p^+_i$, enquanto minimiza a similaridade com negativos difíceis $p^-_i$ e outros itens do lote.
• Strings de Tarefa: Para tarefas apenas de texto, strings de tarefa prescritas (por exemplo, "verificação de fatos") são incluídas, mas descartadas aleatoriamente durante o treinamento para garantir robustez em modalidades onde tais strings estão ausentes.
• MRL: Para suportar dimensões de embedding flexíveis, a perda é adaptada usando Perda de Multi-Resolução (MRL) através de subdimensões sobrepostas.

Receita de Treinamento

O processo de treinamento consiste em três etapas distintas:

1. Pré-Ajuste Fino (PFT): Adapta o modelo de geração autoregressiva para codificação. Esta etapa usa tamanhos de lote grandes e uma configuração multitarefa com tarefas de imagem, texto e código para estabilizar gradientes contra entradas ruidosas.
2. Ajuste Fino (FT): Uma etapa abrangente envolvendo tarefas de texto, código, documento, imagem, áudio e vídeo. Esta etapa utiliza tripletos consulta-alvo-negativo-difícil e amostras de tarefas únicas para construir lotes, equilibrando cuidadosamente as taxas de amostragem para otimizar o desempenho em todas as modalidades.
3. Sopa de Modelos: Para melhorar a generalização, o modelo final é criado pela média dos parâmetros de checkpoints individuais de ajuste fino (incluindo execuções de treinamento diferentes e médias ponderadas).

3. Contribuições Principais

• Embedding Multimodal Nativo: Introduz o primeiro modelo capaz de embutir combinações arbitrárias de texto, imagem, áudio e vídeo intercalados em um único espaço vetorial, indo além das limitações das arquiteturas de fusão tardia.
• Compreensão Superior de Áudio: Demonstra que o processamento de áudio nativo (codificação direta de áudio bruto) supera significativamente pipelines tradicionais que dependem de transcrição ASR, preservando pistas acústicas e reduzindo a propagação de erros.
• Framework de Treinamento Unificado: Unifica com sucesso o treinamento de texto, código, imagem, vídeo e áudio em um único modelo, alcançando desempenho de última geração em diversos benchmarks sem sacrificar o desempenho em qualquer modalidade única.
• Generalização Robusta Zero-Shot: Mostra forte desempenho em domínios especializados (astronomia, biosciência, artes culinárias, belas-artes) sem ajuste fino específico de domínio, estabelecendo o modelo como uma representação confiável "pronta para uso".

4. Resultados Experimentais

Benchmarks de Recuperação Multimodal

O Gemini Embedding 2 alcança desempenho de última geração (SOTA) em uma ampla gama de tarefas de recuperação:

• Recuperação Imagem-Texto: Alcança 62,9 R@1 no MSCOCO e 89,1 R@1 no Flickr30k (Imagem para Texto), superando modelos como Voyage-3.5-multimodal e Amazon Nova MME.
• Recuperação Texto-Vídeo: Obtém 68,8 NDCG@10 no Vatex e 68,0 NDCG@10 no MSR-VTT.
• Recuperação de Documentos: Alcança 64,9 NDCG@10 no ViDoRe V2, demonstrando forte capacidade na compreensão de estruturas visuais e layouts em nível de página.
• Geral: O modelo lidera decisivamente em recuperação de imagem unimodal, texto para imagem, imagem para texto e tarefas de texto para vídeo.

Embedding de Texto e Código (MMTEB)

• Desempenho Multilíngue: Alcança 69,9 no benchmark Multilíngue MTEB, superando modelos anteriores de Gemini Embedding apenas de texto e outros concorrentes multimodais.
• Recuperação de Código: Estabelece um novo SOTA no MTEB Code v1 com uma pontuação de 84,0, superando significativamente modelos específicos de domínio como o voyage-code-3.

Domínios Especializados (Zero-Shot)

Em avaliações zero-shot em campos especializados, o Gemini Embedding 2 consistentemente supera as linhas de base:

• Microscopia (MicroVQA): 79,3 R@5 (vs. 44,4 para CLIP-Large).
• Astronomia (AstroLLaVA): 64,4 R@5 (vs. 31,6 para CLIP-Large).
• Artes Culinárias (Recipe1M): 90,2 R@5 para ingredientes e 92,1 R@5 para instruções.
• Belas-Artes (ArtCap): 67,7 R@5.

Recuperação de Áudio (MSEB)

No Massive Sound Embedding Benchmark (MSEB), o modelo com entrada de áudio nativa alcança um mrr@10 médio de 73,99, comparado a 70,40 para a linha de base baseada em ASR.

• Intralíngue: Melhoria de +2,0 pontos.
• Cruza-língue: Melhoria de +5,01 pontos, validando que o modelo alinha características semânticas entre idiomas sem depender dos limites fonéticos de um transcritor intermediário.

5. Significado e Alegações

O artigo afirma que o Gemini Embedding 2 representa um passo transformador na aprendizagem de representação de propósito geral. Seu significado reside em:

1. Eliminação de Barreiras de Modalidade: Ao processar nativamente entradas intercaladas, permite paradigmas de recuperação complexos (por exemplo, encontrar eventos temporais específicos em um vídeo usando prompts visuais e textuais combinados) que eram anteriormente difíceis ou impossíveis.
2. Eficiência e Robustez: Remove a necessidade de conversões intermediárias custosas e propensas a erros (como ASR) e engenharia de prompts manual, oferecendo um espaço latente unificado e robusto que performa bem em configurações zero-shot.
3. Prontidão Empresarial: O modelo é posicionado como um candidato altamente confiável para casos de uso empresariais downstream, incluindo Geração Aumentada por Recuperação (RAG), recomendações de vídeo e busca, capaz de lidar com dados heterogêneos ricos em aplicações modernas.
4. Consistência Transversal de Domínio: Ao contrário de modelos especializados que flutuam em desempenho entre domínios, o Gemini Embedding 2 mantém um alinhamento consistente e de propósito geral, tornando-o adequado para diversos campos, desde biosciência até artes culinárias.

Os autores concluem que essa abordagem unificada facilita a construção de sistemas agênticos de próxima geração, fornecendo a infraestrutura essencial para recuperação sofisticada de dados cruzados sem as restrições de arquiteturas específicas de modalidade.