💻 computer science

Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

Il documento presenta Gemini Embedding 2, un modello di embedding multimodale nativo che unifica video, audio, immagini e testo in un unico spazio di rappresentazione, ottenendo prestazioni all'avanguardia in una vasta gamma di compiti di recupero unimodale, cross-modale e multimodale, dimostrando al contempo capacità zero-shot robuste in domini specializzati.

Autori originali: Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Sam

Pubblicato 2026-05-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca immensa contenente libri, film, registrazioni musicali e fotografie. Al momento, se vuoi trovare una canzone specifica che assomiglia a una scena di un film, o una ricetta che corrisponde a una foto di un piatto, di solito devi prima tradurre tutto in testo. Dovresti scrivere una descrizione della foto, trascrivere l'audio in parole e poi cercare. È come cercare di trovare un colore specifico guardando solo un elenco di nomi di vernici; perdi la vera "sensazione" del colore.

Gemini Embedding 2 è il nuovo strumento di Google che cambia le regole del gioco. Invece di costringere tutto in testo, crea un'unica "lingua" universale in cui immagini, suoni, video e parole parlano tutti lo stesso dialetto.

Ecco una spiegazione di come funziona e perché è importante, utilizzando analogie semplici:

1. Il Traduttore Universale (L'Idea di Base)

Pensa al vecchio modo di fare le cose come avere dizionari diversi per lingue diverse. Se volevi confrontare un libro francese con un film tedesco, dovevi tradurre entrambi in inglese prima, il che spesso faceva perdere le sfumature.

Gemini Embedding 2 è come un traduttore universale che parla "Significato".

Prende un video, una canzone, una foto o un paragrafo di testo e li converte tutti in un unico tipo di "tessera d'identità" (un vettore matematico).
Poiché sono tutti nella stessa "lingua", il modello può vedere istantaneamente che un video di un cane che abbaia e un testo che dice "un cane rumoroso" sono correlati, anche se uno è suono e l'altro sono parole. Non ha bisogno di convertire il suono in parole prima; comprende il suono direttamente.

2. Il Cuoco "Tutto-in-Uno"

I modelli precedenti erano come cuochi che potevano cucinare bene solo un tipo di cibo. Un cuoco era bravo con il testo, un altro con le immagini e un altro con i video. Se volevi un pasto con tutti e tre, dovevi assumere tre cuochi diversi e sperare che fossero d'accordo sul sapore.

Gemini Embedding 2 è uno chef maestro che può gestire qualsiasi ingrediente.

È stato addestrato su un enorme mix di compiti: leggere codice, comprendere film, ascoltare audio e analizzare documenti.
Poiché ha appreso da questa enorme varietà, non si confonde quando mescoli gli ingredienti. Puoi chiedergli di trovare un clip video usando un mix di una foto e una frase, e comprende la combinazione perfettamente.

3. Il Superpotere "Zero-Shot"

Di solito, se vuoi che un computer comprenda un argomento molto specifico (come l'astronomia o la cucina), devi insegnarglielo specificamente per quell'argomento. È come assumere un tutor per insegnare a uno studente solo sul sistema solare.

Gemini Embedding 2 è come uno studente che è già un esperto di tutto.

Il documento mostra che questo modello funziona incredibilmente bene su argomenti specializzati come la microscopia (biologia), l'astronomia, le arti visive e la cucina senza bisogno di alcun addestramento aggiuntivo.
È pronto "fuori dalla scatola". Se gli mostri una foto di una carta stellare o una ricetta complessa, comprende immediatamente il contesto meglio di modelli specializzati che sono stati addestrati solo su una di quelle cose.

4. La Svolta nell'Audio (Niente più Trascrizione)

Uno dei problemi più grandi nella ricerca audio è che i computer devono solitamente "leggere" prima l'audio (trascrivendo il parlato in testo) prima di poterlo cercare. È come cercare di trovare una canzone leggendo il testo, ma se il cantante mormora o l'accento è forte, il computer sbaglia il testo e non trovi mai la canzone.

Gemini Embedding 2 salta l'intermediario.

Ascolta direttamente il suono grezzo. Comprende il tono, l'altezza e l'emozione della voce, non solo le parole.
Il documento ha rilevato che la ricerca con audio grezzo è molto più accurata della ricerca con testo trascritto. È come riconoscere la voce di un amico in una folla senza bisogno di sentire cosa sta dicendo.

5. Come è stato Costruito (La Ricetta di Addestramento)

Per costruire questo "traduttore universale", il team non ha insegnato al modello una cosa alla volta. Hanno usato un processo di cottura in tre fasi:

Pre-Fine-Tuning: Hanno dato al modello un enorme e disordinato mucchio di dati (testo, codice, immagini) per abituarlo all'idea di "codificare" le informazioni.
Fine-Tuning: Gli hanno dato esempi molto specifici e di alta qualità su come abbinare le cose (come abbinare una domanda a una risposta, o un video a una descrizione).
Model Souping: Questo è un trucco intelligente in cui hanno preso diverse versioni del modello addestrato e le hanno "mescolate" insieme, come mescolare diversi lotti di zuppa per ottenere il sapore perfetto. Questo ha reso il modello finale più stabile e migliore nel gestire diversi tipi di compiti contemporaneamente.

La Conclusione

Gemini Embedding 2 è un potente nuovo motore che permette ai computer di comprendere il mondo come fanno gli esseri umani: vedendo, ascoltando e leggendo tutto come un tutto connesso. Che tu stia cercando un momento specifico in un video usando una descrizione testuale, trovando una canzone basata su un fischio, o cercando un documento che contiene grafici e testo, questo modello fa tutto in uno spazio unificato, spesso meglio di strumenti specializzati progettati per solo uno di quei lavori.

Riepilogo Tecnico: Gemini Embedding 2: Un Modello di Embedding Multimodale Nativo da Gemini

1. Enunciato del Problema

I modelli di embedding multimodali esistenti, come CLIP, ALIGN e SigLIP 2, si basano tipicamente su approcci di "fusione tardiva" (late-fusion). Questi modelli utilizzano dati accoppiati cross-modali per addestrare encoder specifici per modalità (ad esempio, encoder separati per immagini e testo) che mappano in uno spazio vettoriale unificato. Sebbene efficaci per compiti unimodali e cross-modali semplici, questa architettura presenta una limitazione critica: fatica a gestire input a modalità miste (ad esempio, sequenze intercalate di testo, immagini e video) e non riesce a sfruttare appieno le ricche interazioni semantiche tra le modalità. Inoltre, le pipeline tradizionali per l'audio richiedono spesso una trascrizione intermedia (ASR) prima dell'embedding, introducendo propagazione degli errori e perdendo sfumature acustiche come la prosodia e l'intonazione.

Il documento ipotizza che, con l'avvento dei Modelli Linguistici Multimodali (MLLM), sia ora possibile creare embedding multimodali nativi che fondono profondamente le interazioni cross-modali, consentendo a un singolo modello di elaborare combinazioni arbitrarie di testo, immagine, audio e video in uno spazio di rappresentazione coerente e unificato.

2. Metodologia

Architettura del Modello

Gemini Embedding 2 è costruito sul modello fondazionale Gemini, sfruttando le sue capacità multimodali native.

Elaborazione degli Input: A differenza dei modelli precedenti che richiedono encoder separati, Gemini Embedding 2 utilizza le capacità interne di Gemini per convertire direttamente gli input grezzi (immagini, video, audio, testo) in sequenze di token. Ciò permette al modello di accettare nativamente input eterogenei senza modalità intermedie (come l'ASR per l'audio).
Encoder: Il modello impiega un transformer con attenzione bidirezionale (inizializzato da Gemini) per elaborare la sequenza di token $T$ di lunghezza $L$ . Questo supera i limiti dell'attenzione unidirezionale dei LLM causali, consentendo un ragionamento consapevole del contesto su tutta la sequenza di input.
Pooling e Proiezione: Gli embedding dei token vengono aggregati utilizzando il mean pooling lungo l'asse della sequenza. Un livello di proiezione lineare scala quindi il risultato alla dimensione target. Il modello produce vettori a 3.072 dimensioni, con supporto per la Multi-Resolution Loss (MRL) per ottimizzare anche le dimensioni 768 e 1.536.

Obiettivo di Addestramento

Il modello è addestrato utilizzando un approccio multi-task e multi-stadio per apprendere uno spazio di embedding unificato:

Funzione di Perdita: L'obiettivo principale è la Noise-Contrastive Estimation (NCE) con negativi in batch. La funzione di perdita massimizza la similarità tra una query $q_i$ e un target positivo $p^+_i$ , minimizzando al contempo la similarità con i negativi difficili $p^-_i$ e gli altri elementi del batch.
Stringhe di Attività: Per i compiti solo testo, vengono incluse stringhe di attività prescritte (ad esempio, "fact checking"), ma vengono eliminate casualmente durante l'addestramento per garantire robustezza attraverso le modalità in cui tali stringhe sono assenti.
MRL: Per supportare dimensioni di embedding flessibili, la perdita è adattata utilizzando la Multi-Resolution Loss (MRL) su sottodimensioni sovrapposte.

Ricetta di Addestramento

Il processo di addestramento consiste in tre stadi distinti:

Pre-Fine-Tuning (PFT): Adatta il modello dalla generazione auto-regressiva alla codifica. Questo stadio utilizza grandi dimensioni del batch e una configurazione multi-task con compiti di immagine, testo e codice per stabilizzare i gradienti contro input rumorosi.
Fine-Tuning (FT): Uno stadio completo che coinvolge compiti di testo, codice, documenti, immagini, audio e video. Questo stadio utilizza triplette query-target-negativo difficile e campioni da singoli compiti per costruire i batch, bilanciando attentamente i tassi di campionamento per ottimizzare le prestazioni su tutte le modalità.
Model Soup: Per migliorare la generalizzazione, il modello finale viene creato mediando i parametri dei singoli checkpoint di fine-tuning (inclusi diversi run di addestramento e medie ponderate).

3. Contributi Chiave

Embedding Multimodale Nativo: Introduce il primo modello capace di codificare combinazioni arbitrarie di testo, immagine, audio e video intercalati in un singolo spazio vettoriale, superando i limiti delle architetture di fusione tardiva.
Comprensione Audio Superiore: Dimostra che l'elaborazione audio nativa (codifica diretta dell'audio grezzo) supera significativamente le pipeline tradizionali che si basano sulla trascrizione ASR, preservando i segnali acustici e riducendo la propagazione degli errori.
Framework di Addestramento Unificato: Unisce con successo l'addestramento di testo, codice, immagine, video e audio in un singolo modello, raggiungendo prestazioni all'avanguardia su benchmark diversificati senza sacrificare le prestazioni in nessuna singola modalità.
Generalizzazione Zero-Shot Robusta: Mostra prestazioni elevate in domini specializzati (astronomia, bioscienze, arti culinarie, belle arti) senza adattamento specifico al dominio, stabilendo il modello come una rappresentazione affidabile "pronta all'uso".

4. Risultati Sperimentali

Benchmark di Recupero Multimodale

Gemini Embedding 2 raggiunge prestazioni all'avanguardia (SOTA) su un'ampia gamma di compiti di recupero:

Recupero Immagine-Testo: Raggiunge 62.9 R@1 su MSCOCO e 89.1 R@1 su Flickr30k (Immagine-a-Testo), superando modelli come Voyage-3.5-multimodal e Amazon Nova MME.
Recupero Testo-Video: Ottiene 68.8 NDCG@10 su Vatex e 68.0 NDCG@10 su MSR-VTT.
Recupero Documenti: Raggiunge 64.9 NDCG@10 su ViDoRe V2, dimostrando una forte capacità di comprendere strutture visive e layout a livello di pagina.
Complessivo: Il modello guida in modo decisivo nel recupero di immagini unimodali, testo-immagine, immagine-testo e compiti testo-video.

Embedding di Testo e Codice (MMTEB)

Prestazioni Multilingue: Raggiunge 69.9 sul benchmark Multilingue MTEB, superando i precedenti modelli di embedding solo testo di Gemini e altri competitor multimodali.
Recupero Codice: Stabilisce un nuovo SOTA su MTEB Code v1 con un punteggio di 84.0, superando significativamente modelli specifici per dominio come voyage-code-3.

Domini Specializzati (Zero-Shot)

Nelle valutazioni zero-shot su campi specializzati, Gemini Embedding 2 supera costantemente i baseline:

Microscopia (MicroVQA): 79.3 R@5 (vs. 44.4 per CLIP-Large).
Astronomia (AstroLLaVA): 64.4 R@5 (vs. 31.6 per CLIP-Large).
Arti Culinarie (Recipe1M): 90.2 R@5 per gli ingredienti e 92.1 R@5 per le istruzioni.
Belle Arti (ArtCap): 67.7 R@5.

Recupero Audio (MSEB)

Sul Massive Sound Embedding Benchmark (MSEB), il modello con input audio nativo raggiunge un mrr@10 medio di 73.99, rispetto a 70.40 per il baseline basato su ASR.

Intra-linguale: +2.0 punti di miglioramento.
Cross-linguale: +5.01 punti di miglioramento, validando che il modello allinea le caratteristiche semantiche tra le lingue senza fare affidamento sui limiti fonetici di un trascrittore intermedio.

5. Significato e Affermazioni

Il documento afferma che Gemini Embedding 2 rappresenta un passo trasformativo nell'apprendimento di rappresentazioni a scopo generale. Il suo significato risiede in:

Eliminazione delle Barriere di Modalità: Elaborando nativamente input intercalati, abilita paradigmi di recupero complessi (ad esempio, trovare eventi temporali specifici in un video utilizzando prompt visivi e testuali combinati) che erano precedentemente difficili o impossibili.
Efficienza e Robustezza: Rimuove la necessità di conversioni intermedie costose e soggette a errori (come l'ASR) e dell'ingegneria manuale dei prompt, offrendo uno spazio latente unificato e robusto che performa bene in scenari zero-shot.
Prontezza per l'Impresa: Il modello è posizionato come un candidato altamente affidabile per casi d'uso aziendali downstream, inclusa la Generazione Aumentata dal Recupero (RAG), raccomandazioni video e ricerca, capace di gestire i dati eterogenei ricchi delle applicazioni moderne.
Coerenza Cross-Dominio: A differenza di modelli specializzati che fluttuano nelle prestazioni tra i domini, Gemini Embedding 2 mantiene un allineamento coerente e a scopo generale, rendendolo adatto a campi diversificati che vanno dalle bioscienze alle arti culinarie.

Gli autori concludono che questo approccio unificato facilita la costruzione di sistemi agenziali di prossima generazione, fornendo l'infrastruttura essenziale per il recupero sofisticato tra dati diversi senza i vincoli di architetture specifiche per modalità.