💻 computer science

Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

Het artikel introduceert Gemini Embedding 2, een native multimodale embedding-model dat video, audio, afbeeldingen en tekst verenigt in één representatieruimte, state-of-the-art prestaties bereikt voor diverse unimodale, cross-modale en multimodale zoekopdrachten en tegelijkertijd robuuste zero-shot capaciteiten demonstreert in gespecialiseerde domeinen.

Oorspronkelijke auteurs: Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Sam

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme bibliotheek voor met boeken, films, muziekopnames en foto's. Op dit moment moet je, als je een specifiek liedje wilt vinden dat op een filmscène lijkt, of een recept dat past bij een foto van een gerecht, meestal eerst alles naar tekst vertalen. Je zou een beschrijving van de foto moeten schrijven, de audio naar woorden moeten transcriberen en dan pas zoeken. Het is alsof je probeert een specifieke kleur te vinden door alleen naar een lijst met verfnamen te kijken; je verliest het echte "gevoel" van de kleur.

Gemini Embedding 2 is Googles nieuwe tool die het spel verandert. In plaats van alles naar tekst te dwingen, creëert het één universele "taal" waarin afbeeldingen, geluiden, video's en woorden allemaal dezelfde dialect spreken.

Hieronder volgt een uiteenzetting van hoe het werkt en waarom het belangrijk is, met eenvoudige analogieën:

1. De Universele Vertaler (De Kernidee)

Denk aan de oude manier van werken als het hebben van verschillende woordenboeken voor verschillende talen. Als je een Frans boek wilde vergelijken met een Duitse film, moest je beide eerst naar het Engels vertalen, wat vaak de nuance verloor.

Gemini Embedding 2 is als een universele vertaler die "Betekenis" spreekt.

Het neemt een video, een lied, een foto of een alinea tekst en zet ze allemaal om in één type "ID-kaart" (een wiskundige vector).
Omdat ze allemaal in dezelfde "taal" zijn, kan het model direct zien dat een video van een blaffende hond en de tekst "een luidruchtige hond" gerelateerd zijn, zelfs als het ene geluid is en het andere woorden. Het hoeft het geluid niet eerst om te zetten in woorden; het begrijpt het geluid direct.

2. De "Alles-in-Één" Chef

Eerdere modellen waren als koks die maar één type voedsel goed konden koken. De ene kok was geweldig in tekst, een andere in afbeeldingen en een derde in video. Als je een maaltijd wilde met alle drie, moest je drie verschillende koks inhuren en hopen dat ze het eens werden over de smaak.

Gemini Embedding 2 is een meesterkok die elk ingrediënt aankan.

Het is getraind op een enorme mix van taken: code lezen, films begrijpen, naar audio luisteren en documenten analyseren.
Omdat het uit deze enorme variatie heeft geleerd, raakt het niet in de war als je ingrediënten mengt. Je kunt het vragen om een videoclip te vinden met een mix van een foto en een zin, en het begrijpt de combinatie perfect.

3. De "Zero-Shot" Superkracht

Meestal moet je, als je wilt dat een computer een zeer specifiek onderwerp begrijpt (zoals sterrenkunde of koken), het specifiek voor dat onderwerp leren. Het is alsof je een tutor huurt om een student alleen over het zonnestelsel te leren.

Gemini Embedding 2 is als een student die al expert is in alles.

Het artikel toont aan dat dit model ongelooflijk goed werkt op gespecialiseerde onderwerpen zoals microscopie (biologie), sterrenkunde, fine art en koken zonder extra training nodig te hebben.
Het is "out-of-the-box" klaar. Als je het een foto van een sterrenkaart of een complex recept laat zien, begrijpt het direct de context beter dan gespecialiseerde modellen die alleen op één van die dingen waren getraind.

4. De Doorbraak in Audio (Geen Transcriptie Meer)

Een van de grootste problemen bij het doorzoeken van audio is dat computers het geluid meestal eerst moeten "lezen" (spraak naar tekst transcriberen) voordat ze erin kunnen zoeken. Dit is alsof je probeert een lied te vinden door de tekst te lezen, maar als de zanger mompelt of het accent te dik is, krijgt de computer de tekst verkeerd en vind je het lied nooit.

Gemini Embedding 2 slaat de tussenpersoon over.

Het luistert direct naar het ruwe geluid. Het begrijpt de toon, het pit en de emotie van de stem, niet alleen de woorden.
Het artikel vond dat zoeken met ruwe audio veel nauwkeuriger is dan zoeken met getranscribeerde tekst. Het is alsof je de stem van een vriend herkent in een menigte zonder te horen wat ze zeggen.

5. Hoe Het Is Gebouwd (Het Trainingsrecept)

Om deze "universele vertaler" te bouwen, leerde het team het niet één voor één. Ze gebruikten een drie-staps kookproces:

Pre-Fine-Tuning: Ze gaven het model een enorme, rommelige stapel data (tekst, code, afbeeldingen) om het te laten wennen aan het idee van het "coderen" van informatie.
Fine-Tuning: Ze gaven het zeer specifieke, hoogwaardige voorbeelden van hoe dingen aan elkaar gekoppeld moeten worden (zoals het koppelen van een vraag aan een antwoord, of een video aan een beschrijving).
Model Souping: Dit is een slimme truc waarbij ze verschillende versies van het getrainde model namen en ze "mengden", alsof je verschillende batches soep mengt om de perfecte smaak te krijgen. Dit maakte het uiteindelijke model stabieler en beter in het tegelijkertijd afhandelen van verschillende soorten taken.

De Conclusie

Gemini Embedding 2 is een krachtige nieuwe motor die computers de wereld laat begrijpen zoals mensen dat doen: door alles te zien, te horen en te lezen als een samenhangend geheel. Of je nu zoekt naar een specifiek moment in een video met een tekstopdracht, een lied vindt op basis van een gefluisterde melodie, of een document opzoekt met grafieken en tekst, dit model doet het allemaal in één uniforme ruimte, vaak beter dan gespecialiseerde tools die alleen voor één van die taken zijn ontworpen.

Technische Samenvatting: Gemini Embedding 2: Een Native Multimodale Embedding-Model van Gemini

1. Probleemstelling

Bestaande multimodale embedding-modellen, zoals CLIP, ALIGN en SigLIP 2, vertrouwen doorgaans op "late-fusion"-benaderingen. Deze modellen gebruiken gekoppeld cross-modale data om modality-specifieke encoders te trainen (bijvoorbeeld afzonderlijke beeld- en tekstencoders) die worden gemapt naar een verenigde vectorruimte. Hoewel dit effectief is voor unimodale en eenvoudige cross-modale taken, kent deze architectuur een kritieke beperking: het heeft moeite met gemengde-modale invoer (bijvoorbeeld verweven sequenties van tekst, afbeeldingen en video) en slaagt er niet in om de rijke semantische interacties tussen modaliteiten volledig te benutten. Bovendien vereisen traditionele pipelines voor audio vaak een tussenliggende transcriptie (ASR) voordat embedding plaatsvindt, wat leidt tot foutpropagatie en het verlies van akoestische nuances zoals prosodie en intonatie.

Het artikel stelt dat met de opkomst van Multimodale Grootte Taalmodellen (MLLM's) het nu mogelijk is om native multimodale embeddings te creëren die cross-modale interacties diep fuseren, waardoor een enkel model willekeurige combinaties van tekst, afbeelding, audio en video kan verwerken in een coherent, verenigd representatieruimte.

2. Methodologie

Modelarchitectuur

Gemini Embedding 2 is gebouwd op het Gemini-fundamentmodel, waarbij gebruik wordt gemaakt van de native multimodale capaciteiten.

Invoerverwerking: In tegenstelling tot eerdere modellen die afzonderlijke encoders vereisen, maakt Gemini Embedding 2 gebruik van de interne capaciteiten van Gemini om ruwe invoer (afbeeldingen, video, audio, tekst) direct om te zetten in tokensequenties. Hierdoor kan het model native heterogene invoer accepteren zonder tussenliggende modaliteiten (zoals ASR voor audio).
Encoder: Het model maakt gebruik van een transformer met bidirectionele aandacht (geïnitieerd vanuit Gemini) om de tokensequentie $T$ van lengte $L$ te verwerken. Dit overwint de unidirectionele aandachtslimieten van causale LLM's en maakt contextbewust redeneren mogelijk over de volledige invoersequentie.
Pooling en Projectie: De token-embeddings worden geaggregeerd met behulp van mean pooling langs de sequentie-as. Een lineaire projectielaag schaalt het resultaat vervolgens naar de doeldimensie. Het model output 3.072-dimensionale vectoren, met ondersteuning voor Multi-Resolution Loss (MRL) om ook te optimaliseren voor 768 en 1.536 dimensies.

Trainingsdoel

Het model wordt getraind met een multi-task, multi-stadium aanpak om een verenigde embedding-ruimte te leren:

Verliesfunctie: Het primaire doel is Noise-Contrastive Estimation (NCE) met in-batch negatieven. De verliesfunctie maximaliseert de gelijkenis tussen een query $q_i$ en een positief doel $p^+_i$ , terwijl de gelijkenis met harde negatieven $p^-_i$ en andere batch-items wordt geminimaliseerd.
Taakstrings: Voor alleen-teksttaken worden voorgeschreven taakstrings (bijvoorbeeld "fact-checking") opgenomen, maar tijdens het trainen willekeurig weggelaten om robuustheid te waarborgen over modaliteiten waar dergelijke strings ontbreken.
MRL: Om flexibele embedding-dimensies te ondersteunen, wordt het verlies aangepast met Multi-Resolution Loss (MRL) over overlappende sub-dimensies.

Trainingsrecept

Het trainingsproces bestaat uit drie distincte stadia:

Pre-Fine-Tuning (PFT): Past het model aan van autoregressieve generatie naar encoding. Dit stadium maakt gebruik van grote batchgroottes en een multi-task opstelling met beeld-, tekst- en codetaken om gradiënten te stabiliseren tegenover ruisachtige invoer.
Fine-Tuning (FT): Een uitgebreid stadium dat tekst-, code-, document-, beeld-, audio- en videotaken omvat. Dit stadium maakt gebruik van query-doel-harde negatief tripletten en steekproeven uit single tasks om batches te bouwen, waarbij de sampling-rates zorgvuldig in evenwicht worden gebracht om de prestaties over alle modaliteiten te optimaliseren.
Model Soup: Om generalisatie te verbeteren, wordt het uiteindelijke model gemaakt door de parameters van individuele fine-tuning checkpoints te middelen (inclusief verschillende trainingsruns en gewogen gemiddelden).

3. Belangrijkste Bijdragen

Native Multimodale Embedding: Introduceert het eerste model dat in staat is om willekeurige combinaties van verweven tekst, afbeelding, audio en video te embedden in een enkele vectorruimte, verdergaand dan de beperkingen van late-fusion-architecturen.
Superieure Audio-Understanding: Demonstreert dat native audio-verwerking (directe encoding van ruwe audio) aanzienlijk beter presteert dan traditionele pipelines die vertrouwen op ASR-transcriptie, waarbij akoestische aanwijzingen worden behouden en foutpropagatie wordt verminderd.
Verenigd Trainingskader: Succesvol verenigt tekst-, code-, beeld-, video- en audiotraining in één enkel model, en bereikt state-of-the-art prestaties over diverse benchmarks zonder prestaties in een enkele modaliteit op te offeren.
Robuuste Zero-Shot Generalisatie: Toont sterke prestaties in gespecialiseerde domeinen (astronomie, bioscience, culinaire kunsten, beeldende kunsten) zonder domeinspecifieke fine-tuning, en vestigt het model als een betrouwbare "out-of-the-box" representatie.

4. Experimentele Resultaten

Multimodale Retrieval-benchmarks

Gemini Embedding 2 bereikt state-of-the-art (SOTA) prestaties over een breed scala aan retrieval-taken:

Beeld-tekst Retrieval: Bereikt 62,9 R@1 op MSCOCO en 89,1 R@1 op Flickr30k (Beeld-naar-tekst), en slaat modellen zoals Voyage-3.5-multimodal en Amazon Nova MME voor.
Tekst-video Retrieval: Scoort 68,8 NDCG@10 op Vatex en 68,0 NDCG@10 op MSR-VTT.
Document Retrieval: Bereikt 64,9 NDCG@10 op ViDoRe V2, wat een sterk vermogen aantoont om visuele structuren en lay-outs op pagina-niveau te begrijpen.
Algemeen: Het model leidt beslissend in unimodale beeldretrieval, tekst-naar-beeld, beeld-naar-tekst en tekst-naar-video taken.

Tekst- en Code-embedding (MMTEB)

Meertalige Prestaties: Bereikt 69,9 op de MTEB Multilingual benchmark, en presteert beter dan eerdere alleen-tekst Gemini Embedding-modellen en andere multimodale concurrenten.
Code Retrieval: Stelt een nieuwe SOTA neer op MTEB Code v1 met een score van 84,0, en presteert aanzienlijk beter dan domeinspecifieke modellen zoals voyage-code-3.

Gespecialiseerde Domeinen (Zero-Shot)

Bij zero-shot-evaluaties over gespecialiseerde gebieden presteert Gemini Embedding 2 consequent beter dan baselines:

Microscopie (MicroVQA): 79,3 R@5 (tegenover 44,4 voor CLIP-Large).
Astronomie (AstroLLaVA): 64,4 R@5 (tegenover 31,6 voor CLIP-Large).
Culinaire Kunsten (Recipe1M): 90,2 R@5 voor ingrediënten en 92,1 R@5 voor instructies.
Beeldende Kunst (ArtCap): 67,7 R@5.

Audio Retrieval (MSEB)

Op de Massive Sound Embedding Benchmark (MSEB) bereikt het model met native audio-invoer een gemiddelde mrr@10 van 73,99, vergeleken met 70,40 voor de ASR-gebaseerde baseline.

Intra-linguaal: +2,0 punt verbetering.
Cross-linguaal: +5,01 punt verbetering, wat bevestigt dat het model semantische kenmerken over talen aligneert zonder afhankelijk te zijn van fonetische grenzen van een tussenliggende transcriber.

5. Betekenis en Claims

Het artikel stelt dat Gemini Embedding 2 een transformerende stap vertegenwoordigt in general-purpose representatieleren. De betekenis hiervan ligt in:

Eliminatie van Modale Barrières: Door native verwerking van verweven invoer, maakt het complexe retrieval-paradigma's mogelijk (bijvoorbeeld het vinden van specifieke temporale gebeurtenissen in een video met behulp van gecombineerde visuele en tekstuele prompts) die eerder moeilijk of onmogelijk waren.
Efficiëntie en Robuustheid: Het verwijdert de behoefte aan kostbare, foutgevoelige tussenliggende conversies (zoals ASR) en handmatige prompt-engineering, en biedt een robuuste, verenigde latente ruimte die goed presteert in zero-shot settings.
Enterprise-klaarheid: Het model wordt gepositioneerd als een zeer betrouwbare kandidaat voor downstream enterprise-gebruiksscenario's, waaronder Retrieval-Augmented Generation (RAG), videorecommendaties en zoekopdrachten, en is in staat om de heterogene data die rijk is in moderne toepassingen te verwerken.
Cross-domeinconsistentie: In tegenstelling tot gespecialiseerde modellen die fluctueren in prestaties over domeinen, behoudt Gemini Embedding 2 een consistente, general-purpose alignering, waardoor het geschikt is voor diverse gebieden, variërend van bioscience tot de culinaire kunsten.

De auteurs concluderen dat deze verenigde aanpak de bouw van next-generation agentische systemen faciliteert, en de essentiële infrastructuur biedt voor geavanceerde cross-data retrieval zonder de beperkingen van modality-specifieke architecturen.