💻 computer science

Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

이 논문은 비디오, 오디오, 이미지, 텍스트를 단일 표현 공간으로 통합하는 네이티브 멀티모달 임베딩 모델인 Gemini Embedding 2 를 소개하며, 다양한 단일 모드, 교차 모드, 멀티모달 검색 작업에서 최첨단 성능을 달성하면서도 전문 분야에서 강력한 제로샷 능력을 입증합니다.

원저자: Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Sam

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 도서관이 있다고 상상해 보세요. 그곳에는 책, 영화, 음악 녹음, 그리고 사진들이 가득합니다. 지금 당장 영화 장면과 비슷한 특정 노래나, 요리 사진과 일치하는 레시피를 찾고 싶다면, 보통 모든 것을 먼저 텍스트로 변환해야 합니다. 사진에 대한 설명을 작성하고, 오디오를 글자로 변환한 뒤 검색해야 하죠. 이는 페인트 이름 목록만 보고 특정 색상을 찾는 것과 같습니다. 색상의 실제 '느낌'을 잃어버리게 되는 것이죠.

Gemini Embedding 2는 게임의 판을 바꾸는 구글의 새로운 도구입니다. 모든 것을 텍스트로 강제로 변환하는 대신, 그림, 소리, 비디오, 단어가 모두 같은 방언으로 말하는 단일하고 보편적인 '언어'를 만들어냅니다.

간단한 비유를 통해 이것이 어떻게 작동하고 왜 중요한지 살펴보겠습니다.

1. 보편적 번역기 (핵심 아이디어)

과거의 방식을 서로 다른 언어를 위한 서로 다른 사전들을 가지고 있는 것으로 생각해보세요. 프랑스어 책을 독일어 영화와 비교하고 싶다면, 둘 다 먼저 영어로 번역해야 했습니다. 이는 종종 뉘앙스를 잃게 만들었습니다.

Gemini Embedding 2는 '의미'를 말하는 보편적 번역기와 같습니다.

비디오, 노래, 사진, 또는 텍스트 단락을 하나의 '신분증'(수학적 벡터) 유형으로 변환합니다.
모두 같은 '언어'로 표현되기 때문에, 모델은 개가 짖는 비디오와 "시끄러운 개"라는 텍스트가 관련이 있음을 즉시 파악할 수 있습니다. 하나는 소리이고 다른 하나는 단어이지만 말입니다. 소리를 먼저 단어로 변환할 필요 없이 소리를 직접 이해합니다.

2. '올인원' 셰프

이전 모델들은 한 가지 유형의 음식만 잘 요리할 수 있는 셰프들 같았습니다. 한 셰프는 텍스트를, 다른 셰프는 이미지를, 또 다른 셰프는 비디오를 잘 다뤘습니다. 세 가지가 모두 포함된 식사를 원한다면 세 명의 셰프를 고용해야 했고, 그들이 맛에 대해 동의하기를 바랄 수밖에 없었습니다.

Gemini Embedding 2는 어떤 재료든 다룰 수 있는 마스터 셰프입니다.

코드 읽기, 영화 이해, 오디오 청취, 문서 분석 등 거대한 작업 혼합물로 훈련되었습니다.
이 방대한 다양성에서 배웠기 때문에 재료를 섞을 때 혼란을 겪지 않습니다. 사진과 문장을 섞어 비디오 클립을 찾아달라고 요청해도 조합을 완벽하게 이해합니다.

3. '제로샷' 초능력

보통 컴퓨터에게 천문학이나 요리처럼 매우 구체적인 주제를 이해하게 하려면, 그 주제에 대해 특별히 가르쳐야 합니다. 이는 학생에게 태양계만 가르치기 위해 개인 교사를 고용하는 것과 같습니다.

Gemini Embedding 2는 이미 모든 것에 전문가인 학생과 같습니다.

해당 논문은 이 모델이 추가 훈련 없이 현미경 관찰 (생물학), 천문학, 미술, 요리와 같은 전문 분야에서 놀라울 정도로 잘 작동한다고 보여줍니다.
이는 '박스 밖에서 바로 사용 가능한' 상태입니다. 별자리 지도나 복잡한 레시피 사진을 보여주면, 그 중 하나에만 훈련된 전문 모델들보다 즉시 맥락을 더 잘 이해합니다.

4. 오디오의 돌파구 (전사 더 이상 불필요)

오디오 검색의 가장 큰 문제 중 하나는 컴퓨터가 보통 검색할 수 있기 전에 오디오를 먼저 '읽어야'(음성을 텍스트로 전사) 한다는 점입니다. 이는 가사를 읽어서 노래를 찾는 것과 비슷하지만, 가수가 중얼거리거나 억세가 강하면 컴퓨터가 가사를 잘못 알아듣고 결국 노래를 찾지 못하게 됩니다.

Gemini Embedding 2는 중개자를 건너뜁니다.

원본 소리를 직접 듣습니다. 단어뿐만 아니라 목소리의 톤, 피치, 감정을 이해합니다.
논문은 전사된 텍스트로 검색하는 것보다 원본 오디오로 검색하는 것이 훨씬 정확하다고 밝혔습니다. 이는 그들이 무엇을 말하는지 들을 필요 없이 군중 속에서 친구의 목소리를 알아차리는 것과 같습니다.

5. 구축 방식 (훈련 레시피)

이 '보편적 번역기'를 만들기 위해 팀은 한 번에 한 가지 것만 가르치지 않았습니다. 그들은 세 단계의 요리 과정을 사용했습니다:

사전 미세 조정 (Pre-Fine-Tuning): 정보 '인코딩' 개념에 익숙해지도록 텍스트, 코드, 이미지 등 거대하고 지저분한 데이터 더미를 모델에 제공했습니다.
미세 조정 (Fine-Tuning): 질문과 답변을 매칭하거나 비디오와 설명을 매칭하는 것과 같이, 항목들을 어떻게 연결할지에 대한 매우 구체적이고 고품질의 예시들을 제공했습니다.
모델 수프 (Model Souping): 이는 여러 다른 버전의 훈련된 모델을 가져와 '섞는' 교묘한 기술로, 완벽한 맛을 얻기 위해 다른 수프 배치를 섞는 것과 같습니다. 이로 인해 최종 모델이 더 안정적이 되었고 동시에 다양한 유형의 작업을 처리하는 데 더 능숙해졌습니다.

결론

Gemini Embedding 2는 컴퓨터가 세상을 인간처럼 이해하게 해주는 강력한 새로운 엔진입니다. 즉, 모든 것을 연결된 전체로 보고, 듣고, 읽는 방식입니다. 텍스트 설명을 사용하여 비디오의 특정 순간을 검색하거나, 흥얼거리는 멜로디를 기반으로 노래를 찾거나, 차트와 텍스트가 포함된 문서를 찾을 때, 이 모델은 이러한 작업 중 하나에만 설계된 전문 도구들보다 종종 더 잘 수행하며 하나의 통합된 공간에서 모든 것을 처리합니다.

기술 요약: Gemini Embedding 2: Gemini 의 네이티브 멀티모달 임베딩 모델

1. 문제 제기

기존의 멀티모달 임베딩 모델들 (예: CLIP, ALIGN, SigLIP 2) 은 일반적으로 "후기 융합 (late-fusion)" 접근법에 의존합니다. 이러한 모델들은 모달리티별 인코더 (예: 별도의 이미지 및 텍스트 인코더) 를 훈련시켜 통합된 벡터 공간에 매핑하기 위해 쌍을 이룬 교차 모달 데이터를 사용합니다. 단일 모달 및 간단한 교차 모달 작업에는 효과적이지만, 이 아키텍처에는 치명적인 한계가 있습니다: 즉, 텍스트, 이미지, 비디오가 교차된 혼합 모달 입력을 처리하는 데 어려움을 겪으며, 모달리티 간의 풍부한 의미 상호작용을 완전히 활용하지 못합니다. 또한, 오디오에 대한 전통적인 파이프라인은 임베딩 전에 중간 전사 (ASR) 를 요구하는 경우가 많아, 오류 전파를 초래하고 억양 및 억양과 같은 음향적 뉘앙스를 손실시킵니다.

본 논문은 멀티모달 대규모 언어 모델 (MLLM) 의 등장으로 텍스트, 이미지, 오디오, 비디오의 임의의 조합을 일관되고 통합된 표현 공간에서 처리할 수 있는 네이티브 멀티모달 임베딩을 생성하여 교차 모달 상호작용을 심층적으로 융합하는 것이 가능해졌다고 주장합니다.

2. 방법론

모델 아키텍처

Gemini Embedding 2 는 네이티브 멀티모달 기능을 활용하는 Gemini 기반 모델 위에 구축되었습니다.

입력 처리: 이전 모델들이 별도의 인코더를 요구하는 것과 달리, Gemini Embedding 2 는 Gemini 의 내부 기능을 활용하여 원시 입력 (이미지, 비디오, 오디오, 텍스트) 을 직접 토큰 시퀀스로 변환합니다. 이를 통해 모델은 오디오의 경우 ASR 과 같은 중간 모달리티 없이 이질적인 입력을 네이티브로 수용할 수 있습니다.
인코더: 이 모델은 $L$ 길이의 토큰 시퀀스 $T$ 를 처리하기 위해 Gemini 에서 초기화된 **양방향 주의 (bidirectional attention)**를 갖춘 트랜스포머를 사용합니다. 이는 인과적 LLM 의 단방향 주의 한계를 극복하여 전체 입력 시퀀스 전반에 걸쳐 문맥 인식 추론을 가능하게 합니다.
풀링 및 투영: 토큰 임베딩은 시퀀스 축을 따라 **평균 풀링 (mean pooling)**을 사용하여 집계됩니다. 그런 다음 선형 투영 계층이 결과를 목표 차원으로 스케일링합니다. 모델은 3,072 차원 벡터를 출력하며, 768 및 1,536 차원도 최적화하기 위해 다중 해상도 손실 (MRL) 을 지원합니다.

훈련 목표

모델은 통합된 임베딩 공간을 학습하기 위해 다중 작업, 다중 단계 접근법을 사용하여 훈련됩니다:

손실 함수: 주요 목표는 인배치 음수 (in-batch negatives) 를 사용한 **노이즈 대비 추정 (NCE)**입니다. 손실 함수는 쿼리 $q_i$ 와 양의 타겟 $p^+_i$ 간의 유사성을 최대화하면서 하드 음수 $p^-_i$ 및 기타 배치 항목과의 유사성을 최소화합니다.
작업 문자열: 텍스트 전용 작업의 경우, 지정된 작업 문자열 (예: "팩트 체킹") 이 포함되지만, 이러한 문자열이 없는 모달리티 전반에 걸쳐 견고성을 보장하기 위해 훈련 중 무작위로 제거됩니다.
MRL: 유연한 임베딩 차원을 지원하기 위해, 손실은 겹치는 부분 차원 전반에 걸쳐 다중 해상도 손실 (MRL) 을 사용하여 적응됩니다.

훈련 레시피

훈련 과정은 세 가지 명확한 단계로 구성됩니다:

프리-파인튜닝 (PFT): 자동 회귀 생성에서 인코딩으로 모델을 적응시킵니다. 이 단계는 이미지, 텍스트, 코드 작업을 포함한 다중 작업 설정과 큰 배치 크기를 사용하여 노이즈가 있는 입력에 대한 그래디언트를 안정화합니다.
파인튜닝 (FT): 텍스트, 코드, 문서, 이미지, 오디오, 비디오 작업을 포괄하는 종합적인 단계입니다. 이 단계는 쿼리 - 타겟 - 하드 음수 삼중항과 단일 작업에서 샘플링된 데이터를 배치로 구성하며, 모든 모달리티 전반의 성능을 최적화하기 위해 샘플링률을 신중하게 균형을 맞춥니다.
모델 수프 (Model Soup): 일반화를 강화하기 위해 최종 모델은 개별 파인튜닝 체크포인트 (서로 다른 훈련 실행 및 가중 평균 포함) 의 매개변수를 평균화하여 생성됩니다.

3. 주요 기여

네이티브 멀티모달 임베딩: 후기 융합 아키텍처의 한계를 넘어, 교차된 텍스트, 이미지, 오디오, 비디오의 임의의 조합을 단일 벡터 공간에 임베딩할 수 있는 최초의 모델을 도입합니다.
우수한 오디오 이해: ASR 전사에 의존하는 전통적인 파이프라인보다 네이티브 오디오 처리(원시 오디오 직접 인코딩) 가 음향적 단서를 보존하고 오류 전파를 줄여 훨씬 더 뛰어난 성능을 발휘함을 입증합니다.
통합 훈련 프레임워크: 텍스트, 코드, 이미지, 비디오, 오디오 훈련을 단일 모델로 성공적으로 통합하여 어떤 단일 모달리티의 성능을 희생하지 않고 다양한 벤치마크에서 최첨단 (SOTA) 성능을 달성합니다.
견고한 제로샷 일반화: 도메인별 파인튜닝 없이도 천문학, 생명과학, 요리 예술, 미술과 같은 전문 분야에서 강력한 성능을 보여주어, 모델을 신뢰할 수 있는 "아웃 오브 더 박스" 표현으로 자리매김합니다.

4. 실험 결과

멀티모달 검색 벤치마크

Gemini Embedding 2 는 광범위한 검색 작업에서 최첨단 (SOTA) 성능을 달성합니다:

이미지 - 텍스트 검색: MSCOCO 에서 62.9 R@1, Flickr30k(Image-to-Text) 에서 89.1 R@1을 기록하여 Voyage-3.5-multimodal 및 Amazon Nova MME 와 같은 모델을 능가합니다.
텍스트 - 비디오 검색: Vatex 에서 68.8 NDCG@10, MSR-VTT 에서 68.0 NDCG@10을 기록합니다.
문서 검색: ViDoRe V2 에서 64.9 NDCG@10을 기록하여 페이지 수준의 시각적 구조와 레이아웃 이해 능력을 입증합니다.
전체: 이 모델은 단일 모달 이미지 검색, 텍스트 - 이미지, 이미지 - 텍스트, 텍스트 - 비디오 작업에서 압도적으로 선도합니다.

텍스트 및 코드 임베딩 (MMTEB)

다국어 성능: MTEB Multilingual 벤치마크에서 69.9를 기록하여 이전 텍스트 전용 Gemini 임베딩 모델 및 기타 멀티모달 경쟁자들을 능가합니다.
코드 검색: MTEB Code v1에서 84.0의 점수로 새로운 SOTA 를 설정하여 voyage-code-3 과 같은 도메인 특화 모델을 크게 능가합니다.

전문 분야 (제로샷)

전문 분야 전반의 제로샷 평가에서 Gemini Embedding 2 는 일관되게 베이스라인을 능가합니다:

현미경 (MicroVQA): 79.3 R@5 (CLIP-Large 의 44.4 대비).
천문학 (AstroLLaVA): 64.4 R@5 (CLIP-Large 의 31.6 대비).
요리 예술 (Recipe1M): 재료는 90.2 R@5, 지침은 92.1 R@5.
미술 (ArtCap): 67.7 R@5.

오디오 검색 (MSEB)

Massive Sound Embedding Benchmark(MSEB) 에서 네이티브 오디오 입력을 사용하는 모델은 평균 mrr@10 73.99를 달성하여, ASR 기반 베이스라인의 70.40보다 우수합니다.

동일 언어 내: 2.0 점 향상.
교차 언어: 5.01 점 향상. 이는 중간 전사자의 음운적 경계에 의존하지 않고 언어 간 의미 특징을 정렬함을 입증합니다.

5. 중요성 및 주장

본 논문은 Gemini Embedding 2 가 범용 표현 학습에서 변혁적인 단계를 나타낸다고 주장합니다. 그 중요성은 다음과 같습니다:

모달리티 장벽 제거: 교차된 입력을 네이티브로 처리함으로써, 시각 및 텍스트 프롬프트를 결합하여 비디오 내 특정 시간적 이벤트를 찾는 등 이전에 어렵거나 불가능했던 복잡한 검색 패러다임을 가능하게 합니다.
효율성 및 견고성: ASR 과 같은 비용이 많이 들고 오류가 발생하기 쉬운 중간 변환과 수동 프롬프트 엔지니어링의 필요성을 제거하여, 제로샷 설정에서 잘 작동하는 견고하고 통합된 잠재 공간을 제공합니다.
기업 준비성: 이 모델은 현대 애플리케이션에 풍부한 이질적인 데이터를 처리할 수 있는 검색 증강 생성 (RAG), 비디오 추천, 검색 등 다운스트림 기업 사용 사례에 매우 신뢰할 수 있는 후보로 위치합니다.
교차 도메인 일관성: 도메인 전반에서 성능이 변동하는 전문 모델과 달리, Gemini Embedding 2 는 일관된 범용 정렬을 유지하여 생명과학부터 요리 예술에 이르는 다양한 분야에 적합합니다.

저자들은 이 통합된 접근 방식이 모달리티별 아키텍처의 제약 없이 정교한 교차 데이터 검색을 위한 필수 인프라를 제공함으로써 차세대 에이전트 시스템 구축을 촉진한다고 결론지었습니다.