🤖 AI

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

이 연구는 GPT-4.1 및 Claude Sonnet 4.6과 같은 프런티어 LLM들이 Flickr30k 데이터셋에서 구글의 네이티브 멀티모달 Gemini Embedding 2와 대등한 검색 성능을 달anim하는 반면, 후자는 사전 계산 가능한 임베딩 덕분에 저지연 애플리케이션에 있어 여전히 우위에 있음을 입증한다.

원저자: Archan Dutta, Vyanktesh Kanungo

게시일 2026-08-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Archan Dutta, Vyanktesh Kanungo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한, 혼란스러운 건초더미 속에서 특정한 바늘 하나를 찾으려 한다고 상상해 보세요. 하지만 여기 반전이 있습니다. 그 바늘은 단순한 금속 조각이 아니라 하나의 '사진'이며, 당신은 그것을 단어로 설명하고 있습니다. 이것이 바로 컴퓨터 과학의 한 분야인 **멀티모달 검색(multimodal retrieval)**의 세계입니다. 기계가 이미지(보는 것)와 텍스트(읽는 것)를 연결하는 법을 배우는 영역이죠. 수년 동안 이를 수행하는 표준 방식은 두 개의 별도 '두뇌'를 구축하는 것이었습니다. 하나는 텍스트를 읽어 비밀 코드로 변환하는 두뇌이고, 다른 하나는 사진을 보고 또 다른 비밀 코드로 변환하는 두뇌입니다. 그런 다음 컴퓨터는 이 두 코드를 서로 맞추려고 시도하는데, 이는 마치 눈을 아주 세게 가늘게 뜨고 정사각형 못을 둥근 구멍에 억지로 끼워 맞추려는 것과 같습니다.

최근 이 영역에 두 가지 새로운 슈퍼 도구가 등장했습니다. 첫 번째는 **프런티어 거대 언어 모델(LLM)**입니다. 이들은 엄청나게 똑똑하고 모든 것을 알고 있는 사서라고 생각하면 됩니다. 이들은 25장의 사진과 하나의 문장을 보고, 즉시 모든 사진을 읽고 서로 비교하여 가장 적합한 것을 골라낼 수 있습니다. 두 번째는 **네이티브 멀티모달 임베딩(Natively Multimodal Embeddings)**입니다. 이들은 '이미지'와 '텍스트'라는 두 언어를 처음부터 유창하게 구사하는 만능 번역기와 같습니다. 두 개의 별도 두뇌가 서로 대화할 필요 없이, 모든 것을 하나의 통일된 비밀 코드로 변환합니다. 모두가 던지는 큰 질문은 이것입니다. 우리는 모든 사진을 읽고 서로 비교하는 초스마트 사서가 정말로 필요한가, 아니면 만능 번역기가 혼자서도 충분히 빠르고 정확하게 그 일을 해낼 수 있는가? 이 질문은 매우 중요합니다. 만약 사서가 너무 느리다면, 길을 걷는 동안 자신의 사진 갤러리를 검색하는 것과 같은 실시간 앱에는 사용할 수 없기 때문입니다.

이 논문은 Flickr30k라는 데이터셋을 사용하여 이 두 가지 접근 방식 사이의 고스란한 경주를 설정합니다. 이 데이터셋은 인간이 작성한 설명이 포함된 31,000장의 이미지를 담고 있습니다. 이 경주를 진정으로 공정하고 어렵게 만들기 위해, 연구진은 단순히 무작위 사진을 모델에 던져준 것이 아닙니다. 그들은 똑똑한 시스템조차 속이도록 설계된, 정답과 매우 유사해 보이지만 미세하게 틀린 '하드 네거티브(hard negatives)' 사진들을 만들어냈습니다. 연구진은 네 명의 헤비급 선수들을 테스트했습니다: 만능 번역기인 Gemini Embedding 2와 Amazon Nova 2를 대상으로, 초스마트 사서인 GPT-4.1 및 Claude Sonnet 4.6과 대결시켰습니다.

결과는 속도광들에게는 충격적이었지만, 정확도 중시파들에게는 안도감을 주었습니다. 정답을 맞히는 데 있어서는 만능 번역기와 초스마트 사서가 막상막하였습니다. 연구 결과, Gemini Embedding 2, GPT-4.1, 그리고 Claude Sonnet 4.6은 통계적으로 동일한 성능을 보였습니다. 그들은 너무나 비슷해서 정확도만으로는 구분할 수 없었으며, 이 모델들 모두 까다로운 시나리오에서 약 80%의 확률로 올바른 이미지를 찾아냈습니다. 이 논문은 사서들이 압도적으로 우월하다는 생각을 명시적으로 부정하며, 새로운 임베딩 모델들이 건초더미 속에서 올바른 바늘을 찾는 데 있어 그들만큼이나 날카롭다는 것을 보여주었습니다. 그러나 한 모델, Amazon Nova 2는 뒤처졌는데, 정답을 맞히는 빈도가 약 13퍼센트 포인트 낮았습니다. 이는 아마도 이 모델이 이 특정 유형의 이미지 검색보다는 일반적인 작업들을 위해 설정되었기 때문일 것입니다.

하지만 진짜 이야기는 누가 정확도 경주에서 이겼느냐가 아니라, 누가 마라톤을 완주하느냐에 있습니다. 여기서 두 접근 방식은 극명하게 갈립니다. 초스마트 사서(LLM)들은 매 질문마다 그룹 내의 모든 사진을 살펴봐야 합니다. 연구진은 이를 측정했으며, 1,000개의 쿼리를 순위를 매기는 데 GPT-4.1은 6,100초 이상, Claude Sonnet 4.6은 9,415초 이상이 걸린다는 것을 발견했습니다. 이는 몇 시간의 기다림을 의미합니다. 반면, 만능 번역기(임베딩 모델)는 다르게 작동합니다. 이들은 도서관에 발을 들이기도 전에 모든 책에 바코드를 찍어두는 것처럼, 모든 사진의 비밀 코드를 미리 계산해 둘 수 있습니다. 일단 이 '사전 계산(pre-computation)'이 완료되면, 1,000개의 쿼리에 대한 적절한 사진을 찾는 데 걸리는 시간은 2초 미만이었습니다.

저자들은 초스마트 사서들이 추론과 이미지 간의 상호 비교에는 뛰어나지만, 즉각적인 실행이 필요한 모든 일에는 만능 번역기가 명백한 승자라고 결론짓습니다. 만약 사용자가 눈 깜짝할 사이에 방대한 이미지 컬렉션을 검색해야 하는 앱을 만들고 있다면, 임베딩 모델이 더 나은 선택입니다. 사서들은 사진 컬렉션이 매초 바뀌거나 규모가 매우 작아서 사전 계산 단계가 무용지물인 경우에 여전히 유용할 수 있지만, 속도와 규모의 측면에서는 새로운 임베딩 모델이 거인들의 정확도에 필적하면서도 천 배 더 빠르게 달릴 수 있음을 입증했습니다.

기술 요약: 하드 네거티브(Hard-Negative) 텍스트-이미지 검색을 위한 프런티어 LLM vs. 네이티브 멀티모달 임베딩

문제 정의

텍스트-이미지 검색은 자연어 쿼리에 대한 관련성 순으로 이미지를 순위 매기는 작업으로, 전통적으로 대조 학습(contrastive learning)을 통해 시각적 및 텍스트 표현을 정렬하는 듀얼 인코더 모델(예: CLIP)에 의존해 왔습니다. 최근 두 가지 발전이 이 패러다임에 도전하고 있습니다:

프런티어 대규모 언어 모델 (LLMs): GPT-4.1 또는 Claude Sonnet 4.6과 같은 모델은 강력한 시각적 능력을 갖추고 있어, 모든 후보 이미지와 쿼리를 단일 프롬프트에 제시하여 직접적인 제로샷 순위 매기기를 수행하는 새로운 검색 패러다임을 가능하게 합니다.
네이티브 멀티모달 임베딩: Google의 Gemini Embedding 2 (GE2) 및 Amazon Nova 2와 같은 모델은 텍스트, 이미지, 비디오, 오디오를 하나의 공유 임베딩 공간으로 투영하며, 듀얼 인코더 구조를 넘어섭니다.

두 접근 방식 모두 유망하지만, 특히 까다로운 조건하에서의 검색 정확도와 **순위 매기기 지연 시간(latency)**에 대한 상대적 성능은 아직 규명되지 않았습니다. 본 연구는 네이티브 멀티모달 임베딩과 프런티어 LLM을 제로샷 직접 시각 랭커(direct visual ranker)로서 비교함으로써 이 간극을 메우고자 합니다.

방법론

데이터셋 및 후보군 구성

본 연구는 31,000개의 이미지와 각 이미지당 5개의 독립적인 캡션을 포함하는 데이터셋인 Flickr30k(Young et al., 2014)를 활용합니다. 비사소한(non-trivial) 평가 과제를 만들기 위해 저자들은 다음과 같이 하드 네거티브 후보 세트를 구성했습니다:

풀(Pool): 5,000개의 이미지를 샘플링하였으며, 각 이미지는 5개의 캡션을 가집니다.
쿼리 선택: 1,000개의 캡션을 무작위로 선택하여 쿼리로 사용했습니다.
하드 네거티브: 각 쿼리에 대해 25개의 이미지로 구성된 후보 세트를 형성했습니다: 정답(ground-truth) 이미지 1개와 24개의 "하드 네거티브"가 포함됩니다.
선택 로직: 하드 네거티브는 이미지 공간의 유사성이 아닌 캡션 공간의 유사성을 기준으로 선택되었습니다. sentence-transformers/all-mpnet-base-v2를 사용하여, 쿼리 캡션과 의미적으로 가장 유사한 24개의 캡션(쿼리 자신 제외)을 식별했습니다. 이 캡션들에 대응하는 이미지들이 네거티브 세트를 형성했습니다. 이 방식은 쿼리 캡션만으로는 이미지를 구별하기 어렵게 만들어 모호성을 높입니다.

평가 대상 시스템

동일한 1,000개의 쿼리와 동일한 후보 세트에 대해 네 가지 시스템을 평가했습니다:

Gemini Embedding 2 (GE2): 네이티브 멀티모달 임베딩 모델입니다. 쿼리와 이미지는 특정 태스크 타입(RETRIEVAL_QUERY 및 RETRIEVAL_DOCUMENT)을 사용하여 별도로 임베딩되었으며, 후보들은 코사인 유사도에 의해 순위가 매겨졌습니다.
Amazon Nova 2: 멀티모달 임베딩 모델입니다. GE2와 유사하지만, 임베딩 목적으로 GENERIC_INDEX를 사용했습니다.
GPT-4.1: 프런티어 LLM입니다. 쿼리 캡션과 25개의 후보 이미지가 모두 단일 제로샷 프롬프트에 제시되었습니다. 모델은 순위가 매겨진 이미지 ID 리스트를 반환하도록 지시받았습니다.
Claude Sonnet 4.6: 프런티어 LLM입니다. GPT-4.1과 동일한 프롬프트 및 절차를 사용하여 평가되었습니다.

LLM의 위치 편향(position bias)을 완화하기 위해, 각 쿼리에 대한 프롬프트 내 이미지 순서는 무작위로 섞었습니다.

평가 지표

성능은 다음 지표를 사용하여 측정되었습니다:

Recall@1 (R@1): 정답 이미지가 1위로 랭크된 쿼리의 비율.
Recall@3 (R@3): 정답 이미지가 상위 3위 안에 포함된 쿼리의 비율.
평균 역순위 (Mean Reciprocal Rank, MRR): 정답 이미지의 역순위 평균값.
지연 시간 (Latency): 1,000개의 쿼리를 랭킹하는 데 걸린 실행 시간으로, 엔드-투-엔드 처리와 사전 계산된 임베딩을 사용하는 시나리오를 구분했습니다.

통계적 유의성은 R@1에 대해서는 McNemar 테스트를, MRR에 대해서는 Wilcoxon 부호 순위 테스트(Wilcoxon signed-rank test)를 사용하였으며, Bonferroni 보정을 적용했습니다.

주요 결과

검색 정확도

최상위 성능 모델: Gemini Embedding 2, GPT-4.1, Claude Sonnet 4.6은 세 가지 지표(R@1, R@3, MRR) 모두에서 통계적으로 구별할 수 없는 성능을 보였습니다.
- R@1 점수: GE2 (0.804), Claude Sonnet 4.6 (0.796), GPT-4.1 (0.789).
- 유의성: 쌍별 테스트 결과, 이 세 시스템 간에는 유의미한 차이가 없었습니다 (모두 $p > 0.09$ ).
저성능 모델: Amazon Nova 2는 R@1 0.673을 기록하며 유의미하게 뒤처졌습니다. 통계 테스트 결과, 이 모델은 다른 모든 시스템과 유의미한 차이를 보였습니다 ( $p < 0.0001$ ). 저자들은 이 격차를 임베딩 목적으로 GENERIC_INDEX를 사용했기 때문으로 보고 있으며, 이는 특정 텍스트-이미지 매칭보다는 일반적인 벡터 데이터베이스 구축에 최적화되어 있기 때문입니다.

지연 시간 및 효율성

사전 계산의 이점: 임베딩 모델(GE2 및 Nova 2)은 이미지 임베딩을 사전 계산할 수 있습니다. 일단 사전 계산되면, 1,000개의 쿼리와 각 25개의 후보를 랭킹하는 데 2초 미만이 소요되었습니다 (GE2 0.66초, Nova 2 1.16초).
LLM 지연 시간: LLM은 사전 계산 없이 엔드-투-엔드로 쿼리를 처리합니다. 동일한 워크로드를 랭킹하는 데 GPT-4.1은 6,100초, Claude Sonnet 4.6은 9,415초가 소요되었습니다.
결론: 임베딩 모델은 고정된 이미지 갤러리가 포함된 저지연 애플리케이션에서 약 4개 차수(orders of magnitude)의 속도 향상을 제공합니다.

기여 및 의의

본 논문은 다음과 같은 기여를 주장합니다:

첫 직접 비교: 본 연구는 특정 태스크를 위한 파인튜닝이나 중간 단계의 캡션 생성 없이, 하드 네거티브 데이터셋(Flickr30k)에서 네이티브 멀티모달 임베딩과 프런티어 LLM을 제로샷 직접 시각 랭커로서 직접 비교한 첫 사례를 제공합니다.
정확도 동등성: 본 연구는 전용 멀티모달 임베딩 모델(특히 GE2)과 프런티어 LLM(GPT-4.1, Claude Sonnet 4.6)이 하드 네거티브 후보에 대해 통계적으로 구별할 수 없는 검색 정확도를 달성함을 실증적으로 보여줍니다. 이는 LLM이 전문화된 임베딩 공간의 성능과 일치하는 제로샷 랭커 역할을 효과적으로 수행할 수 있음을 시사합니다.
지연 시간 트레이드오프: 본 논문은 중요한 실무적 차이점을 강조합니다. 정확도는 비슷하지만, 임베딩 모델은 사전 계산 능력을 통해 저지연 애플리케이션에서 압도적으로 우수합니다. 반면, LLM은 사전 계산이 불가능한 빈번하게 업데이트되는 갤러리나 소규모 세트에서 선호될 수 있습니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

모호한 정답(Ground Truth): 하드 네거티브 세트에서는 한 이미지의 캡션이 다른 이미지도 적절히 설명할 수 있어 모호성이 발생할 수 있습니다. 그러나 이는 모든 시스템에 동일하게 영향을 미칩니다.
캡션 공간의 난이도: 하드 네거티브가 캡션 공간에서 정의되었으므로, 밀집 벡터 표현에 최적화된 임베딩 기반 방식에 본질적으로 유리할 수 있습니다.
추론 조건: LLM은 교차 후보 추론(25개의 이미지를 한 번에 봄)의 이점을 갖는 반면, 임베딩 모델은 이미지를 독립적으로 점수화합니다.
독점적 접근: 모든 시스템은 유료 API를 통해 접속되었으며, 실험 간 또는 재현 시도 시 모델 가중치가 변경될 수 있습니다.
범위: 본 평가는 25개 이미지 후보 세트를 사용하므로, 전체 갤러리 검색보다는 랭킹 성능을 측정하며, 이것이 대규모 환경으로 일반화될지는 미지수입니다.

결론

본 연구는 프런티어 LLM이 하드 네거티브 텍스트-이미지 검색 작업에서 네이티브 멀티모달 임베딩 모델의 검색 정확도와 일치할 수 있다는 결론을 내립니다. 그러나 시스템의 선택은 애플리케이션의 제약 조건에 달려 있습니다. 임베딩 모델은 고정된 갤러리를 가진 저지연 대규모 검색에 더 적합하며, LLM은 사전 계산이 불가능한 동적 또는 소규모 시나리오에서 유효한 제로샷 대안이 될 수 있습니다.