💻 computer science

ReLoop-UME: Recurrent Depth with Learnable Retrieval Registers for Universal Multimodal Embedding

LoLoop-UME는 초기 레이어를 한 번만 실행하고, 학습 가능한 검색 레지스터를 통해 깊이에 따라 증거를 축적하는 파라미터 공유 블록을 재귀적으로 재사용하며, 마지막 루프 이후에만 최종 매핑 레이어를 적용함으로써 기존 방식보다 우수한 속도와 정확도를 달성하여 검색 성능과 효율성을 향상시키는 새로운 범용 멀티모달 임베딩 아키텍처를 도입한다.

원저자: Shijie Wang, Xiangzhao Hao, Yueti Li, Guangyu Cao, Xinyu Tang, Haiyun Guo

게시일 2026-08-03

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shijie Wang, Xiangzhao Hao, Yueti Li, Guangyu Cao, Xinyu Tang, Haiyun Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 혼란스러운 건초더미 속에서 특정한 바늘 하나를 찾으려 한다고 상상해 보세요. 하지만 이 건초더미는 평범한 것이 아닙니다. '멀티모달(multimodal)' 건초더미인데, 이는 건초가 텍스트로 만들어지고, 바늘은 사진이며, 때로는 전체가 비디오로 이루어져 있음을 의미합니다. 인공지능의 세계에서 이것은 **범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)**이라고 불립니다. 이것을 아주 똑똑한 사서라고 생각해보세요. 이 사서는 글로 된 질문, 고양이 사진, 또는 영화 클립을 받아서 즉시 하나의 비밀스러운 '유사성의 언어'로 번역할 수 있습니다. 일단 모든 것이 이 비밀 코드로 번로되면, 사서는 겉모습이 완전히 다르더라도 어떤 항목들이 서로 연관되어 있는지 즉각적으로 알려줄 수 있습니다.

오랫동안 이러한 AI 사서들은 단거리 선수처럼 작동했습니다. 입력을 한 번 보고, 뇌 속을 단 한 바퀴만 돌린 뒤, 바로 답을 내놓는 방식이었습니다. 이는 빨랐지만, 때로는 정밀도가 떨어졌습니다. 특히 까다로운 질문의 경우 더욱 그랬습니다. 최근 일부 연구자들은 이 사서에게 답을 내놓기 전에 단계별로 긴 추론 노트를 작성하도록 강제함으로써 사서가 '더 깊이 생각하게' 만들려고 시도했습니다. 이 방법은 도움이 되긴 했지만, 마치 책 한 권을 찾기 위해 사서에게 소설 한 권을 쓰라고 요구하는 것과 같아서 시간이 너무 오래 걸리고 속도를 늦추었습니다. 큰 의문은 이것이었습니다. 사서가 소설을 쓰지 않고도 더 깊게 생각하게 만들 방법은 없을까?

여기에 ReLoop-UME라는 새로운 접근법이 등장했습니다. 이 방식은 답이 더 많이 쓰는 것에 있는 것이 아니라, 적절한 부분을 '다시 읽는 것'에 있다고 제안합니다. 연구자들은 AI의 뇌가 모든 층(layer)이 동일한 일을 수행하는 직선형으로 작동하지 않는다는 것을 발견했습니다. 대신, 그들은 초기 층은 '맥락 설정자'(분위기 파악)이고, 중간 층은 '탐정 작업'(단서 찾기)이며, 마지막 층은 단순히 '포장'(최종 라벨 작성) 역할을 한다는 것을 발견했습니다.

이 논문은 영리한 기술을 제안합니다. AI에게 긴 추론 노트를 쓰게 하는 대신(느리고 지저분한 방식), AI가 뇌의 '탐정 작업' 섹션을 여러 번 **루프(loop, 반복)**하며 통과하도록 하는 것입니다. AI가 첫 번째 루프에서 찾은 것을 잊어버리지 않도록, 그들은 **학습 가능한 검색 레지스터(Learnable Retrieval Registers)**라는 특별한 도구를 추가했습니다. 이것을 AI가 자신의 이마에 붙일 수 있는 포스트잇이라고 상상해 보세요. AI가 탐정 섹션을 루프할 때마다, 이 포스트-잇에 새로운 단서를 업데이트하여, 새로운 단어를 생성하거나 속도를 늦추지 않고도 증거를 축적하게 합니다.

결과는 인상적입니다. 이미지, 비디오, 문서를 포함한 수천 개의 과제를 포함하는 거대한 테스트인 MMEB-V2에서, 이 새로운 방식은 이전 모델들보다 일관되게 더 나은 매칭을 찾아냈습니다. 이 방식은 생각을 글로 써내려가려 했던 이전의 '추론' 모델들보다 44.9배 더 빨랐으며, 또 다른 빠른 모델보다 1.5배 더 빨랐음에도 불구하고 여전히 더 정확했습니다. 연구자들은 추가적인 계산 능력을 정확히 '탐정 작업'이 일어나는 곳에 집중시키고, 그 포스트잇을 사용하여 단서를 보유하게 함으로써, 더 똑똑하면서도 현저히 빠른 시스템을 만들었다고 제안합니다. 이것은 탐정에게 일기를 쓰라고 강요하는 대신, 돋보기와 메모장을 쥐여주는 것과 같습니다.

기술 요약: ReLoop-UME

문제 정의

범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 이질적인 입력값(텍스트, 이미지, 비디오, 시각적 문서)을 공유 임베딩 공간으로 매핑하는 것을 목표로 합니다. 기존의 접근 방식은 일반적으로 다음 두 가지 범주로 나뉩니다:

단일 순방향 인코딩(Single Forward Encoding): VLM2Vec 및 GME와 같은 모델은 한 번의 패스(pass)로 임베딩을 생성합니다. 효율적이기는 하지만, 고정된 연산량은 복잡한 쿼리 의도나 미세한 교차 모달 매칭을 처리하기에 불충분할 수 있습니다.
토큰 확장 추론(Token-Expanded Reasoning): 최근의 방법들(예: UME-R1, TRACE, PLUME)은 명시적인 추론 토큰(Chain-of-Thought)이나 잠재적 자기회귀 상태를 통해 추가적인 연산을 도입합니다. 이러한 방식은 검색 정확도를 향상시키지만, 다음과 같은 상당한 단점이 있습니다:
- 지연 시간(Latency): 직렬 생성(Serial generation)은 추론 시간을 증가시킵니다.
- 의존성(Dependency): 최종 임베딩이 생성된 중간 상태에 의존하므로, 오류나 환각(hallucination)을 유발할 수 있습니다.
- 자원 증가(Resource Growth): 이러한 방식은 토큰 시퀀스 길이를 확장하여 메모리와 연산 오버헤드를 증가시킵니다.

저자들이 제기하는 핵심 질문은 다음과 같습니다: 토큰 워크스페이스를 고정한 상태에서 모델의 깊이(depth)를 따라 유용한 연산을 확장할 수 있는가?

방법론: ReLoop-UME

저자들은 토큰 시퀀스를 확장하는 대신 모델 깊이의 특정 레이어에 추가 연산을 할당하는 프레임워크인 ReLoop-UME를 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 구축되었습니다:

1. 검색 형성의 레이어별 분석 (Layer-wise Analysis of Retrieval Formation)

독립적으로 훈련된 단일 순방향 UME 모델을 통한 분석을 통해, 저자들은 레이어 전반에 걸쳐 검색 변별력이 비균일하게 진행됨을 관찰했습니다:

접두사 이해 단계 (Prefix Understanding Stage - 초기 레이어): 멀티모달 입력을 문맥화합니다. 이때 양성(positive) 및 음성(negative) 유사도는 여전히 얽혀 있는 상태입니다.
검색 형성 단계 (Retrieval Formation Stage - 중간-후기 레이어): 양성 쿼리-후보 유사도와 음성 쿼리-후보 유사도 사이의 격차가 가장 크게 벌어지는 연속적인 구간입니다. 이곳이 검색 변별적 특징이 형성되는 지점입니다.
임베딩 매핑 단계 (Embedding Mapping Stage - 최종 레이어): 형성된 특징을 최종 출력 임베딩 공간으로 매핑합니다.

이 분석은 검색 형성 단계를 추가적인 깊이를 부여할 최적의 타겟으로 식별합니다.

2. 국소적 재귀적 정제 (Localized Recurrent Refinement)

새로운 토큰을 생성하는 대신, ReLoop-UME는 모델을 세 단계로 실행합니다:

Prefix: 입력이 초기 "이해(Understanding)" 레이어를 한 번 통과합니다.
Recurrent Block: 그 후 입력은 "검색 형성" 레이어에 해당하는 파라미터 공유(parameter-shared) 블록을 통과합니다. 이 블록은 $T$ 번(재귀적 깊이) 적용됩니다.
Suffix: 마지막 루프를 거친 후, 정제된 은닉 상태(hidden states)는 "매핑(Mapping)" 레이어를 통과하여 최종 임베딩을 생성합니다.

이 접근 방식은 백본 파라미터를 복제하거나 토큰 시퀀스를 확장하지 않고, 쿼리-후보 간의 구별을 확립하는 데 책임이 있는 레이어에 연산을 집중시킵니다.

3. 학습 가능한 검색 레지스터 (Learnable Retrieval Registers)

토큰 시퀀스를 확장하지 않고 재귀 루프 전반에 걸쳐 상태를 관리하기 위해, 저자들은 학습 가능한 검색 레지스터를 도입했습니다.

소수의 학습 가능한 상태( $M$ 개의 레지스터)가 멀티모달 토큰 시퀀스에 추가됩니다.
이 레지스터들은 모든 루프를 지속하며, 전체 입력에 어텐션(attention)을 수행하고 자기들끼리 증거를 교환합니다.
이들은 루프 전반에 걸쳐 검색 증거를 축적하고 공고히 하기 위한 고정 크기의 워크스페이스 역할을 합니다.
최종 레지스터는 임베딩을 위한 안정적인 리드아웃(readout) 역할을 합니다.
추론 토큰과 달리, 이 레지스터들은 단계별로 생성되지 않습니다. 크기가 고정되어 있으며 재귀적 깊이에 따라 늘어나지 않습니다.

주요 기여

검색 형성에 대한 단계별 설명: 본 논문은 검색 기하학이 비균일하게 형성됨을 밝히는 레이어별 분석을 제공하며, 특정 "검색 형성" 구간을 깊이 확장의 타겟으로 식별했습니다.
국소적 재귀적 정제: ReLoop-UME는 국소적 재귀를 지속적인 검색 상태와 결합합니다. 이는 고정된 크기의 워크스페이스를 유지하기 위해 학습 가능한 검색 레지스터를 사용하면서, 파라미터를 공유하는 검색 형성 블록을 반복적으로 적용합니다.
효율성-정확도 트레이드오프: 이 방법은 자기회귀적 토큰 생성의 직렬 생성 병목 현상을 피함으로써, 토큰 확장형 추론 방식보다 훨씬 낮은 지연 시간으로 더 강력한 검색 성능을 달성합니다.

실험 결과

저자들은 MMEB-V2 벤치마크(이미지, 비디오, 시각적 문서에 걸친 78개 태스크)에서 ReLoop-UME를 평가하였으며, MRMR에 대한 제로샷 전이(zero-shot transfer)를 수행했습니다.

성능:
- MMEB-V2에서 2B 모델은 All score 63.2를 기록하여, PLUME(61.6) 및 UME-R1(60.1)과 같은 강력한 베이스라인을 능가했습니다.
- 7B 모델은 65.9에 도달하여 UME-R1(64.5)을 넘어섰습니다.
- 성능 향상은 이미지 및 시각적 문서 태스크에서 가장 두드러졌습니다. 비디오 성능은 고정된 프레임 샘플링 전략으로 인해 혼조된 결과를 보였습니다.
- MRMR로의 제로샷 전이는 경쟁력 있는 결과를 보여주었으며, 특히 지식 검색(Knowledge retrieval)에서 우수했습니다 (Ops-MM-Embedding의 67.4 대비 71.6).
효율성:
- ReLoop-UME는 UME-R1보다 44.9배 빠르며, PLUME보다 1.5배 빠릅니다.
- 단일 순방향 베이스라인인 VLM2Vec-V2와 비교했을 때, ReLoop-UME는 All score를 5.2 포인트 향상시키면서도 지연 시간 오버헤드는 단 1.3배만 발생시켰습니다.
Ablation 연구:
- 단계 국소화 (Stage Localization): 식별된 형성 구간(Qwen2-VL-2B의 경우 레이어 17–26)에만 재귀를 적용했을 때 가장 좋은 결과를 얻었습니다. 전체 스택에 재귀를 적용하거나 최종 레이어에만 적용하는 것은 성능이 더 낮았습니다.
- 레지스터 (Registers): 레지스터를 제거하면 성능이 하락하여, 증거 보존을 위한 레지스터의 역할을 확인했습니다. 레지스터 수를 5개 이상으로 늘려도 수익 체감(diminishing returns) 현상이 나타났습니다.
- 깊이 (Depth): 성능은 적절한 재귀 깊이( $T=4$ )에서 포화되었습니다. $T=8$ 까지 늘리면 성능이 약간 저하되었습니다.

의의 및 주장

본 논문은 ReLoop-UME가 토큰 확장에서 깊이 확장으로 패러다임을 전환함으로써 더욱 효율적인 범용 멀티모달 임베딩 경로를 제공한다고 주장합니다.

메커니즘: 재귀를 검색 변별력이 형성되는 특정 레이어에 국소화함으로써, 자기회귀적 토큰 생성의 지연 시간 및 메모리 비용 없이 쿼리-후보 간의 분리도를 강화합니다.
상태 관리: 학습 가능한 검색 레지스터는 시퀀스 길이를 늘리거나 명시적인 추론 궤적을 요구하지 않고도 루프 전반에 걸쳐 증거를 축적하는 메커니즘을 제공합니다.
일반화: 이 접근 방식은 서로 다른 모델 백본(Qwen2-VL, Qwen3-VL, Qwen3.5) 및 규모에 대해 효과적인 것으로 나타나, "국소화 및 루핑(localization and looping)" 원칙이 아키텍처 변화에 견고함을 시사합니다.

저자들은 이 방법이 정확도-효율성 경계(accuracy-efficiency frontier)를 크게 개선하지만, 샘플링된 프레임에 포착되지 않은 조밀한 시간적 증거(예: 특정 비디오 동작)나 시각적 문서의 미세한 로컬 디테일이 필요한 시나리오에서는 글로벌 재귀적 정제가 특정 수식어(modifier)를 희석할 수 있다는 한계가 있다고 결론지었습니다.