💻 computer science

UniNote: A Unified Embedding Model for Multimodal Representation and Ranking

UniNote 는 Xiaohongshu 의 대규모 배포 환경에서 전역 표현과 세밀한 순위 평가를 균형 있게 조정하여 산업 수준의 아이템 간 검색을 최적화하도록 설계된 통합 임베딩 모델로, 대비 지도 미세 조정과 강화 학습의 2 단계 훈련 패러다임을 활용하여 최첨단 성능과 비용 효율성을 달성합니다.

원저자: Jinghan Zhao, Wenwei Jin, Anqi Li, Jintao Tong, Luya Mo, Jiawei Li, Bin Li, Yao Hu

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinghan Zhao, Wenwei Jin, Anqi Li, Jintao Tong, Luya Mo, Jiawei Li, Bin Li, Yao Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 분주한 디지털 도서관 (앱 '샤오홍슈'와 같은) 을 운영한다고 상상해 보세요. 수백만 명의 사람들이 '노트'를 게시합니다. 각 노트는 사진, 동영상, 텍스트 제목, 본문 단락, 심지어 이미지 안에 숨겨진 텍스트 (예: 사진 속 간판) 가 섞인 지저분하고 다채로운 패키지로 구성되어 있습니다.

저자들이 직면한 문제는 전통적인 도서관 시스템이 이러한 특정 패키지를 찾는 데 서툴다는 점입니다. 시스템에 노트의 단일 사진을 보여주면 비슷한 다른 사진을 찾을 수는 있지만, 그 사진이 속한 전체 노트를 찾지 못합니다. 반대로 특정 주제를 검색할 때, 시스템은 사진과 텍스트가 하나의 단위로 어떻게 작동하는지 이해하지 못해 해당 노트를 놓칠 수 있습니다.

다음은 UniNote가 이를 어떻게 해결하는지 간단한 비유를 통해 설명한 것입니다:

1. 문제: '이중 탑' 대 '통합 뇌'

구식 시스템은 '사진'만 말하는 사서와 '텍스트'만 말하는 사서처럼 두 명의 분리된 사서를 가진 것과 같습니다. 그들은 서로 다른 방 (이중 탑) 에 서서 상대방이 무엇을 생각하는지 추측하려 합니다.

결함: 그들은 실시간으로 서로 대화하는 데 너무 느리며, 미세한 세부 사항을 놓치는 경우가 많습니다. '스타벅스'에 대한 노트를 요청하면 사진 사서는 커피 잔 사진을 찾을 수 있지만, 텍스트 사서는 '스타벅스'라는 단어가 캡션이 아닌 사진 속 간판에 적혀 있었기 때문에 해당 노트를 놓칠 수 있습니다.

UniNote는 통합된 뇌를 가진 슈퍼 사서를 고용한 것과 같습니다. 이 사서는 사진을 보고, 사진 속 텍스트를 읽고, 제목을 읽고, 본문 텍스트를 한 번에 읽으며, 이를 하나의 통합된 이야기로 이해합니다.

2. 훈련: 두 단계의 학습

저자들은 이 사서를 도서관에 그냥 던져 넣지 않고 두 가지 명확한 단계로 훈련시켰습니다.

1 단계: '강도 높은 훈련' (대비적 SFT)

사서가 훈련 캠프에서 차이를 찾아내는 법을 배우는 상황을 상상해 보세요.

훈련: 훈련자가 사서에게 사진을 보여주고 "이 사진은 어떤 노트에 속합니까?"라고 묻습니다.
기법: 훈련자는 명백한 오답만 보여주는 것이 아니라, '하드 네거티브 (Hard Negatives)'라고 불리는 거의 맞지만 작고 결정적인 차이가 있는 노트 (예: 다른 브랜드의 커피 잔 사진) 를 보여줍니다.
결과: 사서는 표면적인 유사성을 무시하고 깊은 의미론적 의미에 집중하는 법을 배웁니다. 복잡한 노트 (이미지 + 텍스트 + 숨겨진 텍스트) 를 전체 본질을 포착하는 단일하고 간결한 '신분증 (임베딩)'으로 압축하는 법을 배웁니다.

2 단계: '순위 코치' (강화 학습)

사서가 올바른 노트를 찾을 수 있게 되면, 이제 그것들을 순서대로 배열하는 법을 배워야 합니다.

상황: 사서가 모두 '관련성'이 있는 10 개의 노트를 찾았지만, 일부는 '완벽하게' 관련성이 높고 일부는 그저 '괜찮은' 수준입니다.
보상 시스템: 저자들은 **GRPO (Group Relative Policy Optimization)**라는 방법을 사용했습니다. 이는 단순히 "잘했다"거나 "나쁘다"고 말하는 코치가 아니라, 다음과 같은 기준으로 점수를 매기는 코치와 같습니다:
- 올바른 것을 찾았습니까? (관련성 보상)
- 가장 좋은 것을 맨 위에 두었습니까? (위치 보상)
- 실수로 쓰레기 노트를 맨 위에 두었습니까? (페널티)
결과: 사서는 단순히 건초더미 속의 바늘을 찾는 것을 넘어, 가장 날카롭고 관련성 높은 바늘이 바로 손끝에 오도록 바늘들을 배열하는 법을 배웁니다.

3. '마트료시카' 인형 기능 (MRL)

가장 멋진 기능 중 하나는 **Matryoshka Representation Learning (MRL)**입니다.

비유: 러시아 인형 (마트료시카) 을 상상해 보세요. 가장 큰 인형은 전체적인 상세한 신분증 (4096 차원) 입니다. 하지만 그 큰 인형 안에는 약간 작은 인형 (1024 차원) 이 있고, 그 안에는 아주 작은 인형 (64 차원) 이 있습니다.
중요성: 때로는 도서관에 거대한 예산이 있어 가장 상세한 인형을 원합니다. 다른 때는 예산이 부족하거나 수백만 개의 항목을 즉시 검색해야 하므로 작은 인형만 필요합니다.
마법: UniNote 는 모든 크기를 담고 있는 하나의 모델을 생성합니다. 레이어를 '벗겨내어' 정확도를 크게 잃지 않으면서 더 작고 빠른 버전을 사용할 수 있습니다. 이는 작업에 따라 중장비 해머가 되거나 정밀한 나사 드라이버가 될 수 있는 하나의 도구를 가진 것과 같습니다.

4. 결과: 실제로 무슨 일이 일어났습니까?

이 논문은 샤오홍슈의 실제 데이터로 이 시스템을 테스트했을 때 다음과 같은 결과를 주장합니다:

더 나은 검색: 이전 시스템보다 훨씬 정확하게 올바른 노트를 찾았습니다. 특히 이미지 하나나 이미지 내부에서 발견된 텍스트 (OCR) 를 기반으로 전체 노트를 검색할 때 두드러졌습니다.
더 빠르고 저렴함: '마트료시카' 접근 방식을 사용하기 때문에 검색 품질을 유지하면서 컴퓨터 저장 공간 및 처리 능력을 절약할 수 있습니다.
모든 것을 지배하는 하나의 모델: 검색용 모델과 순위 매김용 모델을 따로 갖는 대신, UniNote 는 한 번의 통과로 두 가지 작업을 모두 수행합니다. 이는 사서가 책을 찾고 당신에게 건네는 순서를 결정하는 것을 한 번의 호흡으로 모두 수행하는 것과 같습니다.

요약

UniNote는 사진과 텍스트의 지저분한 혼합을 단일 이야기로 취급하는 똑똑하고 통합된 시스템입니다. 까다로운 차이를 포착하고 결과를 완벽하게 순위 매기는 법을 스스로 훈련합니다. 또한 다양한 예산과 속도 요구 사항에 맞춰 다른 '크기'로 제공되어 대규모 인터넷 플랫폼을 위한 매우 효율적인 도구가 됩니다.

기술 요약: UniNote

문제 제기

Item-to-Item(I2I) 검색은 텍스트, 이미지, 비디오, 내장 OCR 등 이질적인 모달리티로 구성된 사용자 생성 '노트'를 다루는 샤오홍슈와 같은 현대 콘텐츠 플랫폼의 핵심 구성 요소입니다. 현재 검색 패러다임은 이러한 복잡하고 다중 모달인 항목을 처리할 때 세 가지 근본적인 한계에 직면해 있습니다:

구조적 단절: 표준 듀얼 타워 모델 (예: CLIP) 은 효율성을 보장하기 위해 모달리티를 독립적으로 인코딩합니다. 이러한 후기 상호작용 (late-interaction) 메커니즘은 복합 노트 내의 텍스트와 시각 구성 요소 간에 필요한 세밀한 정합을 포착하지 못해 국소적 세부 정보의 손실을 초래합니다.
세분성 불일치: 다중 모달 대규모 언어 모델 (MLLM) 은 글로벌 추론에 탁월하지만, '로컬에서 글로벌로'의 검색 (예: 단일 이미지 조각을 기반으로 전체 노트 검색) 에 필요한 계층적 구조에는 종종 어려움을 겪습니다. 이들은 일반적으로 정밀한 하위 구성 요소 정합보다는 광범위한 의미론적 설명에 최적화되어 있습니다.
랭킹의 비효율성: 산업 파이프라인은 종종 분리된 '검색 후 재랭킹' 전략에 의존합니다. 이는 무거운 생성 모델을 재랭킹에 사용하여 계산 병목 현상을 초래합니다. 또한, 사용자 상호작용 데이터 (클릭/좋아요) 로 훈련된 모델은 종종 객관적인 콘텐츠 관련성보다 사용자 관심을 최적화하여 엄격한 의미론적 검색 작업에는 적합하지 않습니다.

방법론

이러한 과제를 해결하기 위해 저자들은 산업용 I2I 검색을 위해 특별히 설계된 통합 임베딩 모델인 UniNote를 제안합니다. 이 프레임워크는 새로운 2 단계 훈련 패러다임을 통해 단일 모델 아키텍처 내에서 표현 학습과 관련성 랭킹을 통합합니다.

1. 작업 정의 및 데이터 구성

저자들은 다음을 포함한 10 가지 고유한 검색 카테고리를 포괄하는 포괄적인 I2I 작업 세트를 정의합니다:

원자적 정합: 교차 모달 검색 (이미지 $\leftrightarrow$ 텍스트).
하위 검색: 로컬에서 글로벌로의 검색 (예: 이미지 $\to$ 전체 노트).
의미 추출: 글로벌에서 로컬로의 검색 (예: 노트 $\to$ 특정 이미지).
OCR 인식: 이미지 내 텍스트 검색 및 OCR-to-노트 검색.
콘텐츠 관련성: 노트-to-노트 랭킹.

이러한 작업을 지원하기 위해 실제 샤오홍슈 노트를 사용하여 고품질 데이터셋을 구성했습니다. 식별력을 향상시키기 위해 다중 세분성 하드 네거티브 마이닝 전략이 채택되었습니다. 여기에는 다음이 포함됩니다:

모달 교체: 모델이 저수준 픽셀 단축에 의존하는 것을 방지하기 위해 이미지를 텍스트 설명으로 대체합니다.
반사실적 하드 네거티브: 긍정적 컨텍스트와 최대 콘텐츠 중복을 유지하지만 유효한 소속 관계를 엄격히 배제하는 부정적 쌍을 구성합니다 (예: 특정 이미지를 제외한 노트를 해당 이미지의 네거티브로 사용).
소프트 감독: 분포 정합을 위한 소프트 레이블을 제공하기 위해 참조 인코더의 유사도 점수를 활용합니다.

2. 2 단계 훈련 패러다임

1 단계: 대비적 지도 미세 조정 (SFT)
목표는 생성형 MLLM 을 강력한 임베딩 모델로 변환하는 것입니다.

아키텍처: 모델은 '마지막 토큰' 은닉 상태를 최종 표현으로 사용하여 이질적인 입력을 통합된 벡터 공간으로 압축합니다.
최적화: 모델은 임베딩 기반 분포와 MLLM 유래 소프트 레이블 분포 간의 제이슨 - 샨논 (JS) 발산을 최소화합니다.
MRL 통합: 매트리ョ시카 표현 학습 (MRL) 이 통합되어 중첩된 차원 (64, 512, 1024, 4096) 을 지원하므로 비용 효율성 트레이드오프에 따른 유연한 배포가 가능합니다.

2 단계: 강화 학습 (RL) 을 통한 상대적 재랭킹
이 단계는 별도의 재랭커 없이 검색 (임베딩) 과 랭킹 (관련성) 간의 간극을 메웁니다.

프레임워크: 모델은 그룹 상대 정책 최적화 (GRPO) 를 사용하여 훈련됩니다.
데이터 구성: 주어진 노트에 대해 시각 및 텍스트 구성 요소를 분할하여 점진적으로 감소하는 콘텐츠 중복을 가진 후보 시퀀스를 생성하고, 여기에 노이즈 시퀀스를 혼합합니다.
보상 함수: 리스트별 관련성을 최적화하도록 설계된 다차원 보상 함수는 다음을 포함합니다:
- 무관한 노트 패널티: 관련 노트 위에 노이즈 노트가 랭킹될 때 패널티를 부과합니다.
- 기본 관련 보상: 관련 샘플의 재현을 보상합니다.
- 절대 위치 보상: 예측 위치와 실제 위치 간의 거리를 최소화합니다.
- 상대적 순서 보상: 관련 노트의 순서에서 글로벌 일관성을 보장합니다.
결과: 모델은 미묘한 콘텐츠 뉘앙스를 구별하고 단일 패스로 관련성 인식 랭킹을 생성하도록 학습하여 계산 비용이 많이 드는 생성형 재랭커의 필요성을 제거합니다.

주요 기여

포괄적인 I2I 작업 세트: 교차 모달 정합, 정보 압축, 세밀한 로컬 - 글로벌 양방향 검색을 아우르는 10 가지 고유한 검색 카테고리의 정의와 견고한 하드 네거티브 마이닝 데이터셋에 의한 지원.
통합 검색 - 랭킹 프레임워크: 2 단계 훈련 패러다임 (대비적 SFT 후 관련성 인식 RL) 을 통해 임베딩과 관련성 랭킹을 단일 모델에 통합하는 UniNote 제안.
SOTA 성능: 10 가지 I2I 작업 전반에 걸쳐 최첨단 결과를 보여주는 광범위한 평가와 두 훈련 단계 간의 시너지를 확인하는 제거 실험.
산업 배포 검증: 유연한 차원 선택을 위한 MRL 의 성공적인 통합과 샤오홍슈의 대규모 온라인 및 오프라인 생산 환경에서 모델 성능의 검증.

실험 결과

벤치마크 비교: UniNote 는 66k 개의 노트와 50 만 개 이상의 항목으로 구성된 데이터셋에서 SOTA 베이스라인 (RzenEmbedding 및 Qwen3VL-Embedding-8B) 과 비교 평가되었습니다.
- UniNote 는 글로벌 - 로컬 관계를 모델링하지 못하는 베이스라인이 어려움을 겪었던 하위 검색(예: I2Note: 베이스라인 41.2% 대비 93.7% R@1) 과 의미 추출 작업에서 최고의 성능을 달성했습니다.
- OCR 인식에서 UniNote 는 OCR-to-Note 및 OCR-to-Image 작업에서 베이스라인을 크게 앞섰으나, 일부 베이스라인에 비해 Image-to-OCR 성능은 약간 낮았습니다.
- 노트-to-노트 관련성의 경우, UniNote 는 SFT 만을 사용한 경우 (P@5: 92.6%) 에 비해 현저히 높은 정밀도 (P@5: 96.0%) 를 유지하면서 동등하거나 약간 개선된 재현율 (R@10: 99.5%) 을 달성했습니다.
제거 실험:
- 하드 네거티브 마이닝 제거 (무작위 샘플링) 는 성능이 크게 저하되어 글로벌 하드 네거티브 마이닝과 소프트 감독의 필요성을 입증했습니다.
- 규칙 기반 휴리스틱 및 반사실적 네거티브를 제외하면 모델이 미묘한 의미론적 차이를 구별하는 능력이 감소했습니다.
- RL 단계를 제거하면 노트-to-노트 작업의 Recall@5 와 Precision@5 가 각각 1.4% 와 3.4% 감소했습니다.
MRL 성능: 512 차원에서는 전체 차원 특징과 유사한 성능을 보였습니다. 64 차원에서도 모델은 주요 작업에서 약 70% 의 능력을 유지하여 저장소와 정확도 간의 효과적인 트레이드오프를 입증했습니다.
온라인 배포: 온라인 A/B 테스트에서 UniNote 는 단일 임베딩 추출을 사용하여 노트-to-이미지/비디오/텍스트 작업 전반에 걸쳐 높은 재현율 유지 (85.6%–93.6%) 를 달성했으며, 베이스라인 CLIP 기반 접근 방식에 비해 저장소 및 계산량이 9.2 $\times$ 적었습니다. 오프라인 대규모 갤러리 검색에서 UniNote 는 베이스라인 대비 관련 샘플 재현율에서 23.5% 의 향상을 보였습니다.

의의

이 논문은 UniNote 가 산업 규모 이질적 항목 검색을 위한 효율적이고 실용적인 솔루션을 제공한다고 주장합니다. 표현과 랭킹을 통합함으로써 분리된 파이프라인의 체계적 비효율성과 기존 MLLM 임베딩의 세분성 불일치를 해결합니다. 이 연구는 강화 학습이 임베딩 공간과 콘텐츠 관련성을 효과적으로 정렬하여 단일 패스로 고정밀 랭킹을 가능하게 함을 보여줍니다. 샤오홍슈에서의 성공적인 배포는 모델이 현실 세계의 대규모 애플리케이션에서 검색 품질과 엄격한 지연 시간 및 비용 제약 사이의 균형을 맞출 수 있음을 입증합니다.