기술 요약: UniRank

문제 정의

다중 모달 정보 검색 (IR) 시스템은 increasingly 하이브리드 후보 집합의 도전에 직면하고 있습니다. 여기서 재순위화할 항목 풀은 텍스트 전용 및 이미지 전용 문서가 혼합되어 있습니다. 텍스트 전용 재순위화기는 성숙해졌지만, 이를 다중 모달 환경으로 확장하면 모달리티 간극이 발생합니다: 텍스트에 편향된 모델은 이질적인 모달리티 간 관련성을 공정하게 비교하는 데 어려움을 겪습니다.

기존 솔루션은 두 가지 주요 한계를 겪습니다:

1. 모달리티 변환 오버헤드: 일반적인 접근 방식은 이미지 를 텍스트 (캡션 또는 OCR 을 통해) 로 변환하거나 텍스트 를 이미지 로 변환하여 단일 입력 형식을 강제합니다. 텍스트 를 이미지 로 변환하는 것 (일부 비전 - 언어 모델 (VLM) 재순위화기에서 수행됨) 은 상당한 저장 및 추론 오버헤드를 초래하는 반면, 이미지 를 텍스트 로 변환하는 것은 종종 세밀한 시각적 의미론을 잃습니다.
2. 도메인 불일치: 대부분의 오픈소스 다중 모달 재순위화기는 일반 웹 규모 데이터로 훈련됩니다. 사설 데이터와 고유한 의미 구조가 지배적인 특정 도메인 (예: 과학 문헌, 디자인 특허) 에서 종종 성능이 저하됩니다.

모달리티 변환 없이 하이브리드 텍스트 - 이미지 후보를 네이티브로 점수화하고 특정 도메인에 적응할 수 있는 포괄적인 엔드 - 투 - 엔드 프레임워크가 부족합니다.

방법론: UniRank 프레임워크

저자들은 하이브리드 텍스트 - 이미지 후보를 네이티브로 점수화하고 순서대로 배열하도록 설계된 VLM 기반 재순위화 프레임워크인 UniRank를 제안합니다. 이 프레임워크는 두 단계의 엔드 - 투 - 엔드 도메인 적응 파이프라인을 사용합니다:

1. 문제 공식화 및 인터페이스

UniRank 는 재순위화를 지시 따르기 (instruction-following) 작업으로 취급합니다. 쿼리 $q$와 후보 $c$(텍스트, 이미지, 또는 둘 다일 수 있음) 가 주어지면, VLM 은 이산적 관련성 레이블 (예: "yes" 또는 "no") 을 출력하도록 프롬프트됩니다.

• 네이티브 점수화: 모델은 입력을 원래 모달리티로 처리합니다.
• 점수 유도: 스칼라 관련성 점수 $s_\theta(q, c)$는 "yes"및 "no"토큰 간의 로짓 차이를 통해 유도됩니다:
  $$s_\theta(q, c) = \sigma(\text{logit}_\theta(\text{yes} | q, c) - \text{logit}_\theta(\text{no} | q, c))$$
  이를 통해 텍스트 - 텍스트, 이미지 - 이미지, 그리고 교차 모달 쌍에 대한 통합 점수화 함수가 가능합니다.

2. 1 단계: 지시 주도 감독 미세 조정 (SFT)

범용 VLM 을 재순위화 작업에 적응시키기 위해:

• 데이터 구성: 레이블이 지정된 쿼리 - 후보 쌍은 채팅 스타일 지시문으로 직렬화됩니다. 시스템 프롬프트는 출력을 단일 레이블로 제한하는 반면, 사용자 프롬프트는 쿼리와 후보를 네이티브 형식으로 교차 배치합니다.
• 목적: 모델은 어시스턴트 응답 토큰에 대한 표준 언어 모델링 손실을 사용하여 미세 조정됩니다. 이 단계는 모델이 대상 도메인에 특화된 보정된 교차 모달 관련성 점수를 생성하도록 가르칩니다.
• 홀드아웃 분할: 다음 단계에서 선호도 데이터를 구성하기 위해 과적합을 방지하기 위해 데이터의 일부가 SFT 에서 제외되어 예약됩니다.

3. 2 단계: 하드 네거티브 주도 선호도 정렬 (RLHF)

순위화 강건성과 보정을 더욱 정교하게 하기 위해:

• 하드 네거티브 마이닝: SFT 모델을 홀드아웃 데이터에 실행하여 모델이 높게 점수화하지만 실제로는 관련성이 없는 "하드 네거티브"를 식별합니다.
• 선호도 구성: ground-truth 레이블을 모델의 오류 모드와 대조하여 쌍별 선호도 데이터를 구성합니다 (예: 하드 네거티브의 경우 선택: "no"대기 거부: "yes").
• 보상 모델 (RM) 훈련: 이러한 쌍별 선호도에 대해 Bradley-Terry 스타일 손실을 사용하여 어떤 응답이 선호되는지 예측하는 보상 모델을 훈련합니다.
• 정책 최적화 (RLHF): 재순위화기 (정책) 는 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 최적화됩니다.
  • 주요 혁신: 표준 프롬프트 수준 그룹화 대신 UniRank 는 쿼리 수준 그룹화를 사용합니다. 이는 그룹 내에서 동일한 쿼리를 공유하는 여러 후보를 대조합니다. 이는 개별 관련성 판단이 아닌 재순위화에 필요한 상대적 순서 행동을 직접 최적화합니다.

주요 기여

1. 하이브리드 모달리티 VLM 재순위화: UniRank 는 텍스트 를 이미지 로 변환하지 않고 하이브리드 텍스트 - 이미지 후보를 네이티브로 점수화하는 최초의 프레임워크로, 이미지 동질화 전략과 관련된 저장 및 추론 오버헤드를 제거합니다.
2. 엔드 - 투 - 엔드 도메인 특화 정렬: 이 논문은 다음으로 구성된 완전한 훈련 파이프라인을 제안합니다:
   • 보정된 점수화를 위한 지시 주도 SFT.
   • 도메인 내 실패 모드를 포착하기 위한 하드 네거티브 마이닝.
   • 순위화 강건성을 최적화하기 위한 쿼리 수준 그룹화를 통한 RLHF.
3. 실증적 검증: 이 프레임워크는 과학 문헌 검색 및 디자인 특허 검색이라는 두 가지 뚜렷한 실제 도메인에서 검증되었습니다.

실험 결과

저자들은 MMDocIR벤치마크 (과학 문헌) 와 커스텀 디자인 특허 검색데이터셋에서 UniRank 를 평가했습니다.

• 성능: UniRank 는 강력한 텍스트 전용 재순위화기 (예: BGE-Reranker, Qwen3-Reranker) 와 기존 VLM 기반 재순위화기 (예: MM-R5, Qwen3-VL-Reranker) 를 포함한 최첨단 베이스라인보다 일관되게 우수한 성능을 발휘했습니다.
  • 과학 문헌: 최상위 베이스라인 대비 Recall@1 을 **8.9%**개선했습니다.
  • 디자인 특허: 최상위 베이스라인 대비 Recall@1 을 **7.3%**개선했습니다.
• 효율성: 텍스트 - 이미지 변환을 피함으로써 UniRank 는 MM-R5 와 같은 이미지 동질화 베이스라인에 비해 저장 요구 사항을 크게 줄였습니다 (과학 도메인에서 최대 6.9 배 감소) 그리고 추론 지연 시간을 단축했습니다 (최대 2.8 배 빠름).
• 강건성: 모델은 다양한 1 단계 검색기 (텍스트 기반 및 시각 기반) 에서 성능 향상을 유지하며 백본 모델 크기 (2B 에서 8B 파라미터까지) 에 따라 효과적으로 확장됩니다.
• 애블레이션 연구:
  • SFT 를 제거하면 가장 큰 성능 저하가 발생하여 보정된 점수화 인터페이스 확립에 대한 필요성을 확인시켜 줍니다.
  • 하드 네거티브 마이닝은 결정적입니다; 이를 무작위 네거티브로 대체하면 성능이 저하됩니다.
  • RLHF 의 쿼리 수준 그룹화는 표준 프롬프트 수준 그룹화보다 우수하여 상대적 순서 최적화의 중요성을 검증합니다.

중요성 및 주장

이 논문은 UniRank 가 하이브리드 후보 집합에 대한 실용적이고 효율적이며 도메인 적응형 솔루션을 제공함으로써 다중 모달 IR 의 중요한 격차를 해소한다고 주장합니다.

• 모달리티 처리: 이는 모달리티 변환보다 네이티브 하이브리드 점수화가 더 우월하며, 더 높은 정확도와 더 낮은 계산 비용을 제공함을 보여줍니다.
• 도메인 적응: 일반 도메인 VLM 은 특수 작업에 불충분하며, 프라이버시 민감하거나 도메인 특화 시나리오에서 고성능 배포를 위해 구조화된 2 단계 정렬 프로세스 (하드 네거티브를 통한 SFT + RLHF) 가 필수적임을 강조합니다.
• 확장성: 이 프레임워크는 후보 집합이 본질적으로 이질적인 검색 시스템을 구축하기 위한 확장 가능한 레시피로 제시되며, 이론적 VLM 능력과 실제 IR 시스템 요구 사항 간의 격차를 해소합니다.

저자들은 UniRank 를 단순한 모델 개선을 넘어 데이터 프라이버시, 효율성, 도메인 특화성이 최우선인 실제 응용 프로그램에서 고성능 다중 모달 검색 배포를 가능하게 하는 프레임워크로 위치시킵니다.