Reason to Contrast: A Cascaded Multimodal Retrieval Framework

이 논문은 추론 기반 토큰 확장 및 재순위화를 통해 기존 임베딩 크기 의존성을 극복하고 MMEB-V2 벤치마크에서 새로운 최고 성능을 달성한 계단식 멀티모달 검색 프레임워크 'TTE-v2'를 제안합니다.

핵심

1. 기존 방식: "눈으로만 보는 수색대" (Traditional Bi-encoder)

기존의 멀티모달 검색 AI 는 마치 사진을 찍어 파일에 저장해 둔 수색대와 같습니다.

• 방식: 사용자가 "빨간 차를 찾아줘"라고 하면, AI 는 빨간 차의 특징을 숫자 (임베딩) 로 변환해 저장해 둡니다. 그리고 데이터베이스에 있는 모든 차 사진을 똑같이 숫자로 바꿔서, 숫자가 비슷한 것끼리 댕댕이 (가까운 거리) 를 붙입니다.
• 한계: 이 방식은 단순히 '비슷한 것'을 찾는 데는 능숙하지만, '정확한 의미'를 파악하는 데는 약합니다.
  • 예: "빨간 차"를 찾으라고 했는데, 빨간색이 아닌데 빨간 장난감을 들고 있는 사람 사진을 찾아오거나, 빨간 차가 있지만 '운전석'이 아닌 '트렁크'만 보이는 사진을 찾아올 수 있습니다. AI 는 이미지가 빨간색이라서 맞다고 생각하지만, 사용자의 진짜 의도 (운전석에 사람이 탄 빨간 차) 는 놓치는 거죠.

2. 이전의 개선안 (Think-Then-Embed): "생각한 뒤 검색하는 수색대"

최근 연구 (TTE) 는 검색하기 전에 **AI 가 잠시 "생각 (Reasoning)"**하는 시간을 가집니다.

• 방식: "빨간 차를 찾아줘"라는 명령을 받으면, AI 가 바로 검색하는 대신 "아, 사용자는 빨간색 차를 원하는구나. 하지만 차의 종류나 상황도 중요할 거야"라고 **생각의 흔적 (ECR)**을 남깁니다. 이 생각 과정을 거쳐서 검색을 합니다.
• 효과: 검색 결과가 훨씬 나아졌습니다. 하지만 여전히 검색 대상 (후보군) 하나하나를 따로따로만 생각할 뿐, "이 후보 A 와 후보 B 중 누가 사용자의 의도에 더 맞지?"라고 **비교 (Contrast)**하지는 못했습니다.

3. 이 논문의 혁신: "비교하고 심사하는 수석 심사관" (TTE-v2 / Reason-to-Contrast)

이 논문은 검색의 마지막 단계에 마치 '심사위원'처럼 작동하는 추가 단계를 도입했습니다. 이를 **'Reason-to-Contrast(비교를 위한 생각)'**이라고 부릅니다.

🌟 핵심 비유: "오디션 심사"

검색 과정을 오디션에 비유해 볼까요?

1. 1 단계 (초선발): AI 가 먼저 수많은 지원자 (후보 영상/이미지) 중 "빨간 차"와 관련 있어 보이는 100 명을 뽑아냅니다. (기존 검색)
2. 2 단계 (심사관 등장 - Reranking): 이제 **수석 심사관 (더 큰 AI)**이 등장합니다.
   • 기존 방식: 심사관이 각 지원자를 따로따로 보고 점수를 매겼습니다.
   • 이 논문의 방식 (QAR & ECRR): 심사관은 **"지원자 A 와 지원자 B 를 비교해 봐. 사용자의 질문인 '빨간 차'에 누가 더 잘 맞지?"**라고 **비교 (Contrast)**합니다.
   • 예시:
     • 후보 A: 빨간 차가 있지만, 운전석에 사람이 없습니다.
     • 후보 B: 빨간 차가 있고, 운전석에 사람이 있습니다.
     • 심사관은 "사용자가 '운전하는 빨간 차'를 원했으니, A 는 틀리고 B 가 정답이다"라고 비교해서 순위를 매깁니다.

이 과정에서 AI 는 단순히 "이게 빨간 차야"라고 말하는 것을 넘어, **"왜 이쪽이 저쪽보다 더 맞는가?"**를 설명하며 (생각의 흔적) 최종 순위를 정합니다.

4. 왜 이것이 중요한가요? (두 가지 장점)

① "작은 뇌"도 "큰 뇌"의 도움을 받는다 (Token-wise Scaling)

기존에는 성능을 높이려면 AI 모델 자체를 거대하게 (70 억 개, 100 억 개 파라미터) 만들어야 했습니다. 하지만 이 방식은 모델 크기를 키우는 대신, '생각하는 시간 (토큰)'을 늘리는 것으로 성능을 높입니다.

• 비유: 작은 도서관 사서 (작은 AI) 가 혼자서 모든 책을 다 읽을 필요 없이, 전문가 (큰 AI) 가 "이 책과 저 책을 비교해 보니 이쪽이 더 맞네"라고 조언을 받으면, 작은 사서도 전문가 못지않은 검색을 할 수 있습니다.
• 결과: 이 논문은 20 억 파라미터 (작은 모델) 로도, 70 억 파라미터 (큰 모델) 가 가진 성능을 따라잡거나 넘어서는 성과를 냈습니다.

② "잘못된 답"을 스스로 고쳐준다 (Hard Negative Mining)

검색을 할 때 AI 는 "이건 틀린 답이야"라고 배워야 합니다. 하지만 기존에는 AI 가 스스로 틀린 답을 골라내느라 헷갈려 하기도 했습니다.

• 이 논문의 방식: 위에서 말한 **수석 심사관 (Reranker)**이 "이건 틀린 답이야, 저건 진짜 정답이야"라고 정확하게 가르쳐 줍니다.
• 효과: 이 가르침을 받아 1 단계의 수색대 (검색 AI) 가 다시 훈련을 받으면, 다음엔 훨씬 더 똑똑해져서 틀린 답을 골라내지 않게 됩니다.

5. 결론: "생각하고 비교하는 검색의 시대"

이 논문은 **"검색할 때 단순히 '비슷한 것'을 찾는 것을 멈추고, '왜 이것이 더 맞는가'를 생각하며 비교하는 과정"**을 도입했습니다.

• 기존: "이게 빨간 차네? 맞다!" (단순 매칭)
• 이 논문: "이건 빨간 차지만 운전석이 비어있고, 저건 빨간 차에 사람이 타고 있어. 사용자의 질문을 보면 저쪽이 더 맞는군!" (비교와 심층 분석)

이 방식을 통해 AI 는 더 적은 계산 자원으로도 훨씬 더 정교하고 정확한 검색을 할 수 있게 되었으며, 특히 동영상 검색처럼 정보가 복잡한 분야에서 혁신적인 성과를 거두었습니다.

한 줄 요약:

"AI 에게 검색할 때 '생각'하고 '비교'하는 시간을 주면, 작은 AI 도 거대한 전문가 못지않게 똑똑해집니다."

기술 요약

1. 문제 정의 (Problem)

기존의 다중 모달 (Multimodal) 검색 시스템은 주로 Bi-encoder 아키텍처에 의존하며, 성능은 임베딩 차원이나 모델 크기에 비례하여 향상됩니다. 최근 'Think-Then-Embed (TTE)'라는 접근법이 제안되어 임베딩 전 추론 (Reasoning) 단계를 도입함으로써 성능을 개선했으나, 여전히 다음과 같은 한계가 존재합니다.

• 단방향 정보의 한계: 기존 TTE 는 쿼리 (Query) 와 후보 (Candidate) 를 독립적으로 처리합니다. 즉, 복잡한 쿼리와 풍부한 정보를 가진 비디오/이미지 간의 **정교한 상호작용 (Joint Interaction)**을捕捉하지 못합니다.
• 세부적인 랭킹 부족: 특히 비디오 검색과 같이 정보가 밀집된 작업에서는 초기 임베딩만으로는 정답을 1 위 (Top-1) 로 정확히 배치하기 어렵고, Top-k 내에서는 정답을 찾지만 순위를 매기는 데 실패하는 경우가 많습니다.
• 확장성의 한계: 기존 방식은 모델 파라미터나 임베딩 차원을 늘리는 방식 (Model Scaling) 에 의존하여, 추론 시 (Test-time) 추가적인 계산 자원을 활용하는 '토큰 기반 확장 (Token-wise Scaling)'의 가능성을 충분히 활용하지 못했습니다.

2. 제안 방법론 (Methodology: TTE-v2)

저자들은 Reason-to-Contrast라는 새로운 패러다임을 도입하여, TTE-v2라는 계단식 (Cascaded) 검색 - 재랭킹 프레임워크를 제안했습니다. 이 프레임워크는 크게 두 단계로 구성됩니다.

Stage 1: Think, Embed, Retrieve (TTE 기반)

• 기존 TTE 방식을 따릅니다. 쿼리에 대해 Embedding-Centric Reasoning (ECR) 을 생성하고, 이를 기반으로 임베딩을 생성하여 초기 Top-k 후보를 검색합니다.

Stage 2: Reason-to-Contrast (재랭킹 및 상호작용)

검색된 후보들에 대해 다음과 같은 두 가지 핵심 기법을 적용하여 정밀도를 높입니다.

1. Query-Aware Reasoning (QAR):

   • 기존 ECR 은 비디오 전체 내용을 요약하므로 쿼리와 무관한 정보가 포함될 수 있습니다.
   • MLLM 을 활용하여 쿼리와 후보 간의 쌍별 (Pairwise) 추론을 수행합니다. 이를 통해 쿼리와 직접적으로 관련된 차별적인 정보 (Discriminative Information) 만을 강조한 'Rewritten ECR'을 생성합니다.
   • 예: "안경을 쓴 노인이 말하고 있다"는 쿼리에 대해, 비디오의 전체 요약 대신 해당 장면과 노인을 집중적으로 설명하는 ECR 로 수정합니다.

2. ECR 기반 재랭킹 (ECRR - ECR-based Reranking):

   • 생성된 (또는 수정된) ECR 은 텍스트 형태이므로, 이를 활용하여 텍스트 전용 (Text-only) 재랭킹을 수행합니다.
   • 복잡한 멀티모달 재랭킹 대신 경량화된 텍스트 기반 재랭커 (LLM) 를 사용하여 쿼리와 후보의 매칭 점수를 산출합니다.
   • Pairwise (쌍별) 또는 Listwise (목록별) 방식으로 재랭킹을 수행할 수 있습니다.

부수적 기여: rHNM (reranker-based Hard Negative Mining)

• 재랭킹 단계에서 생성된 점수와 ECR 을 활용하여 가짜 부정 (False Negative) 필터링과 하드 네거티브 (Hard Negative) 마이닝을 수행합니다.
• 재랭커 (더 강력한 MLLM) 가 생성한 점수를 '교사 (Teacher)'로 활용하여, 임베더가 놓친 어려운 부정 샘플을 학습 데이터로 선별하고, 오해석된 긍정 샘플을 제거합니다. 이를 통해 상류 (Upstream) 검색기를 강화하는 피드백 루프를 구축합니다.

3. 주요 기여 (Key Contributions)

1. TTE-v2 프레임워크: 추론 토큰 예산 (Reasoning Token Budget) 을 기반으로 한 테스트 타임 확장이 가능하도록 한 계단식 멀티모달 검색 프레임워크를 제안했습니다.
2. QAR 및 ECRR: 쿼리 인식 추론 (QAR) 과 ECR 기반 재랭킹 (ECRR) 을 통해 제로샷 (Zero-shot) 검색 성능을 기존 TTE 대비 10% 이상 절대적으로 향상시켰습니다.
3. rHNM 전략: 재랭커 기반의 하드 네거티브 마이닝 및 가짜 부정 필터링 전략을 도입하여, 기존 임베더 기반 방법보다 더 정확한 학습 신호를 제공합니다.
4. 새로운 SOTA 달성: MMEB-V2 벤치마크에서 7B 모델 기준 75.7% 정확도를 기록하여 기존 최고 성능을 경신했으며, 2B 모델조차도 대량의 외부 데이터로 학습된 기존 7B 모델을 능가하는 성능을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크: MMEB-V2 (78 개의 다양한 태스크 포함) 에서 평가.
• 성능:
  • TTE-v2-7B: 전체 점수 75.7% (기존 SOTA 인 IFM-TTE-7B 의 75.1% 를 상회).
  • TTE-v2-2B: 전체 점수 72.8% 로, 7B 모델보다 작은 사이즈임에도 불구하고 대량 데이터 학습 모델들을 능가하거나 견줄 만한 성능을 보임.
  • 비디오 검색: 이전 최고 성능 대비 6% 이상 향상.
• 효율성:
  • MLLM 을 직접 재랭커로 사용하는 기존 방식 (Zero-shot Multimodal Reranker) 은 성능이 저하되는 경우가 많았으나, 제안된 **ECRR (텍스트 기반 재랭킹)**은 경량화되면서도 높은 성능을 유지했습니다.
  • 재랭커 모델 크기 (0.6B ~ 8B) 가 커질수록 성능이 향상되지만, Top-k 후보 수를 10 이상으로 늘리는 것은 오히려 성능을 저하시킬 수 있음 (노이즈 증가).

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 검색 분야에서 모델 크기나 데이터 양을 늘리는 전통적인 방식 대신, **추론 토큰 (Reasoning Tokens) 을 활용한 테스트 타임 확장 (Test-time Scaling)**이 유효한 새로운 확장 축임을 증명했습니다.

• 비용 효율성: 무거운 멀티모달 재랭킹 대신 경량화된 텍스트 기반 재랭킹을 사용하여 비용 대비 성능을 극대화했습니다.
• 학습 - 추론 피드백: 재랭킹 단계에서 얻은 정교한 정보를 학습 단계 (Hard Negative Mining) 로 피드백하여 검색기 자체를 지속적으로 개선하는 선순환 구조를 제시했습니다.
• 범용성: 이미지, 비디오, 문서 등 다양한 모달리티와 복잡한 지시 (Instruction) 를 모두 포괄하는 범용 멀티모달 검색 (UMR) 의 새로운 표준을 제시합니다.

결론적으로, TTE-v2 는 "생각하고 (Think), 비교하며 (Contrast)" 검색하는 새로운 패러다임을 제시하여, 제한된 컴퓨팅 자원으로도 최상의 검색 성능을 달성할 수 있는 가능성을 열었습니다.