🤖 AI

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

본 논문은 검색 대상에 대해 명시적으로 추론하고 KnowledgeMap을 통해 탐색 공간을 구조화함으로써 검색 증강 생성을 개선하는 멀티모달 에이전트 프레임워크인 MM-R2를 제안하며, 이는 벤치마크 데이터셋에서 우수한 정확도와 해석 가능성을 달성하기 위해 새로운 궤적 데이터셋과 2단계 사후 학습 전략에 의해 뒷받침됩니다.

원저자: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려고 노력 중이라고 상상해 보세요. 하지만 단 하나의 단서가 아니라, 책, 사진, 지도가 커다란 상자 안에 한데 뒤섞여 엉망진창으로 던져져 있는 거대한 더미를 가지고 있습니다. 이것이 바로 "멀티모달 검색 증강 생성(Multimodal Retrieval-Augmented Generation, mRAG)"의 세계입니다. 이는 컴퓨터가 사진에 대한 질문에 답하기 위해 거대한 도서관에서 사실을 찾아내도록 만드는 아주 멋진 방법입니다. 보통 컴퓨터가 이 작업을 수행할 때는 거대한 슈퍼마켓에서 허둥지둥하는 쇼핑객처럼 행동합니다. 질문을 하나 잡고는 매장 전체를 향해 소리를 지른 뒤, 선반에서 처음 발견하는 몇 가지 아이템이 정답이기를 바라는 식이죠. 문제는 컴퓨터가 자신이 무엇을 찾고 있는지, 혹은 매장의 어디에 그 아이템이 숨겨져 있는지 제대로 이해하지 못하기 때문에 엉뚱한 것을 집어 드는 경우가 많다는 점입니다. 예를 들어 "빨간 자동차"를 달라고 했는데, 컴퓨터가 단지 "빨간색"이라는 단어만 보고 첫 번째로 보이는 빨간 물건을 잡아버려서 빨간 사과 사진을 가져오는 것과 같습니다.

여기서 새로운 논문이 등장합니다. 연구진들은 검색을 시작하기 전에 먼저 멈춰서 생각해야 한다는 점을 깨달았습니다. 그들은 이 새로운 시스템을 MM-R2, 즉 "검색하기 전에 추론하라(Reason Before You Retrieve)"라고 부릅니다. 빈 공간을 향해 맹목적으로 소리치는 대신, MM-R2는 똑똑한 탐정처럼 행동합니다. 먼저, 사진과 질문을 함께 살펴보고 정확히 어떤 "단서"(사진 속 특정 대상)가 무엇인지, 그리고 어떤 종류의 정보가 필요한지를 파악합니다. 그런 다음, 엉망진랑한 상자 전체를 뒤지는 대신, "KnowledgeMap(지식 지도)"이라 불리는 특별하고 체계적인 도서관 지도를 참고합니다. 적절한 통로를 선택하고, 알맞은 책을 집어 들고, 내용을 읽은 뒤, 다른 곳을 더 찾아봐야 할지 결정합니다. 논문은 이렇게 "먼저 생각하는" 단계를 거침으로써 컴퓨터가 훨씬 더 정확하게 정답을 찾아낼 수 있으며, 심지어 자신이 문제를 어떻게 풀었는지 과정을 보여줄 수도 있다고 제안합니다.

탐정의 새로운 전략

이 논문의 핵심 아이디어는 현재의 컴퓨터들이 행동에 너무 성급하다는 것입니다. 당신이 사진을 보여주며 "이 사진 속에 있는 새의 종류는 무엇인가요?"라고 물을 때, 현재의 시스템들은 종-종 단어와 이미지를 그냥 뭉뚱그려 한꺼번에 모든 것을 검색하기 시작합니다. 저자들은 이것이 실수라고 주장합니다. 그들은 이러한 시스템들이 이미지의 어느 부분이 중요한지, 혹은 어떤 구체적인 사실이 필요한지 알지 못하기 때문에 혼란을 겪는다는 것을 발견했습니다. 이는 마치 도서관에서 "케이크"라는 단어를 찾기 위해 건물 내 모든 책을 다 뒤지는 것이 아니라, 곧장 "베이킹" 섹션으로 가는 대신 케이크라는 단어 하나로 전체를 검색하는 것과 같습니다.

이를 해결하기 위해 팀은 MM-R2를 구축했습니다. 이 시스템은 컴퓨터가 검색하기 전에 잠시 멈추고 계획을 세우도록 강제합니다. 그들은 과정을 세 가지 재미있는 단계로 나눕니다:

"무엇을" 그리고 "어디서"에 대한 계획: 검색하기 전에 시스템은 "검색 상태(retrieval state)"를 생성합니다. 이것은 완벽한 쇼핑 목록을 작성하는 것과 같습니다. 시스템은 정보 요구 사항(내가 무엇을 알아야 하는가?), 근거가 되는 참조 대상(사진 속의 구체적으로 어떤 사물을 말하는가?), 그리고 제약 조건(날짜가 필요한가? 위치가 필요한가? 학명인가?)을 식별합니다. 이를 통해 컴퓨터가 무관한 세부 사항에 주의를 빼앗기는 것을 방지합니다.
조직된 지도 (KnowledgeMap): 연구진은 평평하고 엉망인 목록을 검색하는 것이 비효율적이라는 것을 깨달았습니다. 그래서 그들은 도서관을 KnowledgeMap으로 정리했습니다. 도서관이 단순히 책더미가 아니라, "새", "자동차", "역사"와 같이 깔끔하게 라벨이 붙은 보관함들로 이루어져 있다고 상상해 보세요. 컴퓨터는 쇼핑 목록을 갖게 되면 도서관 전체를 검색하는 것이 아니라, 먼저 어떤 보관함을 열지 결정합니다. 이를 "라우팅(routing)"이라고 합니다.
탐정 루프: 컴퓨터가 적절한 보관함(검색 단위)을 선택하면, 그 안에서 구체적인 답을 찾습니다. 답을 찾으면 좋습니다! 만약 찾지 못했다면, 다른 보관함을 선택하거나 더 구체적인 질문을 던질 수 있습니다. 시스템은 사건을 해결할 충분한 증거를 확보할 때까지 이 과정을 반복합니다.

어떻게 컴퓨터에게 생각하는 법을 가르쳤나

"컴퓨터가 어떻게 탐정처럼 계획하는 법을 배울 수 있을까?"라고 궁금할 수 있습니다. 저자들은 단순히 컴퓨터에게 "똑똑해져라"라고 말하지 않았습니다. 대신, 그들은 MM-R2-Traj라는 거대한 훈련 데이터셋을 만들었습니다. 이 데이터셋에는 90만 개의 "사고 과정" 사례가 포함되어 있습니다.

선생님이 학생에게 퍼즐 푸는 법을 보여주는 장면을 상상해 보세요. 선생님은 단순히 정답만 알려주는 것이 아니라, 단계별로 보여줍니다: "먼저 모서리 조각들을 찾아보렴. 그다음 색깔별로 분류해 봐. 그다음 이 두 개를 맞춰보렴." 연구진은 "선생님" 역할을 하는 AI를 사용하여 학생 AI를 위한 단계별 이야기를 생성했습니다. 그들은 학생이 다음을 수행하도록 가르쳤습니다:

사진과 질문을 분석하여 계획을 세우기.
적절한 "보관함"(KnowledgeMap 단위) 선택하기.
해당 보관함 내부에서 구체적인 질문 던지기.
찾은 내용을 요약하기.
작업이 끝났는지, 아니면 다시 찾아봐야 하는지 결정하기.

그들은 두 단계로 컴퓨터를 훈련시켰습니다. 먼저, **지도 미세 조정(Supervised Fine-Tuning, SFT)**을 사용했는데, 이는 학생이 기본 규칙을 배우기 위해 선생님의 노트를 베껴 쓰는 것과 같습니다. 그다음, **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용했습니다. 이는 학생이 다양한 전략을 시도하고, 정답을 맞히면 높은 점수를 받는 게임과 같습니다. 만약 틀리면, 다음에는 다른 경로를 시도하도록 배웁니다. 이를 통해 컴퓨터는 올바른 선택을 하는 데 매우 능숙해졌습니다.

결과: 더 똑똑하고 명확하게

그들이 InfoSeek(130만 개의 이미지-질문 쌍이 포함된 데이터셋)와 Encyclopedic VQA(백과사전식 지식 테스트)라는 두 가지 큰 과제로 MM-R2를 테스트했을 때, 결과는 인상적이었습니다.

InfoSeek 테스트에서 MM-R2는 전체적으로 **54.3%**의 확률로 정답을 맞혔습니다. 이는 기존의 똑똑한 시스템들이 보통 46-47% 수준에 머물렀던 것과 비교하면 큰 도약입니다. 특히 컴퓨터가 한 번도 본 적 없는 질문을 처리해야 하는 "Unseen-Question" 부분에서 MM-R2는 **56.0%**를 기록하며 이전의 최고 기록을 상당한 차이로 앞질렀습니다. Encyclopedic VQA 테스트에서도 **39.4%**에 도달하여, 질문이 매우 구체적이고 어려울 때도 잘 작동함을 보여주었습니다.

하지만 논문은 단순히 높은 점수를 얻는 것보다 더 중요한 것을 시사합니다. 바로 투명성입니다. MM-R2는 단계를 계획하기 때문에, 우리는 그것이 문제를 어떻게 풀었는지 실제로 볼 수 있습니다.

더 나은 라우팅: 시스템은 기존 시스템이 **23%**였던 것에 비해, **74%**의 확률로 올바른 "보관함"(KnowledgeMap 단위)을 정확히 선택했습니다. 엉뚱한 곳을 찾는 데 시간을 낭비하는 일이 줄어들었습니다.
더 명확한 설명: 시스템이 답변을 설명할 때, 훨씬 간결하고 집중되었습니다. "충실도(Fidelity)" 점수(답변이 실제로 찾은 증거에 기반했는지 확인하는 지표)는 0.90이었는데, 이는 답변이 단순히 추측한 것이 아니라 거의 전적으로 찾아낸 사실에 근거했음을 의미합니다.

이것이 의미하는 바

이 논문은 단순히 "모든 것을 검색하는" 기존 방식이 한계에 부딪히고 있음을 시사합니다. 컴퓨터에게 검색하기 전에 추론하도록 강제함으로써, 우리는 더 똑똑할 뿐만 아니라 더 신뢰할 수 있는 시스템을 구축할 수 있습니다. 그들은 단순히 추측하는 것이 아니라, 논리적인 경로를 따르고, 자신의 작업을 확인하며, 어떻게 답을 찾았는지 정확히 보여줄 수 있습니다. 이는 혼란스러운 보물 찾기와 잘 계획된 탐정 임무의 차이와 같습니다. 연구진은 이것이 멀티모달 AI에 대한 특정한 접근 방식이며 세상의 모든 문제를 해결하는 것은 아니라고 언급했지만, 결과를 보면 행동하기 전에 잠시 생각하는 것이 스마트한 컴퓨터의 미래를 위한 강력한 전략임을 알 수 있습니다.

기술 요약: 검색 전 추론: 멀티모달 RAG를 위한 에이전트 기반 계획 (Reason Before You Retrieve: Agentic Planning for Multi-modal RAG)

문제 정의

멀티모달 검색 증강 생성(mRAG)은 외부 지식을 활용하여 이미지-텍스트 질의에 답하는 것을 목표로 합니다. 그러나 기존 시스템은 일반적으로 평면적이고 구조가 약한 증거 공간 위에서 작동하는 "검색 후 생성(retrieve-then-generate)" 파이프라인을 채택합니다. 저자들은 이러한 기존 설계의 두 가지 결정적인 한계를 식별했습니다:

검색 의도 모호성 (Retrieval-Intent Ambiguity): 멀티모달 환경에서 텍스트 질문은 정보 요구 사항을 정의하는 반면, 이미지는 특정 시각적 참조 대상을 구체화합니다. 기존 시스템은 종종 쿼리를 올바른 시각적 인스턴스에 명시적으로 결합(grounding)하는 데 실패하며, 이로 인해 이미지-질문 쌍에 특화된 증거보다는 텍ual 사전 지식이나 일반적인 캡션 형태의 매칭으로 검색이 편향되는 드리프트 현상이 발생합니다.
약하게 구조화된 검색 공간 (Weakly Structured Search Space): 대부분의 시스템은 다양한 증거를 단일 표현 공간에 임베딩하고 전역 유사도 함수에 의존합니다. 이는 의미론적으로 구별되는 증거들이 단일 랭킹 단계에서 서로 경쟁하게 만들며, 정밀하고 도메인 특화된 증거보다는 일반적인 콘텐츠를 선호하게 만듭니다.

본 논문은 멀티모달 검색을 인지 과학의 스키마 이론(Schema Theory)에 비유하여, 구조화된 지식 프레임워크가 주의(attention)와 메모리 접근을 가이드하는 방식처럼 "검색 전 추론(reason before you retrieve)"으로 재정의해야 한다고 주장합니다.

방법론: MM-R2 프레임워크

저자들은 검색을 실행하기 전에 무엇을 검색할 것인지와 어디를 검색할 것인지를 명시적으로 모델링하는 에이전트 기반 검색 프레임워크인 MM-R2(MultiModal Reason-to-Retrieve)를 제안합니다. 이 프레임워크는 다음 구성 요소를 통해 작동합니다:

1. 의도-참조 결합 모듈 (Intent-Referent Binding Module)

검색 전, 시스템은 이미지-질문 쌍 $(I, Q)$ 로부터 구조화된 **검색 상태(retrieval state)**를 구축합니다. 이 모듈 $\Phi$ 는 트리플릿 $z = (i, r, c)$ 를 출력합니다:

$i$ (정보 요구 - Information Need): 필요한 특정 지식 (예: 분류 체계, 위치, 기능).
$r$ (근거 참조 대상 - Grounded Referent): 쿼리가 참조하는 이미지 내의 특정 객체, 엔티티 또는 영역.
$c$ (제약 조건 - Constraints): 답변 유형, 세밀도 또는 시간적 범위와 같은 작업별 조건.

이 단계는 검색 이전에 검색 의도를 해결함으로써 쿼리 드리프트를 줄입니다.

2. 구조화된 지식 맵 (Structured KnowledgeMap)

외부 지식 베이스를 평면적인 코퍼스가 아닌, 의미론적으로 일관된 검색 단위( $u_1, \dots, u_N$ )로 구성된 KnowledgeMap( $K$ )으로 사전 구조화합니다.

구축: 패시지(passages)를 인코딩하고, HDBSCAN을 사용하여 클러스터링하며(클러스터 수를 미리 정하지 않고도 다양한 밀도를 처리하기 위함), LLM을 통해 경량 메타데이터(제목 및 설명)를 할당합니다.
기능: 이는 라우팅 스캐폴드(routing scaffold) 역할을 합니다. 에이전트는 먼저 현재 상태(의도 $z$ 및 히스토리 $h_t$ )를 바탕으로 관련 유닛( $a_t$ )을 선택한 다음, 전체 코퍼스를 전역적으로 검색하는 대신 해당 유닛 내에서 근거가 있는 쿼리( $q_t$ )를 실행합니다.

3. 에이전트 기반 계획 루프 (Agentic Planning Loop)

에이전트 $A$ (멀티모달 언어 모델)는 순차적 의사결정 과정을 수행합니다:

라우팅 (Routing): 현재 상태(의도 $z$ 및 히스토리 $h_t$ )를 바탕으로 KnowledgeMap에서 하나 이상의 검색 유닛을 선택합니다.
쿼리 생성 (Query Generation): 선택된 유닛에 특화된 근거 있는 쿼리를 구성합니다.
검색 및 업데이트 (Retrieval & Update): 증거 $e_t$ 를 검색하고 히스토리 $h_{t+1}$ 를 업데이트합니다.
종료 결정 (Termination Decision): 누적된 증거를 바탕으로 계속 검색할지 또는 최종 답변 $\hat{y}$ 를 생성할지를 반복적으로 결정합니다.

4. 학습 전략

에이전트가 이러한 다단계 계획을 수행하도록 학습시키기 위해, 저자들은 교사 모델을 사용하여 합성된 90만 개의 근거 있는 다단계 검색 궤적(trajectories) 데이터셋인 MM-R2-Traj를 도입했습니다. 학습은 두 단계의 포스트 트레이닝 파이프라인을 따릅니다:

1단계 (지도 미세 조정 - SFT): 에이전트는 구조화된 궤적을 모방함으로써 검색 행동의 기본 구조(유닛 선택, 쿼리 생성, 요약, 답변 생성)를 학습합니다.
2단계 (그룹 상대 정책 최적화 - GRPO): 에이전트는 라우팅 품질( $R_{route}$ )과 최종 답변 정확도( $R_{ans}$ )를 공동으로 평가하는 롤아웃 레벨 보상 함수( $R_i$ )를 사용하는 강화 학습을 통해 더욱 최적화됩니다. 이를 통해 태스크 레벨 피드백 하에서 복잡한 계획 경로를 생성하는 능력을 강화합니다.

주요 기여

새로운 프레임워크: MM-R2는 검색 대상과 검색 공간 모두에 대해 명시적으로 추론하는 멀티모달 에이전트 프레임워크로, 검색의 "무엇"과 "어디"를 해석 가능하게 만듭니다.
아키텍처 혁신: 의도-참조 결합 모듈과 KnowledgeMap 설계는 명시적인 의사결정 상태와 구조화된 검색 공간을 제공하여, 기존 mRAG 시스템의 모호성과 평면성을 해결합니다.
데이터셋 및 학습: MM-R2-Traj 구축과 SFT+GRPO의 2단계 학습 전략 채택을 통해 에이전트가 복잡한 다단계 검색 계획을 학습할 수 있게 합니다.
프로세스 수준 분석: 이 프레임워크는 추론된 의도, 선택된 유닛, 증거를 각각 검사할 수 있도록 가벼운 프로세스 수준의 분석을 가능하게 합니다.

실험 결과

저자들은 두 가지 벤치마크인 InfoSeek와 Encyclopedic VQA에서 MM-R2를 평가했습니다.

태스크 레벨 효과성: MM-R2는 강력한 베이스라인들을 크게 상회했습니다. InfoSeek에서 **54.3%**의 정확도(All)를 달성하여 가장 강력한 이전 베이스라인인 Wiki-R1-7B(46.5%)보다 7.8포인트 향상되었습니다. Encyclopedic VQA에서는 **39.4%**에 도달했습니다. 성능 향상은 다양한 검색 예산(Top-1부터 Top-5까지) 전반에서 일관되게 나타났으며, 예산이 늘어날수록 개선 폭이 커졌는데, 이는 추가된 증거를 효과적으로 활용하고 있음을 시사합니다.
프로세스 레벨 검증 가능성:
- 라우팅 정확도: Route Recall@1이 베이스라인의 0.2339에서 0.7400으로 크게 향상되어, 에이전트가 올바른 KnowledgeMap 영역을 성공적으로 식별함을 보여주었습니다.
- 트레이스 품질: LLM-as-a-Judge 점수에서 트레이스-답변 일관성 및 증거 커버리지가 개선되었습니다.
- 충실도 (Fidelity): 모델은 0.9011의 충실도 점수를 기록했습니다. 이는 최종 예측이 숨겨진 파라미터 지식에 의존하는 베이스라인들과 달리, 공개된 증거 요약으로부터 매우 재현 가능하다는 것을 나타냅니다.

의의 및 주장

본 논문은 멀티모달 검색을 추론 작업("검색 전 추론")으로 재구성하는 것이 상당한 이점을 준다는 것을 MM-R2가 입증한다고 주장합니다. 검색 의도를 명시적으로 구체화하고 검색 공간을 구조화함으로써, 시스템은 다음을 달성합니다:

높은 정확도: 더 정밀한 증거 검색이 더 나은 답변 생성을 이끕니다.
해석 가능성: 검색 궤적이 투명하여 사용자가 에이전트의 추론, 라우팅 결정 및 증거 사용을 검사할 수 있습니다.
검증 가능성: 노출된 증거 요약이 최종 답변을 정당화하기에 충분하므로, "블랙박스" 형태의 파라미터 지식에 대한 의존도를 낮춥니다.

저자들은 MM-R2가 정적인 평면형 검색 파이프라인에 비해 복잡한 멀티모달 쿼리에 대해 더 견고하고 신뢰할 수 있는 접근 방식을 제공한다고 결론짓습니다.