기술 요약: SearchEyes

문제 정의

장기적(long-horizon)이고 다단계(multi-hop) 추론이 가능한 멀티모달 검색 에이전트를 학습시키는 과정에서, 현재의 파이프라인은 근본적인 구조적 단절 문제에 직면해 있습니다. 기존 방식들은 학습 데이터, 검색 환경, 그리고 보상 신호를 독립적으로 구축하며, 이는 다음과 같은 세 가지 핵심적인 문제를 야기합니다:

1. 데이터-환경 디커플링(Data-Environment Decoupling): 학습 데이터 합성 과정에서 중간 단계의 구조적 메타데이터(예: 경로 구조, 엔티티 ID)가 유실되는 경우가 많으며, 검색 환경은 비결정론적인 API를 가진 재현 불가능한 외부 엔진에 의존합니다.
2. 보상 희소성(Reward Sparsity): 강화 학습(RL) 신호가 일반적으로 궤적 수준(최종 답변 기준)에서만 계산됩니다. 다단계 추론의 경우, 정답에 도달할 확률은 홉(hop) 수가 늘어남에 따라 급격히 감소하므로, 궤적 수준의 보상은 효과적인 정책 최 optimization을 수행하기에 너무 희소합니다.
3. 신용 할당 실패(Credit Assignment Failure): 단계별 신호가 없으면, 에이전트는 복잡한 시각적 인지와 텍스트 지식 검색이 모두 필요한 멀티모달 작업에서 어떤 특정 행동이 성공이나 실패에 기여했는지 학습하는 데 어려움을 겪습니다.

방법론: SearchEyes

SearchEyes는 타입형 지식 그래프(Wikidata5M)를 기반으로 구축된 **시뮬레이션 검색 세계(simulated search world)**를 통해 데이터 합성, 환경 시뮬레이션, 그리고 RL 학습을 통합함으로써 이러한 병목 현상을 해결합니다. 이 프레임워크는 밀접하게 결합된 세 가지 구성 요소로 이루어져 있습니다:

1. 통합 검색 세계 시뮬레이션 (Unified Search World Simulation)

시스템은 Wikidata5M, Wiki6M(텍스트), Wikipedia 이미지로부터 유도된 타입형 지식 그래프 $G = (V, R, T, \phi)$를 사용하여 자급자족형 검색 환경을 구축합니다.

• 자급자족형 검색(Self-Contained Retrieval): 외부 API 대신, 이 환경은 사전 인덱싱된 문서 컬렉션에 대해 상호 순위 융합(RRF)을 통해 융합된 하이브리드 검색 엔진(Dense 임베딩 + BM25)을 사용합니다. 이는 결정론적이고 재현 가능하며 감사 가능한 검색을 보장합니다.
• 도구 세트(Tool Set): 에이전트는 결정론적인 도구들을 통해 상호작용합니다: text_search, visual_search (이미지 크롭 + 임베딩 검색), lookup, summarize, python_interpreter.

2. 지각-지식 체인(Perception-Knowledge Chain, PKC) 합성

고품질 학습 데이터를 생성하기 위해, SearchEyes는 시각적 엔티티와 지식 엔티티의 교집합 위에서 제약된 다단계 경로를 샘플링하는 파이프라인을 도입합니다.

• 제약된 경로 샘플링: 경로는 다음과 같은 엄격한 제약을 가진 제약된 랜덤 워크(constrained random walks)를 통해 샘플링됩니다:
  • P-K 교차(P-K Alternation): 지각 홉(이미지에서 시각적 엔티티 식별)과 지식 홉(텍스트 기반 검색) 간의 교차를 강제합니다.
  • 중의성 해소 제약(Disambiguating Constraints): "일대다(one-to-few)" 술어와 제약 엣지를 도입하여 단순한 단일 경로 솔루션을 방지하고, 추론 그래프의 트리와이드(treewidth)를 높입니다.
  • 도메인 다양성(Domain Diversity): 경로가 여러 의미론적 도메인(인물, 작품, 조직, 지리)을 통과하도록 보장합니다.
  • 지름길 필터링(Anti-Shortcut Filtering): 추측 가능한 경로를 피하기 위해 허브 엔티티와 메타 레벨 술어를 제외합니다.
• 정보 은닉(Information Concealment): 질문 생성 시 엔티티 이름과 전체 관계 시퀀스를 숨깁니다. 앵커 엔티티는 이미지를 통해서만 제시되며, 중간 관계들은 도메인 수준의 힌트로 익명화되어 에이전트가 진정한 다단계 추론을 수행하도록 강제합니다.
• SFT 데이터 증류(SFT Data Distillation): 전문가 궤적은 검색 부스트와 관측치 노이즈 제거가 적용된 "특권적(privileged)" 환경을 사용하여 합성됩니다. 이후 이 궤적들은 현실적인 검색 결과 위에서 추론하도록 가르치기 위해 가공되지 않은 노이즈 섞인 관측치와 함께 SFT용으로 내보내집니다.

3. 홉 기반 정책 최적화 (Hop-Anchored Policy Optimization, HaPO)

보상 희소성 문제를 해결하기 위해, SearchEyes는 별도의 프로세스 보상 모델(process reward model) 없이 PKC 합성에서 사용된 골드 엔티티 시퀀스를 재사용하여 단계별 신용 할당을 수행하는 사후 학습 알고리즘인 HaPO를 제안합니다.

• 홉 앵커 그룹(Hop-Anchored Groups): 궤적들은 성공적으로 검색한 중간 골드 엔티티들에 의해 그룹화됩니다. 이 그룹 내에서 어드밴티지는 특정 중간 상태에 도달한 후 취해진 행동의 효과만을 분리하여 계산됩니다.
• 결합 어드밴티지(Combined Advantage): 최종 어드밴티지 신호는 궤적 수준의 어드밴티지와 홉 앵커 단계별 어드밴티지를 보간(interpolate)합니다.
• 치명적 오류 마스킹(Fatal-Aware Masking): 연속적인 도구 오류로 인해 발생하는 퇴보적인 궤적 접미사(suffix)를 감지하고 마스킹하여, 그래디언트 노이즈가 정책 업데이트를 오염시키는 것을 방지합니다.
• 매끄러운 비대칭 게이팅(Smooth Asymmetric Gating): 하드 클리핑(hard clipping) 대신 시그모이드 기반 게이트를 사용하여 장기 최적화를 안정화하며, 음의 어드밴티지에 더 강한 댐핑을 적용합니다.

주요 기여

1. 통합 검색 세계 시뮬레이션: 데이터 합성, 환경 시뮬레이션, RL 학습을 공동 설계하여 데이터-환경-보상의 단절을 제거하는 타입형 지식 그래프 기반의 새로운 프레임워크를 제시했습니다.
2. 지각-지식 체인(PKC) 합성: 엄격한 구조적 보장(P-K 교차, 중의성 해소)과 정보 은닉을 갖춘, KG 기반의 제약된 다단계 시각-언어 질문 생성 파이프라인을 개발했습니다.
3. 에이전틱 사후 학습 파이프라인(HaPO): 별도의 프로세스 보상 모델 없이도 단계별 신용 할당을 가능하게 하는, 유지된 구조적 메타데이터(골드 엔티티 ID)를 활용하는 학습 알고리즘을 제안했습니다.
4. VisSearch 벤치마크: P-K 교차 구조를 가진 다단계 시각 검색을 평가하기 위한 새로운 벤치마크를 도입했습니다.

실험 결과

SearchEyes는 6개의 멀티모달 지식 집약적 벤치마크(SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA)와 새로운 VisSearch 벤치마크에서 평가되었습니다.

• 성능: SearchEyes-27B는 오픈 소스 멀티모달 검색 에이전트 중 최고 성능을 달 기록했으며, 가장 강력한 오픈 소스 베이스라인보다 평균 6.2포인트 향상된 성능을 보였습니다.
• 파라미터 효율성: SearchEyes-9B는 30B 규모의 베이스라인(예: OpenSearch-VL-30B)과 대등한 성능을 보이면서도 파라미터를 3.3배 적게 사용하여 우수한 데이터 효율성을 입증했습니다.
• 절제 연구(Ablation Studies):
  • PKC 제약(예: P-K 교차, 지름길 필터링)을 제거했을 때 성능이 크게 하락(평균 최대 -7.7포인트)하여, 진정한 다단계 추론을 학습하기 위한 구조적 제약의 필요성을 확인했습니다.
  • HaPO를 표준 GRPO로 대체했을 때 평균 4.0포인트의 성능 저하가 발생하여, 단계별 신용 할당이 다단계 검색의 주요 병목임을 검증했습니다.

의의

본 논문은 현재 멀티모달 검색 에이전트의 주요 한계가 모델의 용량이 아니라, 데이터, 환경, 보상 사이의 구조적 단절에 있다고 주장합니다. 지식 그래프를 통합 백본으로 활용함으로써, SearchEyes는 **데이터-환경-알고리즘의 공동 설계(co-design)**가 효과적인 장기적 에이전트 학습에 필수적임을 보여줍니다. 결과적으로, 학습 파이프라인 전반에 걸쳐 구조적 메타데이터를 유지하는 것이 정밀한 단계별 신용 할당을 가능하게 하여, 더 작은 모델이 훨씬 더 큰 규모의 독점 시스템과 경쟁할 수 있는 성능을 달성할 수 있음을 시사합니다. 본 연구는 외부의 비결정론적 API에 의존하지 않고도 강력한 멀티모달 검색 에이전트를 구축할 수 있는 재현 가능한 오픈 소스 레시피를 제공합니다.